カスタマイズの概要

サーバーレス・インスタンスは、デフォルト・ベースでプロビジョンされるものに加え、アプリケーションのニーズに合わせてカスタマイズすることができます。

例えば、カスタム分析サード・パーティー・ライブラリーをインストールしたり、一部のクラスター構成、例えば、Sparkのデフォルト構成を微調整したりすることができます。

インスタンスは、そのライフサイクルの任意の時点でカスタマイズできます。 カスタマイズは、カスタマイズの追加後にサブミットされたアプリケーションにのみ適用されます。 これらは、現在実行中のアプリケーションには適用されません。

カスタマイズのオプション

以下の方法でインスタンスをカスタマイズできます:

  • インスタンスで実行されるすべてのSparkアプリケーションによって継承される構成値の指定
  • Python、R、Scala、またはカスタム・ライブラリーをSparkアプリケーションで使用できるようにします

インスタンスを作成すると、以下を行うことができます:

  • Apache Spark構成でサポートされる構成プロパティーおよび環境変数のデフォルト値を指定します。 構成プロパティーと環境変数は、インスタンス・レベルで保存され、インスタンス内で実行されるすべてのSparkアプリケーションに渡される名前と値のペアとして指定できます。 これらのデフォルト構成パラメーターを使用すると、Sparkアプリケーションのサブミット時に渡されるペイロードを単純化できます。 これらの値は、Sparkアプリケーションのサブミット時にオーバーライドすることもできます。

    デフォルトのSpark構成および環境変数のリストについては、Spark構成を参照してください。

  • インスタンスの作成後に、Sparkアプリケーションに必要なライブラリーを使用してインスタンスをカスタマイズします。 インスタンスで実行されるすべてのSparkアプリケーションで使用できるようにすべてのライブラリーをパッケージ化するライブラリー・セットを作成し、Sparkアプリケーションの実行依頼時にこの定義済みライブラリー・セットを参照することができます。

    ライブラリー・セットを作成するには、ライブラリー・セットの作成を参照してください。

注:

  • カスタマイズ・ライブラリー・セットの最大サイズ制限は 2 GB です。
  • Spark アプリケーションの開始時刻、または自動スケーリング・シナリオで追加の実行プログラムを追加するために要した時間は、カスタム・ライブラリー・セットのサイズに比例します。 したがって、ベスト・プラクティスは、特定のアプリケーションに必要なファイルのみにライブラリー・セットを制限することです。 他のアプリケーションが異なるファイル・セットを必要とする場合は、異なるライブラリー・セットを使用することをお勧めします。