コンソールからSparkアプリケーションを送信
適用対象 : スパーク エンジン グルテン加速スパークエンジン
Python、 Java、または Scala の言語で作成されたSparkアプリケーションは、 IBM Cloud 上の watsonx.data コンソールから提出できます。
watsonx.data コンソールでは、Sparkアプリケーションの詳細、考慮するバージョン、ハードウェアおよびボリュームの詳細、Spark環境のプロパティ、Spark構成を指定することができます。
前提条件
Sparkアプリケーションは、アクセス可能なストレージに保存されている必要があります。
手順
-
インスタンス watsonx.data にログインしてください。 インフラストラクチャマネージャー のページに移動します。
-
Sparkエンジンの名前をクリックします(リストビューまたはトポロジービューから)。 エンジン情報ウィンドウが開きます。
-
「アプリケーション」タブで 、「アプリケーションの作成」 ボタンをクリックします。 Sparkアプリケーションの提出ページが開きます。
このページでは、Sparkアプリケーションの提出方法に応じて、以下のタブのいずれかを選択できます。
-
申請書がアクセス可能な場所にある場合は 、「入力」タブを選択して申請書を送信します。 以下の詳細を設定します
構成の詳細 フィールド 説明 アプリケーション・タイプ 次のオプションがあります。
- Python :Sparkアプリケーションが Python 言語で記述されている場合は、このオプションを選択します。 option.
- Java または Scala :Sparkアプリケーションが Java または Scala 言語で記述されている場合は、このオプションを選択します。
アプリケーション・パス アプリケーションへのパスを指定します。 これは必須フィールドです。
次に例を示します。s3a://<application-bucket-name>/iceberg.pyアプリケーション名 アプリケーションの名前を指定してください。 引数 アプリケーションに必要なすべての引数を指定するには、「引数を追加」ボタンを使用します。 Sparkバージョン アプリケーションを実行するSparkのバージョンを入力してください。 3.4 と 3.5 が利用可能なバージョンです。 Spark構成プロパティー Sparkのプロパティを、カンマで区切ったキーと値のペア(「<property_name>: <property_value>」)の形式で指定します。 さまざまなプロパティの詳細については 、「プロパティ」 を参照してください。 Spark環境プロパティ Spark環境プロパティをキーと値のペアで指定します。 さまざまなプロパティの詳細については 、「環境プロパティ」 を参照してください。 ハードウェア構成 ワークロードに必要なCPUコア数(ドライバおよび実行部)とメモリ容量を指定します。 資源容量(条件付き) バージョン 2.3 (またはそれ以降) を使用している場合は、このフィールド watsonx.data を指定してください。 容量タイプ(オンデマンドまたは専用)を選択し、ドライバーと実行メモリの値を選択してください。 依存関係 アプリケーションスクリプトまたはJARファイルに必要なファイルへのパスとパッケージ名を指定します。 ペイロードからインポート ペイロードタブでペイロードをすでに指定している場合は、このリンクをクリックすると、入力タブのすべてのフィールドが自動的にインポートされ、入力されます。 -
ペイロードを手動で書き込む場合は、 「ペイロード」 タブを選択してアプリケーションを送信します。
アプリケーションペイロードフィールドには、Sparkエンジンアプリケーション作成REST APIエンドポイントで受け入れ可能なアプリケーションペイロードJSONを指定します。 ペイロードを手動で入力するか、 [入力からインポート]リンクをクリックして、 [入力]タブで指定した詳細からJSONを自動的に作成します。
アプリケーションが Spark エンジンに関連付けられているカタログからデータにアクセスする場合は 、 watsonx.data カタログにアクセスして、Submitting a Spark アプリケーションで 指定したペイロードを使用できます。
-
-
「申請を送信 」をクリックします。 申請は正常に送信され 、「申請」タブに表示されます。