コンソールからSparkアプリケーションを送信

適用対象スパーク エンジン グルテン加速スパークエンジン

Python、 Java、または Scala の言語で作成されたSparkアプリケーションは、 IBM Cloud 上の watsonx.data コンソールから提出できます。

watsonx.data コンソールでは、Sparkアプリケーションの詳細、考慮するバージョン、ハードウェアおよびボリュームの詳細、Spark環境のプロパティ、Spark構成を指定することができます。

前提条件

Sparkアプリケーションは、アクセス可能なストレージに保存されている必要があります。

手順

  1. インスタンス watsonx.data にログインしてください。 インフラストラクチャマネージャー のページに移動します。

  2. Sparkエンジンの名前をクリックします(リストビューまたはトポロジービューから)。 エンジン情報ウィンドウが開きます。

  3. 「アプリケーション」タブ、「アプリケーションの作成」 ボタンをクリックします。 Sparkアプリケーションの提出ページが開きます。

    このページでは、Sparkアプリケーションの提出方法に応じて、以下のタブのいずれかを選択できます。

    • 申請書がアクセス可能な場所にある場合は 、「入力」タブを選択して申請書を送信します。 以下の詳細を設定します

      構成の詳細
      フィールド 説明
      アプリケーション・タイプ

      次のオプションがあります。

      • Python :Sparkアプリケーションが Python 言語で記述されている場合は、このオプションを選択します。 option.
      • Java または Scala :Sparkアプリケーションが Java または Scala 言語で記述されている場合は、このオプションを選択します。
      アプリケーション・パス アプリケーションへのパスを指定します。 これは必須フィールドです。
      次に例を示します。 s3a://<application-bucket-name>/iceberg.py
      アプリケーション名 アプリケーションの名前を指定してください。
      引数 アプリケーションに必要なすべての引数を指定するには、「引数を追加」ボタンを使用します。
      Sparkバージョン アプリケーションを実行するSparkのバージョンを入力してください。 3.4 と 3.5 が利用可能なバージョンです。
      Spark構成プロパティー Sparkのプロパティを、カンマで区切ったキーと値のペア(「<property_name>: <property_value>」)の形式で指定します。 さまざまなプロパティの詳細については 、「プロパティ」 を参照してください。
      Spark環境プロパティ Spark環境プロパティをキーと値のペアで指定します。 さまざまなプロパティの詳細については 、「環境プロパティ」 を参照してください。
      ハードウェア構成 ワークロードに必要なCPUコア数(ドライバおよび実行部)とメモリ容量を指定します。
      資源容量(条件付き) バージョン 2.3 (またはそれ以降) を使用している場合は、このフィールド watsonx.data を指定してください。 容量タイプ(オンデマンドまたは専用)を選択し、ドライバーと実行メモリの値を選択してください。
      依存関係 アプリケーションスクリプトまたはJARファイルに必要なファイルへのパスとパッケージ名を指定します。
      ペイロードからインポート ペイロードタブでペイロードをすでに指定している場合は、このリンクをクリックすると、入力タブのすべてのフィールドが自動的にインポートされ、入力されます。
    • ペイロードを手動で書き込む場合は、 「ペイロード」 タブを選択してアプリケーションを送信します。

      アプリケーションペイロードフィールドには、Sparkエンジンアプリケーション作成REST APIエンドポイントで受け入れ可能なアプリケーションペイロードJSONを指定します。 ペイロードを手動で入力するか、 [入力からインポート]リンクをクリックして、 [入力]タブで指定した詳細からJSONを自動的に作成します。

      アプリケーションが Spark エンジンに関連付けられているカタログからデータにアクセスする場合は 、 watsonx.data カタログにアクセスして、Submitting a Spark アプリケーションで 指定したペイロードを使用できます。

  4. 申請を送信 」をクリックします。 申請は正常に送信され 、「申請」タブに表示されます。