Spark ヒストリー・サーバーへのアクセス

適用対象 ： スパーク エンジン　グルテン加速スパークエンジン

Spark履歴サーバーは、インスタンス watsonx.data 上で実行中および完了したSparkアプリケーションのステータスを確認できるWeb UIです。 Sparkアプリケーションのさまざまなステージがどのように実行されたかを分析する場合は、Sparkヒストリー・サーバーUIで詳細を表示できます。

1. watsonx.data コンソールにログインします。

2. ナビゲーションメニューから、 インフラストラクチャマネージャー を選択してください。

3. Spark エンジンの名前を (リスト・ビューまたはトポロジー・ビューから) クリックします。 「エンジン情報」ウィンドウが開きます。

4. 「Spark ヒストリー」 タブで、 「ヒストリー・サーバーの開始」 をクリックします。

   バージョン 2.3 以降を使用する watsonx.data 際には、以下の情報を提供する必要があります。

   • 容量タイプを選択して履歴の詳細を表示します。 専用 （設定済みの場合）またはオンデマンドを選択できます。 リストから容量を選択し、CPUコア数とメモリの詳細を指定してください。

5. デフォルトでは、Spark ヒストリー・サーバーは、実行中に 1 つの CPU コアと 4 つの GiB のメモリーを消費します。 Spark ヒストリー・サーバーがより多くのリソースを使用するようにするには、サーバーに必要な 「コア」 および 「メモリー」 を選択し、 「開始」 をクリックします。 ヒストリー・サーバーが始動し、状況が STARTED として表示されます。

6. 「Spark ヒストリーの表示」 をクリックします。 履歴サーバー のページが開きます。

7. 「ヒストリー・サーバー」 ページには、以下の機能が含まれています。

   • 完了した Spark アプリケーションのリストと、各アプリケーションのアプリケーション ID、期間、イベント・ログなどの詳細を表示します。
   • 「イベント・ログ」 フィールドから 「ダウンロード」 リンクをクリックして、各アプリケーションのイベント・ログ情報をダウンロードします。
   • 個々のアプリケーションの詳細を表示するには、個々のアプリケーション ID リンクをクリックします。 「Spark ジョブ」 ページが開きます。 このページには、実行のさまざまなステージ、使用されたストレージ、Spark 環境、実行プログラム (メモリーおよびドライバー) の詳細などの詳細が表示されます。

   History Serverは、設定パラメータ spark.eventLog.logBlockUpdates.enabled をtrueに設定してSparkアプリケーションが送信された場合にのみ、詳細なストレージイベントを表示します。

   ログは Spark イベントと一緒に保存されないため、Spark 履歴サーバー UI の Stages および Executors タブにあるログリンクは機能しません。 タスクとエグゼキューターのログを確認するには、プラットフォームのログを有効にする。 詳細については、 ログの表示を 参照してください。

8. 不要になった場合は、不要なリソースを解放するために履歴サーバーを停止できます。 これを行うには、 「Spark ヒストリー」 タブに移動し、 「ヒストリー・サーバーの停止」 をクリックします。 確認メッセージで 「停止」 をクリックします。