適用範囲スパークエンジン グルテン加速スパークエンジン

Spark ユーザー・インターフェース

Sparkユーザーインターフェース( Spark UI )は、実行中のSparkアプリケーションの様々な側面を追跡するのに役立ちます。

以下のリストには、いくつかの例が含まれています。

  • 現在実行中のステージ
  • ステージ内のタスクの数
  • 実行時間が長いステージの理由
  • ステージ内の絞殺作業
  • アプリケーション内の実行プログラムが最適に使用されるかどうか
  • ドライバーおよび実行プログラムのメモリーおよびディスク使用量を検査する

Spark ヒストリー・サーバーを使用して、完了した Spark アプリケーションの実行を検査します。 Spark ヒストリー・サーバーにアクセスするには、 Access Spark ヒストリー・サーバー を参照してください。

へのアクセス Spark UI

  1. watsonx.data コンソールにログインします。

  2. ナビゲーションメニューから、 インフラストラクチャーマネージャーを選択します。

  3. Spark エンジンの名前を (リスト・ビューまたはトポロジー・ビューから) クリックします。 「エンジン情報」ウィンドウが開きます。

  4. 「アプリケーション」 タブで、アプリケーションを選択し、アプリケーションの 「ID」 リンクをクリックします。 その Spark UI が開く。

  5. 以下の詳細をご覧いただけます:

    • 「イベント・タイム・ライン」 には、タイムラインとイベントのグラフィカル・ビューが表示されます。
    • 実行のさまざまなステージ、使用されたストレージ、Spark 環境、および実行プログラム (メモリーおよびドライバー) の詳細。

ログは Spark イベントと一緒に保存されないため、Spark 履歴サーバー UI の Stages および Executors タブにあるログリンクは機能しません。 タスクとエグゼキューターのログを確認するには、プラットフォームのログを有効にする。 詳細については、 ログの表示を 参照してください。