適用範囲 : スパークエンジン グルテン加速スパークエンジン
Spark ユーザー・インターフェース
Sparkユーザーインターフェース( Spark UI )は、実行中のSparkアプリケーションの様々な側面を追跡するのに役立ちます。
以下のリストには、いくつかの例が含まれています。
- 現在実行中のステージ
- ステージ内のタスクの数
- 実行時間が長いステージの理由
- ステージ内の絞殺作業
- アプリケーション内の実行プログラムが最適に使用されるかどうか
- ドライバーおよび実行プログラムのメモリーおよびディスク使用量を検査する
Spark ヒストリー・サーバーを使用して、完了した Spark アプリケーションの実行を検査します。 Spark ヒストリー・サーバーにアクセスするには、 Access Spark ヒストリー・サーバー を参照してください。
へのアクセス Spark UI
-
watsonx.data コンソールにログインします。
-
ナビゲーションメニューから、 インフラストラクチャーマネージャーを選択します。
-
Spark エンジンの名前を (リスト・ビューまたはトポロジー・ビューから) クリックします。 「エンジン情報」ウィンドウが開きます。
-
「アプリケーション」 タブで、アプリケーションを選択し、アプリケーションの 「ID」 リンクをクリックします。 その Spark UI が開く。
-
以下の詳細をご覧いただけます:
- 「イベント・タイム・ライン」 には、タイムラインとイベントのグラフィカル・ビューが表示されます。
- 実行のさまざまなステージ、使用されたストレージ、Spark 環境、および実行プログラム (メモリーおよびドライバー) の詳細。
ログは Spark イベントと一緒に保存されないため、Spark 履歴サーバー UI の Stages および Executors タブにあるログリンクは機能しません。 タスクとエグゼキューターのログを確認するには、プラットフォームのログを有効にする。 詳細については、 ログの表示を 参照してください。