Spark ラボからの Spark アプリケーションのモニターとデバッグ

適用範囲 ：スパークエンジングルテン加速スパークエンジン

Spark ラボからの Spark アプリケーションのデバッグ

Spark ラボは、送信する Spark アプリケーションのデバッグに役立ちます。これを行うには、以下の手順

Visual Studio Code > 「拡張機能」 に移動します。
デバッグ・ツールを参照して、コードをデバッグします。 Spark アプリケーション・タイプ (Python、 Java、Scalar、R) ごとに、デバッグする正式な拡張を選択する必要があります。例えば、 Python 言語で作成された Spark アプリケーションをサブミットする場合は、 Python 拡張機能をインストールします。
デバッグするファイルを開き、デバッグ・ツール拡張機能をインストールした後、 Visual Studio Code から 「実行およびデバッグ」 をクリックします。 Visual Studio Code ウィンドウで、Spark アプリケーション・コードの言語とデフォルト構成の入力を求めるプロンプトが出されます。
言語を選択し、Spark アプリケーション・タイプ (Python、 Java、Scalar、R) に基づいてデフォルト構成を指定します。
「実行およびデバッグ」 をクリックします。デバッグ・プロセスが開始され、 「端末」 で結果を表示できます。

Spark ユーザー・インターフェース (UI) を使用すると、Spark アプリケーションの実行のさまざまな側面をモニターできます。詳しくは、 Spark ユーザー・インターフェースを参照してください。 Spark labsからアクセスするために Spark UI。これを行うには、以下の手順

Visual Studio Code > 「Terminal」 に移動し、 「ポート」 タブを選択します。
「ポートの転送」 をクリックします。 4040 と入力して Enterを押す。 Spark labsから Spark UI。ウェブブラウザを開き、 URL をフォーマットで入力する - localhost:4040。 Spark UI が開き、Spark ラボの Spark アプリケーションを検査できます。以下の詳細をご覧いただけます：
- 「イベント・タイムライン」 には、タイムラインとイベントのグラフィカル・ビューが表示されます。
- 実行のさまざまなステージ、使用されたストレージ、Spark 環境、および実行プログラム (メモリーとドライバー) の詳細。