從 Spark 實驗室監視及除錯 Spark 應用程式

適用於：火花塞引擎 穀麩加速火花塞引擎

從 Spark 實驗室對 Spark 應用程式進行除錯

Spark 實驗室協助對您提交的 Spark 應用程式進行除錯。 若要這樣做，請執行下列動作:

  1. 移至 Visual Studio Code > 延伸。
  2. 瀏覽並找出除錯工具，以進行程式碼除錯。 對於每一個 Spark 應用程式類型 (Python、Java、Scalar、R)，您需要選擇要除錯的正式延伸。 例如，如果您提交以 Python 語言撰寫的 Spark 應用程式，請安裝 Python 延伸。
  3. 在安裝除錯工具延伸之後，開啟您要除錯的檔案，然後從 Visual Studio Code 中按一下 執行並除錯。 Visual Studio Code 視窗會提示您輸入 Spark 應用程式碼和預設配置的語言。
  4. 選取語言，並根據 Spark 應用程式類型 (Python、Java、Scalar、R) 提供預設配置。
  5. 按一下 執行並除錯。 除錯程序會啟動，您可以在 終端機中檢視結果。

從 Spark 實驗室存取 Spark UI

Spark 使用者介面 (UI) 可讓您監視執行 Spark 應用程式的各個層面。 如需相關資訊，請參閱 Spark 使用者介面。 Expose Spark UI，以便從 Spark 實驗室存取。 若要這樣做，請執行下列動作:

  1. 移至 Visual Studio Code > 終端機，然後選取 埠 標籤。

  2. 按一下 轉遞埠。 輸入 4040，然後按 Enter。 現在您可以從 Spark 實驗室存取 Spark UI。 開啟網頁瀏覽器並輸入 URL，格式為 - localhost:4040。Spark UI 開啟，可檢視 Spark 實驗室中的 Spark 應用程式。 您可以查看以下詳細資訊：

    • 事件時間表 會顯示時間表及事件的圖形視圖。
    • 不同的執行階段、使用的儲存體、Spark 環境及執行程式 (記憶體及驅動程式) 詳細資料。