Spark アプリケーションのデバッグ

適用範囲 ： スパークエンジン グルテン加速スパークエンジン

エンジン・ホーム (Spark エンジンのプロビジョニング中に渡したバケット) を使用して、Spark アプリケーションをモニターおよびデバッグできます。 エンジン・ホームには、エンジンで実行依頼されたすべての Spark アプリケーションのログおよび Spark イベントが含まれています。

以下の手順では、Spark アプリケーションのログを表示するためのステップについて詳しく説明します。

1. IBM Cloud アカウントにログインし、Cloud オブジェクト・ストア・インスタンスからエンジン・ホーム・バケットにナビゲートします。
2. ストレージ・バケットのルート・パスに移動します。 パス spark/<spark-engine-id>/logs にナビゲートして、実行依頼された Spark アプリケーションのログを確認します。 ここで、 <spark-engine-id> は、アプリケーションが実行されるエンジンの ID です。
3. Spark エンジンで実行依頼されたアプリケーションごとに、Spark アプリケーションのドライバーと実行プログラムのログ・ファイルを保管するためのサブパスがアプリケーション ID とともに作成されます。
4. ログを確認するには、Cloud オブジェクト・ストレージ・コンソールからドライバーおよび実行プログラムのログ・ファイルをダウンロードします。