取り込みジョブのSparkログへのアクセス
このトピックでは、IBM® watsonx.data内で、送信された取り込みジョブに関連するSparkログを検索して表示するために必要な手順を説明します。 これらのログにアクセスすることで、実行の詳細、取り込みプロセスに関連する潜在的なエラーメッセージ、取り込みジョブのトラブルシューティングに関する貴重な洞察を得ることができます。
開始前に
失敗または終了ステータスの場合、取り込みログの詳細を取得するには、Spark履歴サーバーを起動する必要があります。 詳細については、Spark履歴サーバーへのアクセス を参照してください。
手順
-
watsonx.data コンソールにログインします。
-
ナビゲーションメニューからデータマネージャーを選択し、摂取履歴タブをクリックします。
-
特定のジョブログをクリックすると、その取り込みジョブの詳細とログが表示されます。
-
Sparkアプリケーション履歴をクリックすると、以下のように、取り込みジョブのステータスに基づいたログの詳細が表示されます：
Starting：取り込みジョブが Starting ステータスの場合、Sparkアプリケーション履歴は無効になります。
実行中 ：ジョブのステータスが Running の場合、 Sparkアプリケーションの履歴をクリックすると、通常 Spark UIに移動します。 このウェブ・インターフェイスを通じて、取り込みジョブの進行状況、リソースの使用状況、その他の詳細をリアルタイムで監視することができます。 この Spark UIの情報は、ジョブが Running（実行中） ステータスの時のみ、一時的に利用可能になります。
Failed または Finished です：ジョブステータスが Failed または Finished の場合、Spark application history をクリックすると Spark history UI に移動します。 このインターフェースは、タイムライン、リソースの使用状況、エラーメッセージを含む、インジェストジョブの実行概要を提供します。
キャンセルされました ：ジョブがキャンセルされた場合、 スパークアプリケーションの履歴は無効になります。