概要

IBM Analytics Engineでアプリケーションまたは Spark ワークロードをサブミットすると、アプリケーションの実行をモニターできます。 IBM Analytics Engine では、アプリケーション生成ログおよび Spark 生成ログをモニターすることにより、アプリケーション・エラーをデバッグしたり、アプリケーション実行をトレースしたりすることができます。 IBM CloudLogsと Spark History ページのモニタリング機能は、アプリケーションのより良いトラブルシューティングを提供します。

IBM Analytics Engineでは、アプリケーション・ログをインスタンス・ホームまたは（および）IBM CloudLogsサービスに転送できます。

デフォルトの動作

IBM Analytics Engineでアプリケーションを実行すると、アプリケーション・ログ（'Spark Driver WARN logs のみ）はデフォルトでIBM Cloud Object Storageに転送されます。 インスタンス・ホームからログ情報にアクセスできます。詳しくは、インスタンス・ホームを参照してください。

インスタンス・ホームへのログの転送

アプリケーション・ログは、デフォルトでは Analytics Engine インスタンス・ホーム に転送されます。 IBM Cloud Object Storageバケットからログ情報にアクセスできます。 Cloud Object Storageのバケットから特定のアプリケーションのログファイルをダウンロードし、記録、共有、デバッグを行うことができます。ドライバーまたは実行プログラムの実行プログラム・ログまたは INFO ログを組み込むようにデフォルトの動作を変更する場合は、構成を変更する必要があります。詳しくは、インスタンス・ホームへのログの転送を参照してください。

ログをIBM CloudLogsに転送する

IBM CloudLogs サービスを使用すると、インデックス化されたログを表示したり、生成されたすべてのメッセージを全文検索したり、特定のフィールドに基づいてクエリーを実行したりすることができます。 log forwarding 機能を有効にすると、ログが（インスタンス・ホームに加えて）IBM CloudLogsサービスに転送されます。デフォルトでは、 Spark Driver WARN logs のみが転送されます。エクゼキューターログを含むように動作を変更するには、ログ転送'IBM Cloud」にログを転送するログ API.Forのペイロードを変更して有効にする。

Spark ログ・レベルの変更

さまざまなログ・レベル (INFO、DEBUG など) でログを転送するようにデフォルトの動作を変更するには、 Spark ログ・レベル情報の構成を参照してください。

ロギング機能の無効化

インスタンス・ホームと IBM CloudLogs の両方へのログ情報の送信を無効にするには、ドライバーとエクゼキューターのログ・レベル設定をオフに設定します。詳しくは、 Spark ログ・レベル情報の構成を参照してください。