ログのダウンロード

インスタンス・ホームからログをダウンロードするには、 AWS CLI を使用して以下のコマンドを実行します。 CLI の使用について詳しくは、 Object Storageに接続するための CLI の構成 を参照してください。

aws --endpoint-url <bucket_endpoint> s3 cp s3://<bucket_name>/<instance_id>/logs/<app_id>/ ./ --recursive

例:

aws --endpoint-url https://s3.us-south.cloud-object-storage.appdomain.cloud/ s3 cp s3://do-not-delete-ae-bucket-a0048029-c78a-439a-a864-14fdd3b2d95b/a0048029-c78a-439a-a864-14fdd3b2d95b/logs/2cd9036a-9e4a-4b79-81ec-2d8ae96d674c/ ./ --recursive

Spark ログ・レベルの変更

spark log level configuration を編集して、インスタンス・ホームに転送されるドライバー・ログおよび実行プログラム・ログに対して INFO、DEBUG などのさまざまなログ・レベルを設定できます。

以下のドライバーおよび (または) executor ログ・レベルを指定して、ロギング機能を完全に無効にします。

ae.spark.driver.log.level = OFF
ae.spark.executor.log.level = OFF

ログ・レベル情報の構成について詳しくは、 Spark ログ・レベル情報の構成 を参照してください。

デフォルトでは、ドライバーのログ・レベルは WARN で、実行プログラムのログ・レベルは OFF です。 Spark ログ・レベル構成が指定されていない場合、インスタンス・ホーム内のドライバー・ログのみを表示できます。 executor ログを含めるには、ログ・レベルを OFF 以外の値に変更します。 詳しくは、 Spark ログ・レベル情報の構成 を参照してください。

また、ログを IBM Log Analysis サービスに転送することも選択できます。 詳しくは、 IBM Log Analysis を参照してください。 ドライバーまたは実行プログラムのログ・レベル情報が「OFF」として構成されている場合、ロギング API を使用して有効になっていても、ログは IBM Log Analysis サービスに転送されません。