Téléchargement des journaux

Pour télécharger les journaux à partir du répertoire principal de l'instance, exécutez la commande suivante à l'aide de l'interface de ligne de commande AWS. Pour plus d'informations sur l'utilisation de l'interface de ligne de commande, voir Configuration de l'interface de ligne de commande pour la connexion à Object Storage.

aws --endpoint-url <bucket_endpoint> s3 cp s3://<bucket_name>/<instance_id>/logs/<app_id>/ ./ --recursive

Exemple:

aws --endpoint-url https://s3.us-south.cloud-object-storage.appdomain.cloud/ s3 cp s3://do-not-delete-ae-bucket-a0048029-c78a-439a-a864-14fdd3b2d95b/a0048029-c78a-439a-a864-14fdd3b2d95b/logs/2cd9036a-9e4a-4b79-81ec-2d8ae96d674c/ ./ --recursive

Modification du niveau de journalisation Spark

Vous pouvez éditer le fichier spark log level configuration pour définir différents niveaux de journalisation tels que INFO, DEBUG pour les journaux du pilote et du programme d'exécution qui sont transmis au répertoire principal de l'instance.

Désactivez complètement la fonction de journalisation en spécifiant le pilote et (ou) le niveau de journalisation de l'exécuteur suivant.

ae.spark.driver.log.level = OFF
ae.spark.executor.log.level = OFF

Pour plus d'informations sur la configuration des informations de niveau de journalisation, voir Configuration des informations de niveau de journalisation Spark.

Par défaut, le niveau de journalisation du pilote est WARN et le niveau de journalisation du programme d'exécution est OFF. Vous pouvez afficher uniquement les journaux du pilote dans le répertoire principal de votre instance, si la configuration du niveau de journalisation Spark n'est pas spécifiée. Pour inclure les journaux du programme d'exécution, remplacez le niveau de journalisation par une valeur différente de OFF. Pour plus d'informations, voir Configuration des informations de niveau de journalisation Spark.

Vous pouvez également choisir de transférer les journaux au service IBM Log Analysis. Pour plus d'informations, voir Transmission des journaux à IBM Log Analysis. Si les informations de niveau de journalisation du pilote ou de l'exécuteur sont configurées sur'OFF', les journaux ne sont pas transmis au service IBM Log Analysis même s'ils sont activés via les API de journalisation.