Présentation
Lorsque vous soumettez des applications ou des charges de travail Spark dans IBM Analytics Engine, vous pouvez surveiller l'exécution de l'application. IBM Analytics Engine permet de déboguer les erreurs de l'application ou de tracer l'exécution de l'application en surveillant les journaux générés par l'application et les journaux générés par Spark. IBM Cloud Logs et la fonction de surveillance de la page Spark History permettent un meilleur dépannage des applications.
IBM Analytics Engine vous permet de transmettre les journaux d'application à la maison de l'instance ou (et) au service IBM Cloud Logs.
Comportement par défaut
Lorsque vous exécutez des applications dans IBM Analytics Engine, les journaux d'application (uniquement 'Spark Driver WARN logs) sont transmis par défaut à IBM Cloud Object Storage Vous pouvez accéder aux informations de journal
depuis votre répertoire principal de l'instance. Pour plus d'informations, voir Instance home.
Transfert des journaux vers le répertoire principal de l'instance
Les journaux d'application sont transférés vers le répertoire principal de l'instance Analytics Engine par défaut. Vous pouvez accéder aux informations du journal à partir du seau IBM Cloud Object Storage Vous pouvez télécharger le fichier journal d'une application spécifique à partir de l'espace de Cloud Object Storage à des fins d'enregistrement, de partage et de débogage. Si vous souhaitez modifier le comportement par défaut pour inclure les journaux de l'exécuteur ou les journaux INFO du pilote ou de l'exécuteur, vous devez modifier les configurations. Pour plus d'informations, voir Transfert des journaux vers le répertoire principal de l'instance.
Transfert des journaux vers IBM Cloud Logs
Le service IBM Cloud Logs vous permet d'afficher les journaux indexés, d'activer la recherche en texte intégral dans tous les messages générés et d'effectuer des requêtes basées sur des champs spécifiques. L'activation de la fonction "
log forwarding permet de transmettre les journaux au service IBM Cloud Logs (en plus de l'instance home). Seuls les Spark Driver WARN logs sont transmis par défaut. Pour modifier le comportement afin
d'inclure les journaux de l'exécuteur, activez-le en modifiant la charge utile dans le transfert de journaux 'API.For Pour plus d'informations, voir 'Renvoi des journaux à 'IBM Cloud Journaux
Modification des niveaux de journalisation Spark
Pour modifier le comportement par défaut afin de transférer les journaux à différents niveaux de journalisation (INFO, DEBUG, etc.), voir Configuration des informations de niveau de journalisation Spark.
Désactivation de la fonction de consignation
Pour désactiver l'envoi d'informations de journal à la fois à la maison de l'instance et à IBM Cloud Logs, définissez la configuration du niveau de journal du pilote et de l'exécuteur sur OFF. Pour plus d'informations, voir Configuration des informations de niveau de journalisation Spark.