Transfert des journaux vers IBM Cloud Logs
Les journaux de la plate-forme sont des journaux qui sont exposés aux utilisateurs par divers services sur la plate-forme IBM Cloud IBM Analytics Engine prend en charge le transfert des journaux du service IBM Analytics Engine vers une instance IBM Cloud Logs que vous avez autorisée à recevoir les journaux de plate-forme.
-
Les journaux de plateforme sont régionaux.
Vous pouvez surveiller les journaux à partir de IBM Analytics Engine sur IBM Cloud dans la région où le service est disponible.
-
Vous ne pouvez configurer qu'une seule instance d'IBM Cloud Logs par région et par compte IBM Cloud pour collecter les journaux de la plateforme à cet endroit.
Vous pouvez avoir plusieurs instances IBM Cloud Logs dans un emplacement. Toutefois, une seule instance dans un emplacement (région) peut être configurée pour recevoir des journaux de services IBM Cloud tels que IBM Analytics Engine dans cet emplacement IBM Cloud.
En outre, les journaux générés par une instance IBM Analytics Engine appartenant à un compte sont transmis à une instance IBM Cloud Logs sous le même compte IBM Cloud.
Pour vérifier si le service IBM Cloud Logs est configuré pour recevoir les journaux de la plateforme, consultez le tableau de bord Observability.
Prérequis pour activer la journalisation de la plateforme
Pour afficher les journaux de la plateforme IBM Analytics Engine, vous devez utiliser le tableau de bord d'observabilité dans IBM Cloud pour configurer la consignation de la plateforme. Voir Configuration des journaux de plateforme via le tableau de bord Observabilité pour connaître les étapes à suivre pour activer la journalisation via le tableau de bord Observabilité.
API de journalisation
Une fois que vous avez activé la journalisation de plateforme via le tableau de bord Observabilité, passez aux étapes des sections suivantes pour apprendre à utiliser les noeuds finaux d'API pour activer la journalisation, désactiver la journalisation et afficher la configuration de la journalisation.
Les appels d'API de journalisation requièrent l'identificateur global unique de l'instance de service. Si vous n'avez pas noté l'identificateur global unique (GUID), voir Extraction de l'identificateur global unique d'une instance sans serveur.
A présent, deux noeuds finaux d'API de journalisation sont exposés:
log_forwarding_configlogging: Ce noeud final d'API est obsolète et sera bientôt abandonné. Bien que vous puissiez utiliser ce noeud final, vous devez commencer à utiliser le noeud finallog_forwarding_config.
Activation de la transmission de journaux à partir de IBM Analytics Engine
Pour activer le transfert des journaux de la plateforme IBM Analytics Engine vers IBM Cloud Logs, invoquez l'API suivante sur une instance Analytics Engine existante.
Vous pouvez utiliser deux méthodes pour activer l'acheminement des journaux:
-
Par défaut: dans ce cas, vous envoyez uniquement une demande d'activation de l'acheminement des journaux et les journaux associés à la ou aux sources de journal par défaut (
spark-driver) commencent à être transférés. Vous pouvez effectuer cette opération de l'une des manières suivantes :- A l'aide du noeud final d'API
log_forwarding_config:curl -X PUT https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_guid>/log_forwarding_config -H "Authorization: Bearer $TOKEN" -H "content-type: application/json" -d '{"enabled":true}' - A l'aide du noeud final d'API
logging(obsolète):curl -X PUT https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_guid>/logging -H "Authorization: Bearer $TOKEN" -H "content-type: application/json" -d '{"enable":true}
- A l'aide du noeud final d'API
-
Personnalisé: cette option vous permet de mieux contrôler la configuration de l'acheminement des journaux. Par exemple, vous pouvez spécifier les sources des journaux que vous souhaitez transférer. Vous pouvez également choisir d'associer des balises aux journaux, qui pourront ensuite être utilisées dans IBM Cloud Logs comme mots-clés de recherche pour affiner la recherche sur les journaux concernés. Vous pouvez effectuer cette opération de l'une des manières suivantes :
- A l'aide du noeud final d'API
log_forwarding_config:curl -X PUT https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_guid>/log_forwarding_config -H "Authorization: Bearer $TOKEN" -H "content-type: application/json" -d ' {"enabled":true,"sources": ["spark-driver", "spark-executor"],"tags": ["<tag_1>", "<tag_2>",...]} ' - A l'aide du noeud final d'API
logging(obsolète):curl -X PUT https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_guid>/logging -H "Authorization: Bearer $TOKEN" -H "content-type: application/json" -d ' {"enable":true,"components": ["spark-driver", "spark-executor"],"tags": ["<tag_1>", "<tag_2>",...]} '
- A l'aide du noeud final d'API
Désactivation de la consignation de la plateforme à partir de IBM Analytics Engine
Désactivez le transfert des journaux de la plateforme IBM Analytics Engine vers IBM Cloud Logs, de l'une des manières suivantes.
-
A l'aide du noeud final d'API
log_forwarding_config:curl -X PATCH https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_guid>/log_forwarding_config -H "Authorization: Bearer $TOKEN" -H "content-type: application/json" -d '{"enabled":false}' -
A l'aide du noeud final d'API
logging(obsolète):curl -X PATCH https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_guid>/logging -H "Authorization: Bearer $TOKEN" -H "content-type: application/json" -d '{"enable":false}'
Affichage de la configuration de l'acheminement des journaux d'une instance IBM Analytics Engine
Affichez la configuration de journalisation en cours d'une instance IBM Analytics Engine de l'une des manières suivantes:
-
A l'aide du noeud final d'API
log_forwarding_config:curl -X GET https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_guid>/log_forwarding_config -H "Authorization: Bearer $TOKEN" -
A l'aide du noeud final d'API
logging(obsolète):curl -X GET https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_guid>/logging -H "Authorization: Bearer $TOKEN"
Exemples de recherches de logs IBM Analytics Engine dans le tableau de bord IBM Cloud Logs
Vous pouvez affiner la recherche des journaux de plateforme liés à IBM Analytics Engine comme suit:
- Cliquez sur "
Sourcesdans le tableau de bord IBM Cloud Logs et choisissez "ibmanalyticsenginepour obtenir les journaux de IBM Analytics Engine. - Pour affiner votre recherche, vous pouvez entrer et rechercher des mots clés liés à votre application Spark dans la fenêtre de recherche.
Exemples de recherche
Cette section répertorie des exemples de recherche de journaux. Les exemples utilisent tous les exemples de valeurs suivants:
- ID de l'instance IBM Analytics Engine: "
4308f7a6-2cfd-4d7e-b7a7-678e71a27957 - ID application Spark:
5438585f-6413-4bb2-9251-8162d34f3dc3 - Sources pour lesquelles l'acheminement des journaux est activé:
spark-driveretspark-executor - Balises associées:
prodetus-south
L'image suivante montre un exemple des résultats de recherche renvoyés dans le tableau de bord IBM Cloud Logs. En bas de l'image, vous pouvez voir la zone d'entrée de recherche dans laquelle vous entrez vos requêtes de recherche. Dans l'exemple,
l'ID d'application 5438585f-6413-4bb2-9251-8162d34f3dc3 et la source spark-driver ont été entrés.
Exemples de recherche:
-
Pour extraire les journaux de toutes les applications Spark soumises dans une instance IBM Analytics Engine spécifique, transmettez l'ID d'instance dans la fenêtre de recherche:
4308f7a6-2cfd-4d7e-b7a7-678e71a27957 -
Pour extraire les journaux d'une application Spark spécifique, vous pouvez transmettre:
- Combinaison de l'ID d'instance IBM Analytics Engine et de l'ID d'application Spark:
4308f7a6-2cfd-4d7e-b7a7-678e71a27957 5438585f-6413-4bb2-9251-8162d34f3dc3 - Uniquement l'ID application:
5438585f-6413-4bb2-9251-8162d34f3dc3
- Combinaison de l'ID d'instance IBM Analytics Engine et de l'ID d'application Spark:
-
Pour rechercher les journaux maître Spark d'une application, vous pouvez transmettre:
- Combinaison de l'ID d'instance IBM Analytics Engine, de l'ID d'application Spark et du mot clé
spark-driver:4308f7a6-2cfd-4d7e-b7a7-678e71a27957 5438585f-6413-4bb2-9251-8162d34f3dc3 spark-driver - Combinaison de l'ID application et du mot clé
spark-driver:5438585f-6413-4bb2-9251-8162d34f3dc3 spark-driver
- Combinaison de l'ID d'instance IBM Analytics Engine, de l'ID d'application Spark et du mot clé
-
Pour effectuer une recherche à l'aide de plusieurs noms de source de journal, vous pouvez transmettre:
- Combinaison de l'ID d'instance IBM Analytics Engine, de l'ID d'application Spark et des noms de source:
4308f7a6-2cfd-4d7e-b7a7-678e71a27957 5438585f-6413-4bb2-9251-8162d34f3dc3 (spark-driver OR spark-executor-2) - Combinaison de l'ID application et des noms de source de journal:
5438585f-6413-4bb2-9251-8162d34f3dc3 (spark-driver OR spark-executor-2)
- Combinaison de l'ID d'instance IBM Analytics Engine, de l'ID d'application Spark et des noms de source:
-
Pour obtenir les journaux relatifs à toutes les applications s'exécutant dans une instance particulière au sein de la région
us-southet de l'environnementprod, vous pouvez entrer ce qui suit dans la zone de recherche:4308f7a6-2cfd-4d7e-b7a7-678e71a27957 "prod us-south"