Accéder aux logs Spark pour les jobs d'ingestion

Cette rubrique présente les étapes nécessaires pour localiser et afficher les journaux Spark associés aux tâches d'ingestion soumises dans IBM® watsonx.data. En accédant à ces journaux, vous pouvez obtenir des informations précieuses sur les détails de l'exécution, les messages d'erreur potentiels liés au processus d'ingestion et le dépannage des travaux d'ingestion.

Avant de commencer

Pour un statut Failed ou Finished, vous devez démarrer le serveur d'historique Spark pour obtenir les détails du journal d'ingestion. Pour plus d'informations, voir Accéder au serveur d'historique Spark.

Procédure

  1. Connectez-vous à la console watsonx.data.

  2. Dans le menu de navigation, sélectionnez Gestionnaire de données et cliquez sur l'onglet Historique de l'ingestion.

  3. Cliquez sur un journal de travail spécifique pour obtenir les détails et les journaux de ce travail d'ingestion.

  4. Cliquez sur Historique de l'application Spark pour obtenir les détails du journal en fonction de l'état de la tâche d'ingestion, comme suit :

    Démarrage: Si la tâche d'ingestion est en état de démarrage, l'historique de l'application Spark est désactivé.

    En cours d'exécution: Si le statut du travail est Running, cliquer sur Spark application history vous amènera généralement à l' Spark UI. Cette interface web vous permet de contrôler en temps réel la progression du travail d'ingestion, l'utilisation des ressources et d'autres détails. Ces informations Spark UI ne sont temporairement disponibles que lorsque le travail est en cours d'exécution.

    Échec ou Fini: Si l'état de la tâche est Échec ou Fini, cliquer sur Historique de l'application Spark vous dirigera vers l'interface utilisateur de l'historique Spark. Cette interface fournit un résumé de l'exécution du travail d'ingestion, y compris sa chronologie, l'utilisation des ressources et les éventuels messages d'erreur.

    Annulé: Si le travail est annulé, l'historique de la demande d'étincelle est désactivé.