Accès au serveur de données historiques Spark

S'applique à: [Moteur à étincelle] [Moteur à] {: tag-blue} étincelle à accélération par gluten

Le serveur d'historique Spark est une interface utilisateur Web qui vous permet de consulter l'état des applications Spark en cours d'exécution et terminées sur une watsonx.data instance. Si vous souhaitez analyser l'exécution des différentes étapes de votre application Spark, vous pouvez afficher les détails dans l'interface utilisateur du serveur d'historique Spark.

1. Connectez-vous à la console watsonx.data.

2. Dans le menu de navigation, sélectionnez Gestionnaire d'infrastructure.

3. Cliquez sur le nom du moteur Spark (à partir de la vue de liste ou de la vue de topologie). La fenêtre d'informations sur le moteur s'ouvre.

4. Dans l'onglet Historique Spark, cliquez sur Démarrer le serveur d'historique.

   Vous devez fournir les informations suivantes lorsque vous utilisez la version 2.3 ou une version ultérieure de watsonx.data.

   • Sélectionnez le type de capacité pour afficher les détails de l'historique. Vous pouvez sélectionner Dédié (si configuré) ou À la demande. Sélectionnez la capacité dans la liste et précisez les détails relatifs aux cœurs de processeur et à la mémoire.

5. Par défaut, le serveur d'historique Spark consomme 1 coeur d'UC et 4 GiB de mémoire alors qu'il est en cours d'exécution. Si vous souhaitez que votre serveur d'historique Spark utilise plus de ressources, sélectionnez les coeurs et Mémoire requis pour le serveur et cliquez sur Démarrer. Le serveur d'historique démarre et le statut affiché est STARTED.

6. Cliquez sur Afficher l'historique Spark. La page Serveur d'historique s'ouvre.

7. La page Serveur d'historique inclut les fonctionnalités suivantes:

   • Affichez la liste des applications Spark terminées et des détails tels que l'ID de l'application, la durée et le journal des événements pour chaque application.
   • Cliquez sur le lien Télécharger dans la zone Journal des événements pour télécharger les informations du journal des événements de chaque application.
   • Pour afficher les détails d'une application individuelle, cliquez sur le lien de l'ID de l'application individuelle. La page Travaux Spark s'ouvre. Cette page affiche des détails tels que les différentes étapes d'exécution, le stockage utilisé, l'environnement Spark et le programme d'exécution (mémoire et pilote).

   Le serveur d'historique affiche des événements de stockage détaillés uniquement si l'application Spark a été soumise avec le paramètre de configuration spark.eventLog.logBlockUpdates.enabled défini sur true.

   Les liens vers les journaux sous les onglets Stages et Executors de l'interface utilisateur du serveur d'historique Spark ne fonctionneront pas car les journaux ne sont pas conservés avec les événements Spark. Pour consulter les journaux des tâches et des exécuteurs, activez la journalisation de la plate-forme. Pour plus d'informations, voir Consultation des journaux.

8. Vous pouvez arrêter le serveur d'historique lorsque vous n'en avez plus besoin afin de libérer les ressources inutiles. Pour ce faire, accédez à l'onglet Historique Spark et cliquez sur Arrêter le serveur d'historique. Cliquez sur Arrêter dans le message de confirmation.