Démarrage et arrêt du serveur d'historique Spark

Avant d'accéder au serveur d'historique Spark, vous devez démarrer le serveur. Lorsque vous n'en avez plus besoin, vous devez arrêter le serveur. Vous serez facturé pour les coeurs d'UC et la mémoire consommés par le serveur d'historique Spark pendant son exécution.

Le serveur d'historique Spark peut être démarré et arrêté à l'aide de la commande suivante:

• L' API RESTAnalytics Engine
• Interface utilisateur de l'instance Analytics Engine

Ouverture de l' Web UI du serveur d'historique Spark

Vous pouvez ouvrir l' Web UI de l'historique Spark en ouvrant la page des détails de l'instance de votre instance de service Analytics Engine, en accédant à l'onglet Historique Spark et en cliquant sur Afficher l'historique Spark.

L'URL de l' Web UI du serveur d'historique Spark peut également être obtenue via un noeud final de service qui est mis à votre disposition en tant que clé de service (également appelée données d'identification de service). Consultez Obtention des points d'extrémité de service.

Vérifiez que le serveur d'historique Spark est en cours d'exécution avant d'ouvrir l' Web UI.

Les liens de journal sous les onglets Etapes et Exécuteurs de l'interface utilisateur du serveur d'historique Spark ne fonctionnent pas car les journaux ne sont pas conservés avec les événements Spark. Pour consulter les journaux des tâches et des programmes d'exécution, activez la journalisation de la plateforme. Pour plus d'informations, voir Configuration et affichage des journaux.

Pour afficher les anciennes applications dans l'interface utilisateur du serveur d'historique Spark, copiez les événements Spark de l'ancien chemin vers le nouveau à l'aide de la commande suivante: ibmcloud cos object-copy -- bucket < destination_bucket> -- key /spark-events/<eventlog_app-1>-- copy-source /spark-events/<eventlog_app-1>

Accès à l'API REST du serveur d'historique Spark

Outre l'interface utilisateur Web, le serveur d'historique Spark fournit également une API REST qui peut être interrogée pour afficher les événements Spark générés par vos applications Spark. L'API REST du serveur d'historique Spark est disponible en tant que noeud final de service dans une clé de service (également appelée données d'identification de service). Consultez Obtention des points d'extrémité de service.

Lorsque vous appelez l'API REST du serveur d'historique Spark, vous devez spécifier votre jeton IAM en tant que jeton bearer dans l'en-tête d'autorisation. E.g.

curl --location --request GET 'https://spark-console.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance id>/spark_history_api/v1/applications?status=completed' \
--header 'Authorization: Bearer <iam token>'

Pour plus de détails, voir la documentation de l'API REST du serveur d'historique Spark.

Personnalisation du serveur d'historique Spark

Par défaut, le serveur d'historique Spark consomme 1 coeur d'UC et 4 GiB de mémoire alors qu'il est en cours d'exécution. Si vous souhaitez que votre serveur d'historique Spark utilise davantage de ressources, vous pouvez définir les propriétés suivantes dans les configurations par défaut de votre instance Analytics Engine:

• ae.spark.history-server.cores pour le nombre de coeurs d'UC
• ae.spark.history-server.memory pour la quantité de mémoire

curl --location --request PATCH "https://api.us-south.ae.cloud.ibm.com/v3/analytics_engines/<instance_id>/default_configs" \
--header "Authorization: bearer <iam_token>" \
--header 'Content-Type: application/json' \
--data-raw '{
        "ae.spark.history-server.cores": "2",
        "ae.spark.history-server.memory": "8G"
}'

Meilleures pratiques

Arrêtez toujours le serveur d'historique Spark lorsque vous n'avez plus besoin de l'utiliser. N'oubliez pas que le serveur d'historique Spark consomme des ressources de mémoire amd d'UC en continu alors que son état est Started.