Gérer le serveur de requêtes Spark

S'applique à: Moteur à étincelles

Le serveur Spark Query vous permet de démarrer un serveur Thrift basé sur Hive Spark qui fournit l'interface permettant de collecter, stocker, interroger et analyser toutes vos données Lakehouse à partir du moteur Spark.

Les fonctionnalités du serveur de requêtes Spark peuvent être exploitées de différentes manières, voir Intégration.

Avant de commencer

  • Installer watsonx.data.
  • Provisionner le moteur Spark natif dans watsonx.data.

Créer un serveur de requêtes Spark

Pour que le moteur Spark s'intègre à l'outil dbt et fonctionne comme moteur de requête, vous devez créer un serveur de requête Spark.

  1. Connectez-vous à l'instance watsonx.data.

  2. Naviguer vers le gestionnaire d'infrastructure. Cliquez sur le moteur Spark.

  3. Cliquez sur l'onglet Serveurs de requêtes.

  4. Cliquez sur Créer des serveurs de requêtes. La page Créer des serveurs de requêtes s'ouvre.

  5. Indiquez les informations suivantes :

    • Nom : Entrez un nom pour le serveur de requêtes que vous créez.

    • Vous devez fournir les informations suivantes lorsque vous utilisez la version 2.3 ou une version ultérieure de watsonx.data.

      Sélectionnez le type de capacité. Vous pouvez sélectionner Dédié (si configuré) ou À la demande. Sélectionnez la capacité dans la liste et spécifiez les détails relatifs aux cœurs de processeur et à la mémoire pour le pilote et l'exécuteur.

    • Les cœurs et la mémoire du pilote et de l'exécuteur. Spécifiez ce champ si vous utilisez une version antérieure à 2.3 de watsonx.data.

    • Nom d'utilisateur : Le nom d'utilisateur de watsonx.data.

    • Clé API : votre clé API. Pour générer une clé API, voir Générer la clé API.

    • Spécifiez les variables de configuration et d'environnement ainsi que leurs valeurs.

  6. Cliquez sur Créer. Le serveur de requêtes est créé et se trouve dans l'état ACCEPTED. Vous pouvez commencer à utiliser le serveur lorsque l'état devient ACTIF.

Vous pouvez afficher les détails du serveur de requêtes, tels que le nom, l'ID, l'état, l'heure de démarrage et d'arrêt du serveur, ainsi que la connexion URL.

Récupérer les détails de la connexion au serveur de requêtes

Pour configurer le fichier de profil dans l'outil dbt, vous devez enregistrer les détails de la connexion au serveur de requêtes.

  1. Dans l'onglet Serveurs de requêtes, sélectionnez le serveur de requêtes qui est en état ACTIF.

  2. Cliquez sur le menu de débordement du serveur de requêtes que vous avez sélectionné.

  3. Cliquez sur Afficher les détails de la connexion. La page Détails de la connexion s'ouvre avec la configuration du profil.

  4. Copier les détails de la connexion.

    Vous pouvez également récupérer les détails de la connexion à partir de la page Informations sur la connexion. Dans le menu de navigation, accédez à ConfigurationsConnectioninformationData Build Tool (DBT).

Arrêter le serveur de requêtes Spark

  1. L'onglet Serveurs de requêtes permet d'afficher la liste des serveurs de requêtes.
  2. Cliquez sur le menu de débordement du serveur de requêtes que vous avez sélectionné.
  3. Cliquez sur Arrêter.

Intégrations prises en charge