Verwaltung des Spark-Abfrageservers

Gilt für: Ottomotor

Mit dem Spark-Abfrageserver können Sie einen Hive Spark-basierten Thrift-Server starten, der die Schnittstelle zum Sammeln, Speichern, Abfragen und Analysieren all Ihrer Lakehouse-Daten aus der Spark-Engine bereitstellt.

Die Funktionalität des Spark-Abfrageservers kann auf verschiedene Weise genutzt werden, siehe Integration.

Vorbereitende Schritte

  • Installieren Sie watsonx.data.
  • Bereitstellung der nativen Spark-Engine in watsonx.data.

Erstellen Sie einen Spark-Abfrageserver

Damit die Spark-Engine in das dbt-Tool integriert werden kann und als Abfrage-Engine funktioniert, müssen Sie einen Spark-Abfrageserver erstellen.

  1. Melden Sie sich bei der watsonx.data Instanz an.

  2. Navigieren Sie zum Infrastrukturmanager. Klicken Sie auf den Spark-Motor.

  3. Klicken Sie auf die Registerkarte „ Abfrageserver “.

  4. Klicken Sie auf Abfrageserver erstellen. Die Seite Abfrageserver erstellen wird geöffnet.

  5. Geben Sie folgende Angaben ein:

    • Name: Geben Sie einen Namen für den Abfrageserver ein, den Sie erstellen.

    • Sie müssen die folgenden Informationen angeben, wenn Sie Version 2.3 oder höher von verwenden watsonx.data.

      Wählen Sie den Kapazitätstyp aus. Sie können zwischen „Dedicated“ (falls konfiguriert) und „On-Demand“ wählen. Wählen Sie die Kapazität aus der Liste aus und geben Sie die CPU-Kerne und Speicherdetails für Treiber und Executor an.

    • Treiber- und Executor-Kerne und Speicher. Geben Sie dieses Feld an, wenn Sie eine Version vor 2.3 von verwenden watsonx.data.

    • Benutzername: Der watsonx.data Login-Benutzername.

    • API-Schlüssel: Ihr API-Schlüssel. Um einen API-Schlüssel zu generieren, siehe Generierung des API-Schlüssels.

    • Geben Sie die Konfigurations- und Umgebungsvariablen sowie die Werte an.

  6. Klicken Sie auf Erstellen. Der Abfrageserver wird erstellt und erhält den Status ACCEPTED. Sie können den Server verwenden, wenn der Status auf AKTIV gesetzt wird.

Sie können die Details des Abfrageservers anzeigen, wie z. B. den Namen, die ID, den Status, die Start- und Stoppzeit des Servers sowie die Verbindung URL.

Abrufen der Verbindungsdetails des Abfrageservers

Um die Profildatei in dbt tool zu konfigurieren, müssen Sie die Verbindungsdetails des Abfrageservers speichern.

  1. Wählen Sie auf der Registerkarte Abfrageserver den Abfrageserver aus, der sich im Zustand AKTIV befindet.

  2. Klicken Sie auf das Überlaufmenü des von Ihnen ausgewählten Abfrageservers.

  3. Klicken Sie auf „ Verbindungsdetails anzeigen “. Die Seite Verbindungsdetails wird mit der Profilkonfiguration geöffnet.

  4. Kopieren Sie die Verbindungsdetails.

    Alternativ können Sie die Verbindungsdetails auch über die Seite Verbindungsinformationen abrufen. Gehen Sie im Navigationsmenü zu ConfigurationsConnectioninformationData Build Tool (DBT).

Anhalten des Spark-Abfrageservers

  1. Auf der Registerkarte Abfrageserver können Sie die Liste der Abfrageserver einsehen.
  2. Klicken Sie auf das Überlaufmenü des von Ihnen ausgewählten Abfrageservers.
  3. Klicken Sie auf „ Stopp “.

Unterstützte Integrationen