Gestione del server di query Spark

Si applica a: motore a scoppio

Il server Spark Query consente di avviare un server Thrift basato su Hive Spark che fornisce l'interfaccia per raccogliere, archiviare, interrogare e analizzare tutti i dati lakehouse dal motore Spark.

Le funzionalità del query server di Spark possono essere sfruttate in vari modi, vedi Integrazione.

Prima di iniziare

  • Installare watsonx.data.
  • Predisporre il motore Spark nativo in watsonx.data.

Creare un server di query Spark

Affinché il motore Spark si integri con lo strumento dbt e funzioni come motore di query, è necessario creare un server di query Spark.

  1. Accedere all'istanza watsonx.data.

  2. Passare a Gestione infrastrutture. Fare clic sul motore Spark.

  3. Fare clic sulla scheda Server di query.

  4. Fare clic su Crea server di query. Si apre la pagina Crea server di query.

  5. Fornire i seguenti dettagli:

    • Nome: Inserire un nome per il server di query creato.

    • È necessario fornire le seguenti informazioni quando si utilizza la versione 2.3 o successive di watsonx.data.

      Selezionare il tipo di capacità. È possibile selezionare Dedicato (se configurato) o Su richiesta. Scegli la capacità dall'elenco e specifica i dettagli relativi ai core della CPU e alla memoria per il driver e l'esecutore.

    • Core e memoria del driver e dell'esecutore. Specificare questo campo se si utilizza una versione precedente alla 2.3 di watsonx.data.

    • Nome utente: il nome utente di accesso a watsonx.data.

    • Chiave API: la vostra chiave API. Per generare una chiave API, vedere Generazione della chiave API.

    • Specificare le variabili di configurazione e di ambiente e i relativi valori.

  6. Fai clic su Crea. Il server di query viene creato e si trova nello stato ACCEPTED. È possibile iniziare a utilizzare il server quando lo stato diventa ATTIVO.

È possibile visualizzare i dettagli del server di query, quali nome, ID, stato, ora di avvio e di arresto del server e connessione URL.

Recuperare i dettagli della connessione al server di query

Per configurare il file di profilo nello strumento dbt, è necessario salvare i dettagli di connessione al server di query.

  1. Dalla scheda Server di query, selezionare il server di query in stato ATTIVO.

  2. Fare clic sul menu di overflow del server di query selezionato.

  3. Fai clic su Visualizza dettagli connessione. Si apre la pagina dei dettagli della connessione con la configurazione del profilo.

  4. Copiare i dettagli della connessione.

    In alternativa, è possibile recuperare i dettagli della connessione dalla pagina Informazioni sulla connessione. Dal menu di navigazione, vai su ConfigurationsConnectioninformationData Build Tool (DBT).

Arresto del server di query Spark

  1. Dalla scheda Server di query è possibile visualizzare la lista dei server di query.
  2. Fare clic sul menu di overflow del server di query selezionato.
  3. Fare clic su Stop.

Integrazioni supportate