Gestión del servidor de consultas Spark

Aplicable a: Motor de chispa

El servidor de consultas Spark le permite iniciar un servidor Thrift basado en Hive Spark que proporciona la interfaz para recopilar, almacenar, consultar y analizar todos sus datos de Lakehouse desde el motor Spark.

La funcionalidad del servidor de consultas Spark puede aprovecharse de varias maneras, véase Integración.

Antes de empezar

  • Instalar watsonx.data.
  • Provisión de motor Spark nativo en watsonx.data.

Crear un servidor de consultas Spark

Para que el motor Spark se integre con la herramienta dbt y funcione como motor de consultas, debes crear un servidor de consultas Spark.

  1. Inicie sesión en la watsonx.data instancia.

  2. Vaya al Gestor de infraestructuras. Haz clic en el motor Spark.

  3. Haga clic en la pestaña Servidores de consulta.

  4. Haga clic en Crear servidores de consulta. Se abre la página Crear servidores de consulta.

  5. Proporcione los detalles siguientes:

    • Nombre: Introduzca un nombre para el servidor de consultas que cree.

    • Debe proporcionar la siguiente información cuando utilice la versión 2.3 o posterior de watsonx.data.

      Seleccione el tipo de capacidad. Puede seleccionar Dedicado (si está configurado) o Bajo demanda. Seleccione la capacidad de la lista y especifique los núcleos de CPU y los detalles de memoria para el controlador y el ejecutor.

    • Núcleos y memoria de controladores y ejecutores. Especifique este campo si utiliza una versión anterior a 2.3 de watsonx.data.

    • Nombre de usuario: El nombre de usuario de inicio de sesión en watsonx.data.

    • Clave API: Tu clave API. Para generar una clave API, consulte Generación de la clave API.

    • Especifique la configuración y las variables de entorno, así como los valores.

  6. Pulse Crear. El servidor de consulta se crea y estará en estado ACEPTADO. Podrá empezar a utilizar el servidor cuando el estado pase a ser ACTIVO.

Puede ver los detalles del servidor de consultas, como el nombre, el ID, el estado, la hora de inicio y finalización del servidor, y la conexión URL.

Recuperar los datos de conexión al servidor de consulta

Para configurar el archivo de perfil en la herramienta dbt, debe guardar los detalles de conexión del servidor de consulta.

  1. En la pestaña Servidores de consulta, seleccione el servidor de consulta que se encuentra en estado ACTIVO.

  2. Haga clic en el menú de desbordamiento contra el servidor de consulta que seleccione.

  3. Haga clic en Ver detalles de la conexión. Se abre la página Detalles de la conexión con la configuración del perfil.

  4. Copie los detalles de la conexión.

    Alternativamente, puede recuperar los detalles de la conexión desde la página de información de la conexión. En el menú de navegación, vaya a ConfigurationsConnectioninformationData Herramienta de compilación (DBT).

Detención del servidor de consultas Spark

  1. En la pestaña Servidores de consulta, puede ver la lista de servidores de consulta.
  2. Haga clic en el menú de desbordamiento contra el servidor de consulta que seleccione.
  3. Haga clic en Detener.

Integraciones compatibles