Envío de la solicitud de Spark desde la consola

Aplicable a: [Motor Spark] Motor Spark acelerado por gluten

Puede enviar una solicitud de Spark que esté escrita en un lenguaj Python, Java o Scala desde la consola watsonx.data en IBM Cloud.

Es posible especificar los detalles de la aplicación Spark, la versión a tener en cuenta, los detalles de hardware y volumen, las propiedades del entorno Spark y las configuraciones de Spark en la consola de watsonx.data.

Requisitos previos

Tu aplicación Spark debe estar disponible en un almacenamiento accesible.

Procedimiento

  1. Inicie sesión en la watsonx.data instancia. Vaya a la página del administrador de infraestructura.

  2. Haga clic en el nombre del motor Spark (ya sea de la lista o de la vista topológica). Se abre la ventana de información del motor.

  3. En la pestaña Aplicaciones, haga clic en el botón Crear aplicación. Se abre la página de envío de la solicitud de Spark.

    En esta página, puede seleccionar una de las siguientes pestañas en función del método por el que necesite enviar la solicitud de Spark.

    • Seleccione la pestaña Entradas para enviar la solicitud si se encuentra en una ubicación accesible. Configure los siguientes detalles:

      Detalles de la configuración
      Campo Descripción
      Tipo de aplicación

      Tienes las siguientes opciones:

      • Python: Si tu aplicación Spark está escrita en lenguaje Python, selecciona esta opción. option.
      • Java o Scala: Si tu aplicación Spark está escrita en lenguaje Java o Scala, selecciona esta opción.
      Vía de acceso de aplicación Especifique la ruta de acceso a su aplicación. Este campo es obligatorio.
      Ejemplo: s3a://<application-bucket-name>/iceberg.py
      Nombre de aplicación Especifique un nombre para la aplicación.
      Argumentos Utilice el botón Añadir argumento para especificar todos los argumentos requeridos por la aplicación.
      Versión de Spark Introduzca la versión de Spark para ejecutar su aplicación. Las versiones disponibles son Spark 3.4 y 3.5.
      Propiedades de configuración de Spark Especifique las propiedades de Spark en forma de par clave-valor ("<property_name>": "<property_value>") separadas por comas. Para más información sobre las diferentes propiedades, consulte Propiedades.
      Propiedades del entorno de Spark Especifique las propiedades del entorno de Spark como pares clave=valor. Para más información sobre las diferentes propiedades, consulte Propiedades del entorno.
      Configuración de hardware Especifique el número de núcleos de CPU (controlador y ejecutor) y la memoria que se requieren para la carga de trabajo.
      Capacidad de recursos (condicional) Especifique este campo si utiliza una versión 2.3 (o posterior) de watsonx.data. Seleccione el tipo de capacidad (bajo demanda o dedicada) y elija el controlador y los valores de memoria del ejecutor.
      Dependencias Especifique la ruta de acceso a los archivos y los nombres de los paquetes requeridos por el script o jar de su aplicación.
      Importar desde la carga útil Haga clic en este enlace para importar y rellenar automáticamente todos los campos de la pestaña Entradas si ya ha especificado la carga útil en la pestaña Carga útil.

    • Seleccione la pestaña Carga útil para enviar la solicitud si desea escribir manualmente la carga útil.

      En el campo de carga útil de la aplicación, especifique la carga útil de la aplicación JSON que puede ser aceptada por el punto final de la API REST de creación de aplicaciones del motor Spark. Puede escribir manualmente la carga útil aquí o hacer clic en el enlace Importar desde entradas para crear automáticamente el JSON a partir de los detalles proporcionados en la pestaña Entradas.

      Si su aplicación accede a datos de un catálogo asociado al motor Spark, puede utilizar la carga útil especificada en Envío de una aplicación Spark accediendo al catálogo watsonx.data.

  4. Haga clic en Enviar solicitud. La solicitud se envía correctamente y aparece en la pestaña Solicitudes.