Trabajar con el entorno de desarrollo VS Code

Se aplica a: motor Spark Motor Spark acelerado por gluten

El entorno de desarrollo VS Code es un entorno de desarrollo basado en Spark que permite programar, depurar, enviar y probar aplicaciones Spark de forma interactiva en un clúster Spark que se ejecuta en el motor Spark.

Está disponible como extensión de Visual Studio Code y puede instalarlo en el sistema local para acceder a Spark IDE utilizando Visual Studio Code. Reduce el tiempo de desarrollo y aumenta la usabilidad.

Antes de empezar

Suscripción de watsonx.data en la nube. Asegúrese de crear un motor Spark y que esté en estado de ejecución.
Instale una versión de escritorio de Visual Studio Code.
Instale la extensión watsonx.data desde VS Code Marketplace.
Instale la extensión de Visual Studio Code, Remote-SSH desde Visual Studio Code marketplace.

Dado que los laboratorios Spark son efímeros por naturaleza, debe realizar copias de seguridad periódicas de los datos almacenados para evitar posibles pérdidas de datos durante las actualizaciones o una caída del maestro Spark.

Procedimiento

Configuración de los laboratorios Spark

Instale la extensión watsonx.data.

a. Abrir Visual Studio Code. Pulse Extensiones.

b. Busque la extensión watsonx.data en VS Code Marketplace e instale la extensión.

c. También puede ver el icono watsonx.data en la ventana de navegación de la izquierda. Pulse el icono. Se abre la ventana Bienvenidos a IBM watsonx.data.
Desde la ventana Bienvenido a IBM watsonx.data, haga clic en Administrar conexión. Se abre la ventana Administrar conexión watsonx.data.
Configure uno de los siguientes detalles:
- Entradas JSON
- Entradas de formulario
Para configurar " Entradas JSON, haga clic en " Entradas JSON y especifique los siguientes datos:
- Clave API: Proporcione la clave API de la plataforma. Para generar la clave API, consulte Generación de la clave API.
- Conexión JSON: Proporciona los detalles de la conexión desde la interfaz de usuario watsonx.data. Para ello:
  1. Inicie sesión en su página watsonx.data.
  2. En el menú de navegación, haga clic en Información de conexión.
  3. Haz clic en Código VS. Copie la configuración del campo de configuración de la conexión de VS Code y utilícela como valor del campo JSON de la conexión. Para más información, consulte Obtener información de conexión.
Para configurar " Entradas de formulario, haga clic en " Entradas de formulario y especifique los siguientes datos:
- Dirección del host de la consola watsonx.data: Indique la dirección IP del host de la instalación watsonx.data. Para obtener la dirección IP del host, consulte Obtener información de conexión.
- Tipo de entorno: Seleccione SaaS.
- CRN: El CRN de la instancia de su instancia watsonx.data. Para recuperar el CRN, consulte Obtención de información de conexión.
- Nombre de usuario: Tu email-id si estás usando tu clave API o debe tener el formato <Service-id>-<GUID>. Para obtener más información sobre la generación de id de servicio y GUID, consulte Creación de ID de servicio.
- Clave API: Proporcione la clave API de la plataforma. Para generar la clave API, consulte Generación de la clave API.
Haga clic en Probar y guardar. Aparecerá el mensaje Retrieved Spark Clusters. Los motores Spark disponibles se muestran en la sección WATSONX.DATA:ENGINES sección.
Cree una práctica de laboratorio de Spark.

a. Para crear un nuevo laboratorio Spark, desde la sección WATSONX.DATA:ENGINES seleccione el clúster Spark deseado y haga clic en el icono + (Añadir clúster) situado junto a él. Se abre la ventana Crear Spark Lab. Especifique un nombre único para el laboratorio Spark y seleccione la versión de Spark. La versión por defecto de Spark es 3.5. Si lo desea, puede modificar los demás campos opcionales.

El parámetro ' spark.hadoop.wxd.apikey ' se configura por defecto en el campo Spark configurations al crear Spark lab.

b. Haga clic en Actualizar para ver el laboratorio Spark en la ventana de la izquierda. Este es el clúster Spark dedicado para el desarrollo de aplicaciones.

c. Haz clic para abrir la ventana del laboratorio Spark para acceder al sistema de archivos, al terminal y trabajar con él.

c. En el menú Explorador, puede ver el sistema de archivos, donde puede cargar los archivos, y ver los registros.

Para eliminar un laboratorio Spark ya en ejecución, sitúe el ratón sobre el nombre del laboratorio Spark en el panel de navegación izquierdo de watsonx.data y haga clic en el icono Eliminar.

Desarrollo de una aplicación Spark

Desarrolle una aplicación Spark en el laboratorio de Spark. Puede trabajar con una aplicación Spark de una de las maneras siguientes:

Cree su propio archivo Python
Crear cuadernos de Jupyter

Cree su propio archivo Python

En Visual Studio Code, haga clic en el laboratorio Spark. Se abrirá una nueva ventana.
En la nueva ventana del laboratorio Spark, haga clic en Nuevo archivo. Aparecerá un aviso de Nuevo Archivo con los siguientes tipos de archivo:
- Archivo de texto: Seleccione esta opción para crear un archivo de texto.
- Python Archivo: Seleccione esta opción para crear una aplicación Python.
- Jupyter Notebook seleccione esta opción para crear un archivo Jupyter Notebook.
Seleccione Python File. Se abre un nuevo archivo .py. Puede empezar a trabajar en el archivo Python y guardarlo más tarde.

También puede arrastrar el archivo de la aplicación Python a la página del Explorador. El archivo se abre en el panel derecho de la aplicación Visual Studio Code.
Ejecute el siguiente comando en el terminal para ejecutar su aplicación Python. Esto inicia una sesión Python y puede ver el mensaje de acuse de recibo en el terminal.
```
python <filename>
```

Crear cuadernos de Jupyter

En Visual Studio Code, haga clic en el laboratorio Spark. Se abrirá una nueva ventana.
Instale la extensión Jupyter en la nueva ventana de laboratorio de Spark para trabajar con Jupyter Notebooks. En el menú Extensiones de la nueva ventana del laboratorio de Spark, busque Jupyter (también puede encontrarlo en VS Code Marketplace ) e instale la extensión.

Asegúrese de instalar la extensión Jupyter desde la nueva ventana del laboratorio Spark.
En la página Explorador, haga clic en Nuevo archivo. Aparecerá un aviso de Nuevo Archivo con los siguientes tipos de archivo:
- Archivo de texto: Seleccione esta opción para crear un archivo de texto.
- Python Archivo: Seleccione esta opción para crear una aplicación Python.
- Jupyter Notebook seleccione esta opción para crear un archivo Jupyter Notebook.
También puede crear un nuevo archivo Jupyter Notebook escribiendo el nombre del archivo con la extensión .ipynb o arrastrar y soltar el cuaderno existente en la página del Explorador.
Seleccione Jupyter Notebook. Se abre un nuevo archivo .ipynb. Puede empezar a trabajar en el archivo Jupyter Notebook y guardarlo más tarde.
En el archivo Jupyter Notebook, haga clic en el enlace Seleccionar núcleo.
Debe seleccionar un entorno Python para ejecutar su archivo.
Seleccione la ruta del archivo que contiene conda/envs/python/bin/python.
El Jupyter Notebook ya está listo para su uso. Puede escribir su código y ejecutarlo celda por celda.

Al guardar el archivo, la ruta del archivo se muestra automáticamente en la ventana Guardar como. Puede modificar la ruta o hacer clic en Aceptar para guardar.