Trabajar con cuadernos watsonx.ai

Se aplica a: motor Spark Motor Spark acelerado por gluten

IBM® watsonx.data se integra con watsonx.ai para permitir una experiencia de trabajo basada en web con Jupyter Notebook. Puede utilizar la interfaz watsonx.ai para construir su propio código en Jupyter Notebook, y ejecutarlo utilizando watsonx.data Spark como entorno de ejecución.

Para obtener más información sobre Jupyter Notebook, consulte Notebooks.

Requisitos previos

Suscripción a watsonx.ai en IBM Cloud.

Procedimiento

Para ejecutar el Jupyter Notebook en tu motor watsonx.data spark, haz lo siguiente:

  1. Crear proyecto watsonx.ai. Para crear un proyecto watsonx.ai, consulta Crear un proyecto.

  2. Crear un entorno de motor Spark. Para ejecutar un Jupyter Notebook, debes crear una plantilla de entorno de ejecución.

    Para ello, accede al proyecto watsonx. ai desde la interfaz de usuario. Vaya a la pestaña Gestionar. Crear una plantilla. Para obtener más información sobre la creación de plantillas de entorno, consulte Creación de plantillas de entorno. Al crear la plantilla, seleccione Tipo como Spark y en la lista Motor Spark, seleccione el motor Spark nativo que aprovisionó en la instancia watsonx.data.

  3. Cree un activo Jupyter Notebook book y acceda a él desde la herramienta de edición de Jupyter Notebook. Para crear un archivo de cuaderno en el editor de cuadernos, consulte Crear un archivo de cuaderno en el editor de cuadernos.

    Cuando crees el cuaderno, especifica el entorno de ejecución que creaste para el motor watsonx.data spark.

    Se abre el cuaderno en modalidad de edición. Puedes empezar a trabajar en ello. Para obtener más información, consulte Creación de un archivo de cuaderno en el editor de cuadernos.

Acceso al catálogo watsonx.data

Añade el siguiente fragmento de código en la celda del bloc de notas y ejecútalo. El fragmento de código incluye las configuraciones necesarias para conectarse al catálogo watsonx.data asociado.

conf=spark.sparkContext.getConf()
spark.stop()

from pyspark.sql import SparkSession
from pyspark.sql.functions import col, to_utc_timestamp
import base64,getpass

wxd_username=getpass.getpass("Please enter your username with hms access:").strip() #Prompt for username
wxd_hms_username="ibmlhapikey_"+wxd_username
wxd_hms_password=getpass.getpass("Please enter your api key with hms access:").strip() #Prompt for api key
string_to_encode= wxd_hms_username+":"+wxd_hms_password
wxd_encoded_apikey="Basic " + base64.b64encode(string_to_encode.encode("utf-8")).decode("utf-8")

conf.setAll([("spark.hive.metastore.client.plain.username", wxd_hms_username), \
    ("spark.hive.metastore.client.plain.password", wxd_hms_password), \
    ("spark.hadoop.wxd.apikey", wxd_encoded_apikey)
])

spark = SparkSession.builder.config(conf=conf).enableHiveSupport().getOrCreate()

Puede recorrer paso a paso la celda de ejecución del cuaderno, seleccionando Mayúsculas-Entrar o puede ejecutar el cuaderno completo. Pide el nombre de usuario y la contraseña. Nombre de usuario es el ID de IBM Cloud del usuario cuya clave api se utiliza para acceder al bucket de datos. La clave API es la clave API del usuario que accede al almacén de objetos. Para generar una clave API, inicie sesión en la consola de watsonx.data y vaya a Perfil > Perfil y configuración > Claves API y genere una nueva clave API.

Puedes añadir más fragmentos de código en función de tu caso de uso y continuar. Para obtener más información, consulte Creación de un archivo de cuaderno en el editor de cuadernos.