Lavorare con i Quaderni watsonx.ai

Si applica a: Motore a scintilla Glutine accelerato Motore a scintilla

IBM® watsonx.data si integra con watsonx.ai per consentire un'esperienza di lavoro basata sul web con Jupyter Notebook. È possibile utilizzare l'interfaccia watsonx.ai per costruire il proprio codice in Jupyter Notebook ed eseguirlo utilizzando watsonx.data Spark come ambiente di esecuzione.

Per ulteriori informazioni su Jupyter Notebook, vedere Notebook.

Prerequisiti

Abbonamento a watsonx.ai su IBM Cloud.

Procedura

Per eseguire il Jupyter Notebook sul motore spark di watsonx.data, procedere come segue:

  1. Creare il progetto watsonx.ai Per creare un progetto watsonx.ai, vedere Creazione di un progetto.

  2. Creare un ambiente del motore Spark. Per eseguire un Jupyter Notebook, è necessario creare un modello di ambiente di esecuzione.

    Per farlo, accedere al progetto watsonx. ai dall'interfaccia utente. Andare alla scheda Gestione. Creare un modello. Per ulteriori informazioni sulla creazione di modelli di ambiente, vedere Creazione di modelli di ambiente. Durante la creazione del modello, selezionare Tipo come Spark e dall'elenco dei motori Spark, selezionare il motore Spark nativo che è stato fornito nell'istanza watsonx.data.

  3. Creare una risorsa Jupyter Notebook e accedervi dallo strumento editor Jupyter Notebook. Per creare un file di blocco note nell'editor di blocco note, vedere Creazione di un file di blocco note nell'editor di blocco note.

    Quando si crea il blocco note, specificare l'ambiente di runtime creato per il motore watsonx.data spark.

    Il blocco note si apre in modalità di modifica. Potete iniziare a lavorarci. Per ulteriori informazioni, vedere Creazione di un file di blocco note nell'editor di blocco note.

Accesso al catalogo watsonx.data

Aggiungete il seguente frammento di codice nella cella del blocco note ed eseguitelo. Il frammento di codice include le configurazioni necessarie per connettersi al catalogo watsonx.data associato.

conf=spark.sparkContext.getConf()
spark.stop()

from pyspark.sql import SparkSession
from pyspark.sql.functions import col, to_utc_timestamp
import base64,getpass

wxd_username=getpass.getpass("Please enter your username with hms access:").strip() #Prompt for username
wxd_hms_username="ibmlhapikey_"+wxd_username
wxd_hms_password=getpass.getpass("Please enter your api key with hms access:").strip() #Prompt for api key
string_to_encode= wxd_hms_username+":"+wxd_hms_password
wxd_encoded_apikey="Basic " + base64.b64encode(string_to_encode.encode("utf-8")).decode("utf-8")

conf.setAll([("spark.hive.metastore.client.plain.username", wxd_hms_username), \
    ("spark.hive.metastore.client.plain.password", wxd_hms_password), \
    ("spark.hadoop.wxd.apikey", wxd_encoded_apikey)
])

spark = SparkSession.builder.config(conf=conf).enableHiveSupport().getOrCreate()

È possibile scorrere la cella di esecuzione del blocco note, selezionando Maiuscole-Invio, oppure eseguire l'intero blocco note. Viene richiesto il nome utente e la password. Username è l'ID IBM Cloud dell'utente la cui chiave api viene utilizzata per accedere al bucket dei dati. La chiave API è la chiave API dell'utente che accede all'archivio degli oggetti. Per generare una chiave API, accedere alla console watsonx.data e navigare in Profilo > Profilo e impostazioni > Chiavi API e generare una nuova chiave API.

È possibile aggiungere altri snippet di codice in base al caso d'uso e continuare. Per ulteriori informazioni, vedere Creazione di un file di blocco note nell'editor di blocco note.