Prérequis

Abonnement à watsonx.ai sur IBM Cloud.

Procédure

Pour exécuter le Jupyter Notebook sur votre moteur spark watsonx.data, procédez comme suit :

1. Créer le projet watsonx.ai Pour créer un projet watsonx.ai, voir Création d'un projet.

2. Créer un environnement pour le moteur Spark. Pour exécuter un Jupyter Notebook, vous devez créer un modèle d'environnement d'exécution.

   Pour ce faire, accédez au projet watsonx. ai à partir de l'interface utilisateur. Allez dans l'onglet Gérer. Créer un modèle. Pour plus d'informations sur la création de modèles d'environnement, voir Création de modèles d'environnement. Lors de la création du modèle, sélectionnez Type as Spark et dans la liste des moteurs Spark, sélectionnez le moteur Spark natif que vous avez provisionné dans l'instance watsonx.data

3. Créer une ressource Jupyter Notebook et y accéder à partir de l'outil d'édition Jupyter Notebook. Pour créer un fichier de bloc-notes dans l'éditeur de bloc-notes, voir Création d'un fichier de bloc-notes dans l'éditeur de bloc-notes.

   Lorsque vous créez le notebook, indiquez l'environnement d'exécution que vous avez créé pour le moteur watsonx.data spark.

   Le bloc-notes s'ouvre en mode édition. Vous pouvez commencer à y travailler. Pour plus d'informations, voir Création d'un fichier notebook dans l'éditeur de notebook.

Accéder au catalogue watsonx.data

Ajoutez l'extrait de code suivant dans la cellule du carnet et exécutez-le. L'extrait de code inclut les configurations nécessaires pour se connecter au catalogue watsonx.data associé.

conf=spark.sparkContext.getConf()
spark.stop()

from pyspark.sql import SparkSession
from pyspark.sql.functions import col, to_utc_timestamp
import base64,getpass

wxd_username=getpass.getpass("Please enter your username with hms access:").strip() #Prompt for username
wxd_hms_username="ibmlhapikey_"+wxd_username
wxd_hms_password=getpass.getpass("Please enter your api key with hms access:").strip() #Prompt for api key
string_to_encode= wxd_hms_username+":"+wxd_hms_password
wxd_encoded_apikey="Basic " + base64.b64encode(string_to_encode.encode("utf-8")).decode("utf-8")

conf.setAll([("spark.hive.metastore.client.plain.username", wxd_hms_username), \
    ("spark.hive.metastore.client.plain.password", wxd_hms_password), \
    ("spark.hadoop.wxd.apikey", wxd_encoded_apikey)
])

spark = SparkSession.builder.config(conf=conf).enableHiveSupport().getOrCreate()

Vous pouvez parcourir la cellule d'exécution du carnet en sélectionnant Shift-Enter ou vous pouvez exécuter l'ensemble du carnet. Il demande le nom d'utilisateur et le mot de passe. Username est l'identifiant IBM Cloud de l'utilisateur dont la clé api est utilisée pour accéder au seau de données. La clé API est la clé API de l'utilisateur qui accède au stockage d'objets. Pour générer une clé API, connectez-vous à la console watsonx.data et naviguez vers Profil > Profil et paramètres > Clés API et générez une nouvelle clé API.

Vous pouvez ajouter d'autres extraits de code en fonction de votre cas d'utilisation et continuer. Pour plus d'informations, voir Création d'un fichier notebook dans l'éditeur de notebook.