Voraussetzungen

Abonnement für watsonx.ai auf IBM Cloud.

Vorgehensweise

Um das Jupyter Notebook auf Ihrer watsonx.data spark engine auszuführen, gehen Sie wie folgt vor:

1. Erstellen Sie das Projekt watsonx.ai. Um ein watsonx.ai zu erstellen, siehe Erstellen eines Projekts.

2. Erstellen Sie eine Spark-Engine-Umgebung. Um ein Jupyter Notebook auszuführen, müssen Sie eine Laufzeitumgebungsvorlage erstellen.

   Greifen Sie dazu über die Benutzeroberfläche auf das Projekt watsonx. ai zu. Gehen Sie auf die Registerkarte Verwalten. Erstellen Sie eine Vorlage. Weitere Informationen zum Erstellen von Umgebungsvorlagen finden Sie unter Erstellen von Umgebungsvorlagen. Wählen Sie bei der Erstellung der Vorlage Typ als Spark aus und wählen Sie aus der Liste Spark-Engine die native Spark-Engine, die Sie in der watsonx.data-Instanz bereitgestellt haben.

3. Erstellen Sie ein Jupyter Notebook und greifen Sie über das Jupyter Notebook darauf zu. Um eine Notizbuchdatei im Notizbuch-Editor zu erstellen, siehe Erstellen einer Notizbuchdatei im Notizbuch-Editor.

   Wenn Sie das Notebook erstellen, geben Sie die Laufzeitumgebung an, die Sie für die watsonx.data spark engine erstellt haben.

   Das Notebook wird im Bearbeitungsmodus geöffnet. Sie können anfangen, daran zu arbeiten. Weitere Informationen finden Sie unter Erstellen einer Notizbuchdatei im Notizbuch-Editor.

Zugriff auf den Katalog watsonx.data

Fügen Sie den folgenden Codeschnipsel in die Notizbuchzelle ein und führen Sie ihn aus. Das Codeschnipsel enthält Konfigurationen, die für die Verbindung mit dem zugehörigen watsonx.data erforderlich sind.

conf=spark.sparkContext.getConf()
spark.stop()

from pyspark.sql import SparkSession
from pyspark.sql.functions import col, to_utc_timestamp
import base64,getpass

wxd_username=getpass.getpass("Please enter your username with hms access:").strip() #Prompt for username
wxd_hms_username="ibmlhapikey_"+wxd_username
wxd_hms_password=getpass.getpass("Please enter your api key with hms access:").strip() #Prompt for api key
string_to_encode= wxd_hms_username+":"+wxd_hms_password
wxd_encoded_apikey="Basic " + base64.b64encode(string_to_encode.encode("utf-8")).decode("utf-8")

conf.setAll([("spark.hive.metastore.client.plain.username", wxd_hms_username), \
    ("spark.hive.metastore.client.plain.password", wxd_hms_password), \
    ("spark.hadoop.wxd.apikey", wxd_encoded_apikey)
])

spark = SparkSession.builder.config(conf=conf).enableHiveSupport().getOrCreate()

Sie können die Ausführungszelle des Notizbuchs schrittweise durchlaufen, indem Sie Shift-Enter wählen, oder Sie können das gesamte Notizbuch ausführen. Sie werden zur Eingabe des Benutzernamens und des Passworts aufgefordert. Benutzername ist die IBM Cloud ID des Benutzers, dessen API-Schlüssel für den Zugriff auf den Daten-Bucket verwendet wird. Der API-Schlüssel ist hier der API-Schlüssel des Benutzers, der auf den Objektspeicher zugreift. Um einen API-Schlüssel zu generieren, melden Sie sich in der watsonx.data-Konsole an und navigieren Sie zu Profil > Profil und Einstellungen > API-Schlüssel und generieren Sie einen neuen API-Schlüssel.

Sie können je nach Anwendungsfall weitere Codeschnipsel hinzufügen und fortfahren. Weitere Informationen finden Sie unter Erstellen einer Notizbuchdatei im Notizbuch-Editor.