Arbeiten mit der Entwicklungsumgebung VS Code

Vorbereitende Schritte

1. Abonnement von watsonx.data in der Cloud. Vergewissern Sie sich, dass Sie eine Spark-Engine erstellt haben und diese in Betrieb ist.

2. Installieren Sie eine Desktopversion von Visual Studio Code.

3. Installieren Sie die Erweiterung watsonx.data von VS Code Marketplace.

4. Installieren Sie die Visual Studio Code-Erweiterung Remote-SSH von Visual Studio Code marketplace.

   Da Spark-Labore von Natur aus flüchtig sind, müssen Sie die gespeicherten Daten regelmäßig sichern, um einen möglichen Datenverlust bei Upgrades oder einem Absturz des Spark-Masters zu verhindern.

5. Für Benutzer, die mit umfangreichen Anwendungen und Notebooks in Visual Studio Code arbeiten, wird empfohlen, mindestens 8 GB Arbeitsspeicher anstelle der standardmäßigen 4 GB Arbeitsspeicher zuzuweisen. Dies gewährleistet eine reibungslosere Leistung und eine bessere Handhabung ressourcenintensiver Aufgaben. Dies ist wichtig, wenn SparkLabs für einige speicherintensive Anwendungen verwendet wird, z. B. für Notebooks. In solchen Szenarien müssen die Sitzungen bei einer Netzunterbrechung neu geladen werden, was zusätzlichen Speicheraufwand erfordert. Um solche Risiken zu vermeiden, müssen Sie proaktiv zusätzlichen Speicherplatz zuweisen.

Vorgehensweise

Einrichten der Spark-Labore

1. Installieren Sie die Erweiterung watsonx.data.

   a. Öffnen Sie Visual Studio Code. Klicken Sie auf Erweiterungen.

   b. Suchen Sie über VS Code Marketplace nach der Erweiterung watsonx.data und installieren Sie die Erweiterung.

   c. Außerdem wird das Symbol watsonx.data im linken Navigationsfenster angezeigt. Klicken Sie auf das Symbol. Es öffnet sich das Fenster Willkommen bei IBM watsonx.data Erweiterung.

2. Klicken Sie im Fenster Willkommen bei IBM watsonx.data Erweiterung auf Verbindung verwalten. Das Fenster Verbindung verwalten watsonx.data öffnet sich.

3. Konfigurieren Sie eine der folgenden Angaben:

   • JSON-Eingaben

   • Formular-Eingaben

4. Um JSON-Inputs zu konfigurieren, klicken Sie auf JSON-Inputs und geben Sie die folgenden Details an:

   • API-Schlüssel: Geben Sie den API-Schlüssel der Plattform an. Um den API-Schlüssel zu generieren, siehe Generierung des API-Schlüssels.
   • Connection JSON: Geben Sie die Verbindungsdetails aus der Benutzeroberfläche watsonx.data an. Um das zu tun:

     1. Melden Sie sich auf Ihrer watsonx.data Seite an.

     2. Klicken Sie im Navigationsmenü auf Verbindungsinformationen.

     3. Klicken Sie auf VS-Code. Kopieren Sie die Konfiguration aus dem VS Code-Verbindungskonfigurationsfeld und verwenden Sie diese als Wert für das JSON-Feld Verbindung. Weitere Informationen finden Sie unter Abrufen von Verbindungsinformationen.

5. Um Formulareingaben zu konfigurieren, klicken Sie auf Formulareingaben und geben Sie die folgenden Details an:

   • Host-Adresse der watsonx.data Konsole: Geben Sie die Host-IP-Adresse der watsonx.data Installation an. Um die IP-Adresse des Hosts abzurufen, siehe Abrufen von Verbindungsinformationen.
   • Umgebungstyp: Wählen Sie SaaS.
   • CRN: Die Instanz CRN Ihrer watsonx.data Instanz. Um die CRN abzurufen, siehe Verbindungsinformationen abrufen.
   • Benutzername: Ihre E-Mail-ID, wenn Sie Ihren API-Schlüssel verwenden, oder im Format <Service-id>-<GUID>. Weitere Informationen zur Erstellung von Dienst-ID und GUID finden Sie unter Erstellen von Dienst-IDs.
   • API-Schlüssel: Geben Sie den API-Schlüssel der Plattform an. Um den API-Schlüssel zu generieren, siehe Generierung des API-Schlüssels.

6. Klicken Sie auf Testen & Speichern. Retrieved Spark Clusters wird angezeigt. Die verfügbaren Spark-Engines werden im WATSONX.DATA:ENGINES abschnitt angezeigt.

7. Erstellen Sie ein Spark-Labor.

   a. Um ein neues Spark-Labor zu erstellen, wählen Sie im Abschnitt WATSONX.DATA:ENGINES den gewünschten Spark-Cluster aus, und klicken Sie auf das Symbol + (Cluster hinzufügen). Das Fenster Spark-Labor erstellen wird geöffnet. Geben Sie einen eindeutigen Namen für das Spark-Labor an und wählen Sie die Spark-Version aus. Die Standardversion von Spark ist 3.5. Sie können die anderen optionalen Felder bei Bedarf ändern.

   Der Parameter " spark.hadoop.wxd.apikey wird bei der Erstellung von Spark-Labors standardmäßig im Feld Spark-Konfigurationen konfiguriert.

   b. Klicken Sie auf Aktualisieren, um das Spark-Labor im linken Fenster anzuzeigen. Dies ist der dedizierte Spark-Cluster für die Anwendungsentwicklung.

   c. Klicken Sie auf, um das Spark-Laborfenster zu öffnen, um auf das Dateisystem und das Terminal zuzugreifen und damit zu arbeiten.

   c. Im Explorer-Menü können Sie das Dateisystem anzeigen, in das Sie die Dateien hochladen können, und Protokolle anzeigen.

   Um ein bereits laufendes Spark-Labor zu löschen, fahren Sie mit der Maus über den Namen des Spark-Labors im linken Navigationsbereich von watsonx.data und klicken Sie auf das Symbol Löschen.

Spark-Anwendung entwickeln

Entwickeln Sie eine Spark-Anwendung im Spark-Labor. Sie können mit einer Spark-Anwendung auf eine der folgenden Arten arbeiten:

• Eigene Python erstellen
• Jupyter Notebooks erstellen