Spark-Anwendung über die Konsole einreichen
Gilt für: Spark-Motor Glutenbeschleunigter Spark-Motor
Sie können einen Spark-Antrag, der in Python, Java oder Scala verfasst ist, über die watsonx.data-Konsole auf IBM Cloud einreichen.
Es ist möglich, die Details der Spark-Anwendung, die zu berücksichtigende Version, Hardware- und Volumendetails, Eigenschaften der Spark-Umgebung und Spark-Konfigurationen in der watsonx.data-Konsole anzugeben.
Voraussetzungen
Ihre Spark-Anwendung muss in einem zugänglichen Speicher verfügbar sein.
Vorgehensweise
-
Melden Sie sich bei der watsonx.data Instanz an. Gehen Sie zur Seite "Infrastrukturmanager ".
-
Klicken Sie auf den Namen des Spark-Motors (entweder aus der Liste oder der Topologieansicht). Das Motorinformationsfenster wird geöffnet.
-
Klicken Sie auf der Registerkarte "Anwendungen" auf die Schaltfläche "Anwendung erstellen ". Die Seite "Spark-Antrag einreichen" wird geöffnet.
Auf dieser Seite können Sie je nach der Methode, mit der Sie den Spark-Antrag einreichen möchten, eine der folgenden Registerkarten auswählen.
-
Wählen Sie die Registerkarte "Eingaben ", um den Antrag einzureichen, wenn er sich an einem zugänglichen Ort befindet. Konfigurieren Sie die folgenden Details:
Konfigurationsdetails Feld Beschreibung Anwendungstyp Sie haben folgende Optionen:
- Python: Wenn Ihre Spark-Anwendung in Python-Sprache geschrieben ist, wählen Sie diese Option aus. option.
- Java oder Scala: Wenn Ihre Spark-Anwendung in Java- oder Scala-Sprache geschrieben ist, wählen Sie diese Option aus.
Anwendungspfad Geben Sie den Pfad zu Ihrer Anwendung an. Dies ist ein Pflichtfeld.
Beispiel:s3a://<application-bucket-name>/iceberg.pyAnwendungsname Geben Sie einen Namen für die Anwendung an. Argumente Verwenden Sie die Schaltfläche "Argument hinzufügen", um alle von der Anwendung benötigten Argumente anzugeben. Spark-Version Geben Sie die Spark-Version ein, um Ihre Anwendung auszuführen. Spark 3.4 und 3.5 sind die verfügbaren Versionen. Spark-Konfigurationseigenschaften Geben Sie die Spark-Eigenschaften in Form eines Schlüssel-Wert-Paares (" ": " ") durch Kommas getrennt an. Weitere Informationen zu den verschiedenen Eigenschaften finden Sie unter Eigenschaften. Eigenschaften der Funkenumgebung Geben Sie die Eigenschaften der Spark-Umgebung als Schlüssel-Wert-Paare an. Weitere Informationen zu den verschiedenen Eigenschaften finden Sie unter Umwelteigenschaften. Hardwarekonfiguration Geben Sie die Anzahl der CPU-Kerne (Treiber und Ausführender) und den für die Arbeitslast erforderlichen Speicher an. Ressourcenkapazität (bedingt) Geben Sie dieses Feld an, wenn Sie eine Version 2.3 (oder höher) von verwenden watsonx.data. Wählen Sie den Kapazitätstyp (On-Demand oder Dedicated) und legen Sie die Werte für den Treiber und den Ausführungsspeicher fest. Abhängigkeiten Geben Sie den Pfad zu den Dateien und die Namen der Pakete an, die für Ihr Anwendungsskript oder Ihre JAR-Datei erforderlich sind. Import aus Nutzlast Klicken Sie auf diesen Link, um automatisch alle Felder unter der Registerkarte "Inputs" zu importieren und auszufüllen, wenn Sie die Nutzlast bereits in der Registerkarte "Payload" angegeben haben. -
Wählen Sie die Registerkarte "Payload ", um den Antrag zu übermitteln, wenn Sie die Nutzlast manuell schreiben möchten.
Geben Sie im Feld "Application Payload" die Anwendungs-Payload-JSON an, die vom REST-API-Endpunkt für die Spark-Engine-Anwendungserstellung akzeptiert werden kann. Sie können die Nutzlast entweder manuell hier eingeben oder auf den Link "Aus Eingaben importieren" klicken, um die JSON-Datei automatisch aus den auf der Registerkarte "Eingaben" angegebenen Details zu erstellen.
Wenn Ihre Anwendung auf Daten aus einem Katalog zugreift, der mit der Spark-Engine verknüpft ist, können Sie die unter „Senden einer Spark-Anwendung“ angegebene Nutzlast verwenden, indem Sie auf den Katalog watsonx.data “ zugreifen.
-
-
Klicken Sie auf "Antrag einreichen ". Der Antrag wurde erfolgreich eingereicht und wird unter der Registerkarte "Anträge" aufgeführt.