Invio dell'applicazione Spark dalla console

Si applica a: [motore Spark] [Motore] {: tag-blue} Spark con accelerazione del glutine

Puoi inviare una richiesta Spark scritta in linguaggio Python, Java o Scala dalla console watsonx.data su IBM Cloud.

È possibile specificare i dettagli dell'applicazione Spark, la versione da considerare, i dettagli hardware e di volume, le proprietà dell'ambiente Spark e le configurazioni Spark nella console di amministrazione ( watsonx.data ).

Prerequisiti

L'applicazione Spark deve essere disponibile in una memoria accessibile.

Procedura

  1. Accedi all'istanza watsonx.data. Vai alla pagina del responsabile delle infrastrutture.

  2. Fare clic sul nome del motore Spark (dall'elenco o dalla vista topologica). Si apre la finestra delle informazioni sul motore.

  3. Nella scheda Applicazioni, fare clic sul pulsante Crea applicazione. Si apre la pagina dell'applicazione Submit Spark.

    In questa pagina, è possibile selezionare una delle seguenti schede in base al metodo con cui è necessario inviare l'applicazione Spark.

    • Selezionare la scheda Inputs per inviare l'applicazione se si trova in una posizione accessibile. Configurare i seguenti dettagli:

      Dettagli della configurazione
      Campo Descrizione
      Tipo di applicazione

      Hai le seguenti opzioni:

      • Python: se la tua applicazione Spark è scritta in linguaggio Python, seleziona questa opzione. option.
      • Java o Scala: se la tua applicazione Spark è scritta in linguaggio Java o Scala, seleziona questa opzione.
      Percorso applicazione Specificare il percorso dell'applicazione. Questo è un campo obbligatorio.
      Esempio: s3a://<application-bucket-name>/iceberg.py
      Nome applicazione Specificare un nome per l'applicazione.
      Argomenti Utilizzare il pulsante Aggiungi argomento per specificare tutti gli argomenti richiesti dall'applicazione.
      Versione Spark Inserisci la versione Spark per eseguire l'applicazione. Sono disponibili le versioni Spark 3.4, e 3.5.
      Proprietà di configurazione della candela Specificare le proprietà di Spark sotto forma di coppia chiave-valore ("<property_name>": "<property_value>") separate da virgola. Per ulteriori informazioni sulle diverse proprietà, vedere Proprietà.
      Proprietà dell'ambiente di scintillamento Specificare le proprietà dell'ambiente Spark come coppie chiave=valore. Per ulteriori informazioni sulle diverse proprietà, vedere Proprietà ambientali.
      Configurazione hardware Specificare il numero di core della CPU (driver ed esecutore) e la memoria necessaria per il carico di lavoro.
      Capacità delle risorse (condizionata) Specificare questo campo se si utilizza una versione 2.3 (o successive) di watsonx.data. Selezionare il tipo di capacità (su richiesta o dedicata) e scegliere il driver e i valori della memoria dell'esecutore.
      Dipendenze Specificare il percorso dei file e i nomi dei pacchetti richiesti dallo script o dal jar dell'applicazione.
      Importa da carico utile Fare clic su questo collegamento per importare e compilare automaticamente tutti i campi nella scheda Input se è già stato specificato il carico utile nella scheda Payload.

    • Selezionare la scheda Payload (Carico utile) per inviare la richiesta se si desidera scrivere manualmente il carico utile.

      Nel campo Application payload, specificare il payload dell'applicazione JSON che può essere accettato dall'endpoint REST API di creazione dell'applicazione del motore Spark. Puoi scrivere manualmente il carico utile qui oppure fare clic sul collegamento Importa da input per creare automaticamente il JSON dai dettagli forniti nella scheda Input.

      Se la vostra applicazione accede ai dati di un catalogo associato al motore Spark, potete utilizzare il payload specificato in Presentazione di un'applicazione Spark accedendo al catalogo watsonx.data.

  4. Fare clic su Invia domanda. L'applicazione viene inviata correttamente e viene elencata nella scheda Applicazioni.