Funzioni chiave

• Ogni motore Spark può collegarsi a più pool di prenotazioni (pool di nodi con diverse caratteristiche).
• Carichi di lavoro dedicati con autoscaling: un ambiente dedicato fornisce agli utenti una capacità di calcolo riservata, garantendo prestazioni e controllo costanti. In combinazione con l'autoscaling, gli utenti ottengono il meglio in termini di affidabilità ed efficienza.
• Le quote saranno applicate sia alla capacità dedicata che a quella on demand.
• Per gli utenti che eseguono spesso lavori di grandi dimensioni o di lunga durata, si consiglia di aggiungere capacità dedicata per ottenere prestazioni prevedibili.

Spark senza server

• Modello di costo pay-per-use: i clienti pagano solo per le risorse di calcolo consumate durante l'esecuzione dei carichi di lavoro. Ciò evita di pagare per capacità inutilizzata quando l'utilizzo è intermittente o basso.
• Scalabilità automatica: le piattaforme serverless scalano automaticamente le risorse in base alla domanda, eliminando la necessità di provisioning manuale o pianificazione della capacità.
• Nessuna gestione dell'infrastruttura: la piattaforma gestisce l'applicazione delle patch, il ridimensionamento e la manutenzione, riducendo i costi operativi.
• Rapido time-to-value: i clienti possono implementare rapidamente senza pianificazione preliminare o dimensionamento dell'infrastruttura.

Vantaggi di disporre di capacità dedicata con autoscaling

• Prestazioni di base stabili: la capacità dedicata garantisce che i carichi di lavoro con utilizzo prolungato o continuo dispongano di risorse di calcolo garantite senza competizione.

• Scalabilità efficiente per i picchi di domanda: livelli di autoscalabilità aggiuntivi rispetto alla baseline dedicata per aumentare automaticamente la capacità in caso di picchi di utilizzo, garantendo il mantenimento delle prestazioni anche durante picchi imprevisti.

• Ottimizzazione dei costi per carichi di lavoro sostenuti: i clienti pagano solo per le risorse dedicate di cui hanno bisogno in modo costante, mentre il ridimensionamento automatico impedisce un eccessivo provisioning aggiungendo capacità extra solo quando necessario.

• Flessibilità operativa: i team possono configurare sia la capacità minima dedicata per carichi di lavoro continui sia un limite massimo di autoscaling per controllare la spesa.

• Maggiore affidabilità: gli eventi di scalabilità avvengono automaticamente, riducendo il rischio di tempi di inattività e garantendo che i servizi gestiscano i carichi di lavoro fluttuanti senza intervento manuale.

Prima di iniziare

Per poter utilizzare questa funzione, è necessario utilizzare la versione 2.3 (e successive) di watsonx.data.

Visualizzazione e configurazione dei dettagli relativi alla capacità

Per visualizzare la scheda Capacità, procedere come segue:

1. Accedi alla console watsonx.data.

2. Accedere a Gestione infrastruttura. Clicca sul motore Spark.

3. Fare clic sulla scheda Capacità. È possibile visualizzare le seguenti sezioni:

   • Metriche di utilizzo complessive: visualizza il totale vCPUs e la memoria allocata, insieme alle percentuali di consumo della CPU e della memoria in tempo reale.
   • Dedicato: capacità dedicata per carichi di lavoro elevati. Visualizza i dettagli dei pool di capacità configurati, inclusi vCPU e allocazione della memoria, livelli di consumo e opzioni per gestire i pool (aggiungere, modificare, mettere in pausa o eliminare).
   • On-demand: quando viene creato un motore Spark, esso fornisce automaticamente capacità on-demand: questa è l'opzione serverless predefinita che scala le risorse in modo dinamico in base ai requisiti del carico di lavoro. Visualizza il consumo di memoria delle tue applicazioni.

Capacità del motore Spark su richiesta

La capacità on demand è il modello di esecuzione serverless predefinito per i motori Spark, progettato per offrire flessibilità e semplicità senza richiedere una pianificazione anticipata delle risorse. Quando viene creato un motore Spark, questo include automaticamente la capacità on-demand, consentendo l'esecuzione dei carichi di lavoro. Le risorse vengono fornite in modo dinamico in base ai requisiti del carico di lavoro, scalandole automaticamente fino al numero massimo di core disponibili per la capacità on-demand all'interno di un motore Spark, come specificato.

Per aggiornare la quota di capacità On-Demand,

Dalla scheda Capacità, fare clic su On-demand. Clicca su Modifica quota. Un cursore orizzontale consente di selezionare la quota di capacità desiderata (in core) all'interno dell'intervallo consentito (da 0 a 100 core). Fai clic su Save.

Ad esempio, quando si imposta la quota su 40 core, il motore scala automaticamente le risorse fino a tale limite in base alle esigenze del carico di lavoro. Per scalare oltre i 100 core, è necessario contattare IBM l'assistenza.

Creazione di una capacità dedicata per il tuo carico di lavoro

La capacità dedicata consente di riservare risorse di calcolo per i carichi di lavoro Spark, garantendo prestazioni prevedibili e stabilità dei costi per i lavori di grandi dimensioni o di lunga durata. A differenza della capacità on demand, che si adatta in modo dinamico, la capacità dedicata ti permette di collegare pool di prenotazioni con configurazioni specifiche al tuo motore Spark.

• Ogni motore Spark può collegare fino a tre pool di capacità con caratteristiche diverse, garantendo flessibilità per esigenze di carico di lavoro diversificate.
• La capacità dedicata supporta le impostazioni minime e massime del pool di nodi, consentendo di controllare l'allocazione delle risorse e i limiti di scalabilità.
• Se è collegata una capacità dedicata, i carichi di lavoro vengono eseguiti su di essa per impostazione predefinita. Se non è disponibile alcuna capacità dedicata, i carichi di lavoro ricadono automaticamente sulla capacità on demand.

Per aggiungere un pool di capacità dedicato per i carichi di lavoro Spark:

Dalla scheda Capacità, fare clic sulla scheda Dedicata. Fare clic su Aggiungi pool di nodi+. Si apre la pagina Modifica versione (dedicata). Fornisci i seguenti dettagli:

1. Inserisci un nome per la configurazione nel campo Nome tipo istanza.

2. Selezionare la combinazione di memoria desiderata dall'elenco Seleziona versione. Sono disponibili le seguenti configurazioni.

   Configurazioni di memoria

   Tipo di aroma	Sapore	Core	Memoria (GB)	Nucleo utilizzabile	Memoria utilizzabile (GB)	Memoria shuffle per core (GB)	Memoria secondaria (GB / Livello)
   Utilizzo generico	bx2.16x64	16	64	14	60	50	900 GB / 10 IOPS-tier
   Utilizzo generico	bx2.32x128	32	128	30	124	50	1600 GB / 10 IOPS-tier
   Memoria intensiva	mx2.16x128	16	128	14	124	50	900 GB / 10 IOPS-tier
   Memoria intensiva	mx2.32x256	32	256	30	252	50	1600 GB / 10 IOPS-tier
   Archiviazione intensiva	mx2.16x128	16	128	14	124	100	1600 GB / 10 IOPS-tier
   Archiviazione intensiva	mx2.32x256	32	256	30	252	100	3000 GB / 10 IOPS-tier

3. Specificare il numero minimo e massimo di nodi necessari per il ridimensionamento. La capacità dedicata supporta le impostazioni minime e massime del pool di nodi, consentendo di controllare l'allocazione delle risorse e i limiti di scalabilità.

4. Seleziona Imposta come capacità predefinita per scegliere questa configurazione come capacità predefinita per il motore Spark selezionato.

5. Fare clic su Salva.