Architettura e concetti in istanze senza server

Questo argomento ti mostra l'architettura delle istanze senza server IBM Analytics Engine e descrive alcuni concetti e definizioni chiave.

Architettura istanza

Il servizio IBM Analytics Engine viene gestito utilizzando IBM Cloud® Identity and Access Management (IAM). Come proprietario dell'account IBM Cloud, ti è stato assegnato il ruolo di amministratore dell'account.

Con un'istanza IBM Cloud, puoi eseguire il provisioning e gestire la tua istanza Analytics Engine senza server utilizzando:

  • Console IBM Cloud
  • CLI
  • API REST

I microservizi Analytics Engine nel piano di controllo, a cui si accede tramite un gateway API, gestiscono la creazione dell'istanza, il provisioning della capacità, la personalizzazione e la gestione del runtime mentre le tue applicazioni Spark vengono eseguite in spazi dei nomi isolati nel piano di dati. Ogni applicazione Spark inoltrata viene eseguita nel proprio cluster Spark, che è una combinazione di nodi master ed executor Spark. Vedere isolamento e accesso alla rete.

Ogni istanza Analytics Engine viene associata a un'istanza di IBM Cloud Object Storage per i dati correlati all'istanza accessibili da tutte le applicazioni in esecuzione nell'istanza. Attualmente, tutti gli eventi Spark sono memorizzati anche in questa istanza. I log dell'applicazione Spark vengono aggregati a un server di log Log Analysis.

Mostra l'architettura dell'istanza senza server IBM Analytics Engine.
Diagramma di flusso dell'architettura di IBM Analytics Engine

Concetti chiave

Con le istanze senza server IBM Analytics Engine, puoi eseguire lo spin up dei cluster Apache Spark in base alle necessità e personalizzare il runtime Spark e le opzioni di configurazione Spark predefinite.

Le seguenti sezioni descrivono i concetti chiave durante il provisioning delle istanze senza server.

Istanza del servizio IBM Analytics Engine

Un servizio IBM Cloud® è un'estensione del cloud che fornisce funzionalità pronte all'uso, come database, messaggistica e software web per l'esecuzione di codice, oppure funzionalità di gestione o monitoraggio delle applicazioni. I servizi di norma non richiedono installazione o manutenzione e possono essere combinati per creare delle applicazioni. Un'istanza di un servizio è un'entità costituita da risorse riservate per una particolare applicazione o servizio.

Quando crei un IBM Analytics Engine dal catalogo, fornisci all'istanza del servizio un nome a tua scelta, seleziona il runtime Spark predefinito che vuoi associare all'istanza e fornisci la configurazione Spark predefinita da utilizzare con l'istanza. Inoltre, è necessario specificare Instance home, che è l'archiviazione collegata all'istanza solo per i dati correlati all'istanza.

Nota:

  • Quando crei un'istanza del servizio IBM Analytics Engine, non vengono sostenuti costi a meno che tu non abbia delle applicazioni Spark in esecuzione o che non si acceda al server della cronologia Spark.
  • I costi si verificano se IBM Cloud Object Storage se si accede tramite endpoint pubblici e quando si abilita l'inoltro di IBM Analytics Engine a IBM Log Analysis.
  • Esiste un limite predefinito sul numero di istanze del servizio consentite per l'account IBM Cloud® e sulla quantità di CPU e memoria che può essere utilizzata in qualsiasi istanza del servizio IBM Analytics Engine fornita. Vedi Limiti e quote per le istanze Analytics Engine. Se devi modificare questi limiti, apri un ticket di supporto IBM.
  • Non c'è alcun limitazione sul numero di applicazioni Spark che possono essere eseguite in un'istanza del servizio IBM Analytics Engine.

Runtime Spark predefinito

Al momento del provisioning dell'istanza, puoi selezionare la versione Spark da utilizzare. Spark 3.4. è la versione predefinita.

Il runtime include i file binari Spark open source e la configurazione ti aiuta a procedere rapidamente con la creazione dell'istanza ed eseguire le applicazioni Spark nell'istanza. Oltre ai file binari di Spark, il runtime include anche le librerie di crittografia geospaziale, di data skipping e modulare Parquet.

In tutte la versione di runtime di Spark, puoi inoltrare le applicazioni Spark scritte nei seguenti linguaggi:

  • Scala
  • Python
  • R

La tabella seguente mostra la versione di runtime Spark e la versione della lingua di runtime.

Versione del runtime di Spark e versione del linguaggio di runtime
Versione Spark Release Apache Spark stato Lingue supportate
3.1 3.1.2 Rimosso (non supportato) Java 8, Scala 2.12, Python 3.10 e R 4.2
3.3 3.3.2 Rimosso (non supportato) Java 11, Scala 2.12, Python 3.10 e R 4.2
3.4 3.4.1 Più recente Java 11, Scala 2.12, Python 3.10 e R 4.2

Le versioni della lingua vengono aggiornate periodicamente per mantenere il tempo di esecuzione libero da eventuali vulnerabilità di sicurezza. Puoi sempre sovrascrivere la versione di runtime Spark quando invii un'applicazione. Per i dettagli su cosa aggiungere al payload, vedi Passaggio della versione Spark di runtime quando si inoltra un'applicazione.

Home istanza

La home dell'istanza è l'archiviazione collegata all'istanza solo per i dati correlati all'istanza, come le librerie dell'applicazione personalizzate e gli eventi di cronologia Spark. Attualmente, solo IBM Cloud Object Storage è accettato per la home dell'istanza. Questa istanza può essere un'istanza nel tuo account IBM Cloud® o un'istanza da un account differente.

Quando esegui il provisioning di un'istanza mediante la console IBM Cloud, l'account IBM Cloud Object Storage nel tuo IBM Cloud® viene rilevato automaticamente e visualizzato in un elenco da cui puoi effettuare la selezione. Se nel tuo account non vengono trovate istanze IBM Cloud Object Storage, puoi utilizzare le API REST per aggiornare la home dell'istanza dopo la creazione dell'istanza.

Non è possibile modificare la home dell'istanza dopo la creazione. È possibile modificare solo le chiavi di accesso.

Configurazione Spark predefinita

Puoi specificare le configurazioni Spark predefinite al momento del provisioning di un'istanza Analytics Engine (consulta Provisioning di un'istanza senza server IBM Analytics Engine). Le configurazioni vengono applicate automaticamente alle applicazioni Spark inoltrate sull'istanza. È inoltre possibile aggiornare le configurazioni dopo la creazione dell'istanza. Puoi modificare la configurazione dalla sezione Configurazione nella pagina Analytics Engine Dettagli istanza, Analytics Engine API Rest o IAE CLI. I valori specificati come valori predefiniti a livello di istanza possono essere sovrascritti al momento dell'inoltro delle applicazioni Spark.

Per ulteriori informazioni sulle varie configurazioni Apache Spark, vedi Configurazione Spark.

Funzioni dell'istanza senza server e metodi di esecuzione

La seguente tabella mostra le funzioni dell'istanza senza server supportate per ruolo di accesso e metodi di esecuzione.

Tabella 2 Funzioni dell'istanza senza server supportate per ruolo di accesso e metodi di esecuzione
Operazione ruoli di accesso Console IBM API CLI
Esegui Provisioning delle Istanze Amministratore l'icona di conferma l'icona di conferma l'icona di conferma
Eliminare istanze Amministratore l'icona di conferma l'icona di conferma l'icona di conferma
Concedi autorizzazione agli utenti Amministratore l'icona di conferma l'icona di conferma l'icona di conferma
Gestisci archiviazione home istanza Amministratore l'icona di conferma l'icona di conferma l'icona di conferma
Configura registrazione Developer
Devops dell'amministratore
l'icona di conferma l'icona di conferma Non disponibile
Inoltra applicazioni Spark Amministratore
Developer
Non disponibile l'icona di conferma l'icona di conferma
Visualizza l'elenco delle applicazioni Spark inoltrate Amministratore
Developer
DevOps
Non disponibile l'icona di conferma l'icona di conferma
Arresta applicazioni Spark inoltrate Amministratore
Developer
DevOps
Non disponibile l'icona di conferma l'icona di conferma
Personalizza librerie Amministratore
Developer
Non disponibile l'icona di conferma Non disponibile
Accedere ai log dei lavori Amministratore
Developer
DevOps
l'icona di conferma dalla console Log Analysis Non applicabile Non applicabile
Visualizzare i dettagli dell'istanza; i dettagli visualizzati potrebbero variare a seconda del ruolo di accesso Amministratore
Developer
DevOps
l'icona di conferma l'icona di conferma l'icona di conferma
Gestisci server di cronologia Spark Amministratore
Developer
l'icona di conferma l'icona di conferma l'icona di conferma
Accedi alla cronologia Spark Amministratore
Developer
DevOps
l'icona di conferma l'icona di conferma l'icona di conferma