Panoramica sulla Personalizzazione

Puoi personalizzare un'istanza senza server specificamente per soddisfare le tue esigenze dell'applicazione, oltre a ciò di cui viene eseguito il provisioning su una base predefinita.

Ad esempio, potresti voler installare librerie di terze parti di analisi personalizzate o potresti voler ottimizzare alcune configurazioni cluster, ad esempio, le configurazioni predefinite Spark.

Puoi personalizzare un'istanza in qualsiasi punto del suo ciclo di vita. Le personalizzazioni vengono applicate solo alle applicazioni inoltrate dopo aver aggiunto la personalizzazione. Non vengono applicati ad applicazioni attualmente in esecuzione.

Opzioni di personalizzazione

Puoi personalizzare la tua istanza:

  • Specifica dei valori di configurazione ereditati da tutte le applicazioni Spark eseguite nell'istanza
  • Rendere le librerie Python, R, Scala o personalizzate disponibili per le applicazioni Spark

Quando si crea un'istanza, è possibile:

  • Specificare i valori predefiniti per le proprietà di configurazione e le variabili di ambiente supportate dalla configurazione Apache Spark. È possibile specificare le proprietà di configurazione e le variabili di ambiente come coppie nome - valore salvate a livello di istanza e passate a tutte le applicazioni Spark eseguite nell'istanza. Questi parametri di configurazione predefiniti possono semplificare il payload passato quando si inoltra un'applicazione Spark. È anche possibile sovrascrivere questi valori nel momento in cui viene inoltrata un'applicazione Spark.

    Per un elenco delle configurazioni e delle variabili di ambiente Spark predefinite, vedi Configurazioni Spark.

  • Personalizza l'istanza con le librerie richieste dalle tue applicazioni Spark dopo la creazione dell'istanza. È possibile creare una serie di librerie che impacchetta tutte le librerie da rendere disponibili a tutte le applicazioni Spark in esecuzione nell'istanza e fare riferimento a questa serie di librerie definita al momento dell'inoltro dell'applicazione Spark.

    Per creare una serie di librerie, consultare Creazione di una serie di librerie.

Nota:

  • Il limite massimo di dimensione di una serie di librerie di personalizzazione è 2 GB.
  • L'ora di inizio della tua applicazione Spark o il tempo impiegato per l'aggiunta di ulteriori executor in uno scenario di ridimensionamento automatico, è proporzionale alla dimensione della serie di librerie personalizzate. Pertanto, è consigliabile limitare una serie di librerie solo ai file necessari per una specifica applicazione. Se altre applicazioni richiedono serie di file differenti, è preferibile utilizzare serie di librerie differenti.