Quali sono le migliori pratiche per l'autoscaling?

• Ottieni il massimo dal cluster autoscaler utilizzando le seguenti strategie per il tuo nodo di lavoro e strategie di distribuzione del carico di lavoro. Per ulteriori informazioni, consultare il sito Kubernetes Domande frequenti su Cluster Autoscaler.
• Prova il cluster autoscaler con alcuni carichi di lavoro di test per farti un'idea di come ridimensionare e ridurre il lavoro, potresti voler configurare e qualsiasi altro aspetto che potresti desiderare, come i nodi di lavoro overprovisioning o le applicazioni di limitazione.
• Quindi ripulisci l'ambiente di test ed effettua una pianificazione in modo da includere i valori personalizzati e le impostazioni aggiuntive con una nuova installazione del cluster autoscaler.

Posso modificare il funzionamento delle operazioni di aumento e riduzione della scala?

Sì, è possibile personalizzare le impostazioni o utilizzare altre risorse di Kubernetes per modificare il funzionamento del ridimensionamento verso l'alto e verso il basso.

• Per lo scale up, è possibile personalizzare i valori dell'autoscaler del cluster ConfigMap come scanInterval, expander, skipNodes, o maxNodeProvisionTime. Rivedi le modalità di esecuzione di un provisioning in eccesso dei nodi di lavoro in modo da poter ampliare i nodi di lavoro prima che un pool di nodi di lavori esaurisca le risorse. Puoi anche configurare PDB (pod disruption budget) Kubernetes e limiti di priorità dei pod per influire sul funzionamento dell'ampliamento dei lavori.

• Per la riduzione, personalizzare i valori dell'autoscaler del cluster ConfigMap come scaleDownUnneededTime, scaleDownDelayAfterAdd, scaleDownDelayAfterDelete, o scaleDownUtilizationThreshold.

Posso aumentare la dimensione minima per zona in modo da innescare un aumento della capacità del mio cluster fino a tale dimensione?

No, l'impostazione di una dimensione minima (minSize) non attiva automaticamente un ampliamento, La " minSize " è una soglia che impedisce all'autoscaler del cluster di ridimensionare il numero di nodi di lavoro al di sotto di un determinato valore per zona.

• Se il tuo cluster non ha ancora tale numero per ogni zona, il cluster autoscaler non esegue alcun ampliamento finché non hai richieste di risorse del carico di lavoro che richiedono ulteriori risorse. Ad esempio, se hai un pool di nodi di lavoro con un singolo nodo di lavoro per ogni tre zone (tre nodi di lavoro in totale) e imposti la dimensione minima (minSize) su 4 per ogni zona, il cluster autoscaler non esegue immediatamente il provisioning di tre nodi di lavoro aggiuntivi per ogni zona (12 nodi di lavoro in totale). L'ampliamento viene invece attivato dalle richieste di risorse.
• Se crei un carico di lavoro che richiede le risorse di 15 nodi di lavoro, il cluster autoscaler amplia il pool di nodi di lavoro per soddisfare questa richiesta. Ora, l'opzione " minSize " fa sì che l'autoscaler del cluster non riduca il numero di nodi di lavoro a meno di quattro per zona, anche se si rimuove il carico di lavoro che richiede tale numero.

In che modo questo comportamento differisce dai pool di worker che non sono gestiti dall'autoscaler del cluster?

Quando crei un pool di nodi di lavoro, specifichi il numero di nodi di lavoro per zona inclusi nel pool. Il pool di nodi di lavoro mantiene quel numero di nodi di lavoro finché non lo ridimensioni o ribilanci. Il pool di nodi di lavoro non aggiunge o rimuove automaticamente i nodi di lavoro. Se hai più pod di quanti possano essere pianificati, i pod rimangono in sospeso fino a quando non ridimensioni il pool di nodi di lavoro. Quando abiliti il cluster autoscaler per un pool di nodi di lavoro, i nodi di lavoro vengono ampliati o ridotti in risposta alle tue impostazioni delle specifiche del pod e alle tue richieste di risorse. Non hai bisogno di ridimensionare o ribilanciare manualmente il pool di nodi di lavoro.

Come funziona l'autoscaling delle GPU?

L'autoscaling dei nodi worker GPU è supportato solo con l'autoscaler cluster versione 1.2.4 e successive e solo con i flavor dei nodi worker NVIDIA GPU. Lo scale up si verifica quando un pod passa in stato di attesa a causa della scarsità di risorse della GPU. L'autoscaler scala quindi il cluster aggiungendo altri nodi. La riduzione avviene quando l'utilizzo scende al di sotto del valore configurato scaleDownGPUUtilizationThreshold. In questo caso, il nodo viene considerato per essere ridimensionato.

Posso ridimensionare automaticamente più pool di nodi di lavoro alla volta?

Sì, dopo aver installato l'autoscaler del cluster, è possibile scegliere quali pool di worker all'interno del cluster sottoporre ad autoscaling nella pagina " ConfigMap ". È possibile eseguire un solo autoscaler per cluster. Creare e abilitare il ridimensionamento automatico sui pool di worker diversi da quello predefinito, poiché il pool di worker predefinito contiene componenti di sistema che potrebbero impedire il ridimensionamento automatico verso il basso.

Come posso accertarmi che il cluster autoscaler risponda alle risorse di cui ha bisogno la mia applicazione?

L'autoscaler del cluster ridimensiona il cluster in risposta alle richieste di risorse del carico di lavoro. Pertanto, specifica le richieste di risorse per tutte le tue distribuzioni, poiché sono proprio queste richieste che il sistema di scalabilità automatica del cluster utilizza per calcolare il numero di nodi di lavoro necessari per l'esecuzione del carico di lavoro. Tieni presente che il ridimensionamento automatico si basa sull'utilizzo del calcolo richiesto dalle tue configurazioni del carico di lavoro e non prende in considerazione altri fattori come i costi della macchina.

Posso ridimensionare un pool di nodi di lavoro fino a zero (0) nodi?

Sì. A partire dalla versione dell'add-on Cluster 2.0.0 Autoscaler, è possibile ridimensionare specifici pool di worker fino a zero nodi.

Perché è utile?

Il ridimensionamento a zero consente di risparmiare sui costi quando non sono in esecuzione carichi di lavoro. L'autoscaler ripristina automaticamente i nodi quando necessario.

Come funziona?

Quando non ci sono pod da eseguire, l'autoscaler può ridurre il pool di worker a 0 nodi. Se i nuovi pod necessitano di risorse, l'autoscaler ridimensiona automaticamente il pool.

Cosa devi fare?

• Controlla la versione del tuo componente aggiuntivo e assicurati di utilizzare v2.0.0 o versioni successive.

• Imposta minSize = 0 per il pool di lavoratori nella configurazione dell'autoscaler. Se hai abilitato gli ALB pubblici, imposta minSize = 2 per zona per garantire l'alta disponibilità.

Qual è il requisito di quorum del cluster?

Si noti che l'intero cluster non può essere ridotto a zero. Un numero minimo di nodi deve rimanere attivo per mantenere il cluster in buono stato e mantenere etcd il quorum. Se questo quorum è soddisfatto, è possibile ridurre a zero gli altri pool di lavoratori.

Posso ottimizzare le mie distribuzioni per il ridimensionamento automatico?

Sì, puoi aggiungere varie funzioni Kubernetes alla tua distribuzione per adattare il modo in cui il cluster autoscaler considera le tue richieste di risorsa per il ridimensionamento.

• Crea il tuo pool di nodi di lavoro per consentire solo le distribuzioni o i pod con la tolleranza corrispondente da distribuire al tuo pool di nodi di lavoro.
• Aggiungi un'etichetta al tuo pool di nodi di lavoro diverso dal pool di nodi di lavoro predefinito. Questa etichetta viene utilizzata nella tua configurazione di distribuzione per specificare nodeAffinity o nodeSelector che limita i carichi di lavoro che possono essere distribuiti sui nodi di lavoro nel pool di nodi di lavoro etichettato.
• Utilizza i limiti di interruzione dei pod per evitare riprogrammazioni o eliminazioni improvvise dei tuoi pod.
• Se utilizzi la priorità dei pod, puoi modificare la soglia di priorità per stabilire quali tipi di priorità attivino il potenziamento. Per impostazione predefinita, il limite di priorità è zero (0).

Posso utilizzare taint e tolleranze con i pool di nodi di lavoro ridimensionati automaticamente?

Sì, ma assicurati di applicare i taint a livello di pool di worker, in modo che tutti i nodi worker esistenti e futuri ricevano lo stesso taint. A questo punto, è necessario includere una tolleranza corrispondente nella configurazione dei carichi di lavoro, in modo che questi ultimi vengano pianificati nel pool di worker con scalabilità automatica che presenta il taint corrispondente. Tieni presente che, se distribuisci un carico di lavoro non tollerato dal pool di worker contrassegnati, i nodi worker non vengono presi in considerazione per lo scale-up e potrebbero essere richiesti ulteriori nodi worker anche se il cluster dispone di capacità sufficiente. Tuttavia, il gruppo di lavoratori compromessi viene comunque identificato come sottoutilizzato se la percentuale di risorse utilizzate è inferiore alla soglia (per impostazione predefinita, il 50%) e, pertanto, viene preso in considerazione per una riduzione della scala.