Ridimensionamento dei limiti

È possibile configurare i limiti di scalabilità impostando un intervallo di valori per il numero minimo e massimo di istanze, entro il quale Code Engine regola automaticamente il numero di istanze attive dell'applicazione. Configurare questo intervallo quando si creano o si aggiornano le applicazioni.

• Numero minimo di istanze - Il numero minimo di istanze dell'applicazione sempre in esecuzione, anche se non viene elaborata alcuna richiesta. Se impostato su 0 (predefinito) Code Engine rimuove tutte le istanze quando nessun traffico raggiunge l'applicazione. Per mantenere sempre un'istanza in esecuzione della propria applicazione, impostare questo valore su un valore maggiore di 0. Quando crei o aggiorni un'applicazione con Code Engine dalla console, imposta il numero minimo di valori di istanze nella sezione di ridimensionamento automatico della scheda Risorse & ridimensionamento. Con la CLI, specifica l'opzione --min-scale nei comandi app create e app update.

• Numero massimo di istanze - Il numero massimo di istanze che possono essere in esecuzione per l'app. Il ridimensionamento automatico avviene fino a questo limite. Se imposti questo valore su 0, l'applicazione viene ridimensionata in base alle necessità e il ridimensionamento dell'applicazione è limitato solo dalle istanze per la quota di risorse per il progetto della tua applicazione. Vedi Limiti e quote per Code Engine. Quando crei o aggiorni un'applicazione con Code Engine dalla console, imposta il numero massimo di valori di istanze nella sezione Ridimensionamento automatico della scheda Risorse & ridimensionamento. Con la CLI, specifica l'opzione --max-scale nei comandi app create e app update. Il valore predefinito di questa opzione è 10.

Quando connetti le tue applicazioni ai produttori di eventi, ricordati di tenere conto della frequenza e del volume degli eventi di tali produttori quando imposti i tuoi limiti di scala. Ad esempio, se si prevede di ricevere molti eventi allo stesso tempo e l'elaborazione di ciascun evento può richiedere diversi minuti, potrebbe essere necessario un valore di scala massimo superiore rispetto a quello che si avrebbe se ciascun evento potesse essere elaborato rapidamente. Se si imposta il valore su un valore troppo basso, potrebbero verificarsi ritardi nella ricezione di eventi o anche eventi eliminati a causa di timeout mentre si attende che le risorse di elaborazione siano libere.

Impostazioni di ridimensionamento automatico per simultaneità e tempificazione

Utilizzare le impostazioni di configurazione riportate di seguito per controllare la scalabilità dell'applicazione.

• Simultaneità - Questo valore indica quante richieste ogni istanza della tua app può elaborare contemporaneamente. Ad esempio, un valore di valuta pari a 100 significa che il codice può gestire 100 richieste simultanee contemporaneamente. Questo valore è un "limite rigido", il che significa che Code Engine non consente più del numero di richieste (come specificato con l'impostazione di simultaneità) per raggiungere una qualsiasi istanza della tua applicazione. Pertanto, se il tuo codice è a thread singolo e può elaborare solo una richiesta alla volta, considera di impostare la simultaneità su 1. Quando il numero specificato di richieste viene inviato a tutte le istanze in esecuzione dell'applicazione, Code Engine aumenta il numero di istanze in preparazione per ulteriori richieste. Quando crei o aggiorni un'applicazione con Code Engine dalla console, imposta il valore di simultaneità massima nella sezione di ridimensionamento automatico della scheda Risorse & ridimensionamento. Con la CLI, specifica l'opzione --concurrency nei comandi app create e app update.

• Simultaneità di destinazione - Questo valore agisce come un "limite soft" o numero di richieste per istanza che si desidera in un sistema caricato. Ad esempio, se specifichi concurrency come 100 e specifichi target concurrency come 70, Code Engine tenta di limitare il numero di richieste per istanza a 70. La specifica di questa opzione non garantisce che le richieste per istanza non superino 70 perché molto probabilmente si verificheranno durante un aumento del traffico. Tuttavia, il buffer tra 70 e 100 consente al sistema di creare nuove istanze per riportare il carico per istanza a 70 (o meno) per istanza. Se target concurrency non è specificato, il valore predefinito è concurrency. Quando crei o aggiorni un'applicazione con Code Engine dalla console, imposta il valore di simultaneità di destinazione nella sezione Ridimensionamento automatico della scheda Risorse & ridimensionamento. Con la CLI, specifica l'opzione --concurrency-target nei comandi app create e app update.

• Timeout richiesta - La quantità di tempo, in secondi, per cui l'applicazione deve rispondere alle richieste, altrimenti non riesce. Quando crei o aggiorni un'applicazione con Code Engine dalla console, imposta il valore di timeout della richiesta nella sezione Ridimensionamento automatico della scheda Risorse & ridimensionamento. Con la CLI, specifica l'opzione --request-timeout nei comandi app create e app update.

• Ritardo di riduzione della scalabilità - Il tempo, espresso in secondi, che deve trascorrere con un livello di concorrenza ridotto prima che l'applicazione riduca la propria scalabilità. Se si conosce il pattern delle richieste in entrata alla propria applicazione, è possibile scegliere di specificare un valore maggiore del valore predefinito di 0 per ritardare la riduzione della propria applicazione. Se si utilizza un valore elevato per questa opzione, il numero medio di istanze dell'applicazione in esecuzione simultanea potrebbe aumentare, il che comporta costi aggiuntivi. Anche con un'impostazione di ritardo di riduzione di 0, il sistema attende per un breve periodo di tempo prima che l'applicazione riduca il numero di istanze per assicurare che un calo della simultaneità della richiesta sia abbastanza stabile da garantire una riduzione. Quando crei o aggiorni un'applicazione con Code Engine dalla console, imposta il valore di ritardo del ridimensionamento decrementale nella sezione Ridimensionamento automatico della scheda Risorse & ridimensionamento. Con la CLI, specifica l'opzione --scale-down-delay nei comandi app create e app update.

Ad esempio, se il valore del numero massimo di istanze è impostato su 10 e la simultaneità è impostata su 100, un'applicazione può elaborare 1000 richieste simultanee prima che si verifichi una potenziale accodamento di richieste. Se prevedi più di 1000 richieste contemporaneamente, potresti considerare di aumentare il valore del numero massimo di istanze per la tua applicazione.

Per ulteriori informazioni sul funzionamento di Code Engine, vedere Regolazione del ritardo di riduzione della scala di IBM Cloud Code Engine per ridurre i tempi di risposta delle applicazioni.

Se imposti il numero minimo di istanze uguale al numero massimo di istanze, il ridimensionamento non si verifica e i valori di valuta di destinazione e di ritardo del ridimensionamento non vengono applicati. Tuttavia, il valore di simultaneità è ancora attivo.

Scenario di esempio per il ridimensionamento automatico

Si supponga di disporre di una applicazione configurata con le seguenti impostazioni di ridimensionamento automatico.

• Numero minimo di istanze = 4
• Numero massimo di istanze = 20
• Simultaneità = 2

Con queste impostazioni, la tua app può elaborare 2 richieste simultanee allo stesso tempo. Quando non c'è traffico, la tua applicazione ridimensiona automaticamente a 4 istanze. Le 4 istanze possono gestire solo 4 * 2 (valuta) = 8 richieste. L'applicazione può scalare fino a un massimo di 20 istanze, in modo che le 20 istanze possano gestire 20 * 2 (valuta) = 40 richieste, supponendo impostazioni di CPU e memoria sufficienti per l'applicazione.

Si supponga che l'applicazione sia un'applicazione web statica che richiede 6 chiamate all'applicazione per caricare una pagina di accesso. Si supponga che 10 persone accedano alla pagina di login dell'applicazione contemporaneamente (10 * 6 = 60 chiamate). Poiché 60 chiamate sono superiori a 40 richieste che possono essere gestite dalla tua applicazione, gli utenti dell'applicazione probabilmente osservano lentezza quando le chiamate vengono accodate.

Dopo circa un minuto di assenza di traffico verso la tua applicazione, Code Engine inizia a ridurre automaticamente. Quando la tua applicazione viene ridimensionata, alcune istanze vengono impostate nello stato Terminating. Code Engine invia un segnale SIGTERM alla tua applicazione e il codice deve gestire questo segnale e arrestarlo. Se la tua applicazione non gestisce questo segnale, le tue istanze dell'applicazione rimangono nello stato Terminating per il tempo configurato dal valore di timeout della richiesta (il valore predefinito è 300 secondi). Dopo la durata del timeout della richiesta, Code Engine invia un segnale SIGKILL per arrestare forzatamente le istanze dell'applicazione nello stato Terminating.

Se hai 8 istanze attive e 12 istanze rimangono nello stato Terminating per 300 secondi (5 minuti). Queste 12 istanze non ricevono alcuna richiesta. Se arrivano più di 8 * 2 (valuta) = 16 richieste, Code Engine ridimensiona le nuove istanze.

In questo esempio, il valore di simultaneità di 2 è basso per questo contenuto statico. Devi determinare i valori di scalabilità automatica da impostare per la tua applicazione, che dipende da cosa può gestire l'implementazione della tua applicazione con le sue risorse di memoria e CPU assegnate.

Determinazione della simultaneità del tuo contenitore di applicazione

Il valore di simultaneità del contenitore ottimale è determinato dal numero massimo di richieste simultanee che l'applicazione può gestire con una latenza di richiesta accettabile.

La simultaneità del contenitore ha un impatto diretto sulla velocità di riuscita, la latenza e la velocità di trasmissione dell'applicazione. Quando il valore di simultaneità del contenitore è troppo elevato per essere gestito dall'applicazione, la latenza e la velocità di trasmissione vengono influenzate negativamente e potresti osservare le risposte di errore 502 e 503.

Quando il valore di simultaneità del contenitore è troppo basso per l'applicazione, il sistema ridimensiona l'applicazione più rapidamente e distribuisce la richiesta tra molte istanze dell'applicazione, introducendo ulteriori costi e latenza. Durante un burst di caricamento, un valore di simultaneità basso può anche portare a risposte 502 temporanee quando i buffer interni del sistema vengono eseguiti.

Per determinare la configurazione di simultaneità del contenitore per la tua applicazione, esamina le richieste e la latenza.

1. Creare un'applicazione e impostarne la simultaneità su 1000 (max) e sia min-scale che max-scale su 1.

   ibmcloud ce application create --name APPNAME --image APPIMAGE --min-scale=1 --max-scale=1 --concurrency=1000
   

2. Iniziare inviando una frequenza elevata di richieste. Se si verificano errori 502, diminuire la frequenza fino a quando il risultato non mostra una percentuale di esito positivo del 100%.

3. Trova la latenza della richiesta dell'output del passo 2. Se la latenza della richiesta non è accettabile, diminuire ulteriormente la velocità della richiesta fino a quando la latenza della richiesta non risulta accettabile. Notare che la durata della richiesta è importante anche perché fa la differenza se il calcolo della richiesta richiede 2 secondi o 100 millisecondi.

   La frequenza e la latenza della tua richiesta accettabili variano in base alle tue caratteristiche dell'applicazione e alla tua configurazione di ridimensionamento. Ad esempio, se il calcolo all'interno dell'applicazione richiede circa 100 ms e l'impostazione di simultaneità è 10, un'istanza dell'applicazione è in grado di elaborare circa 100 richieste al secondo con una latenza di circa 100 ms (ignorando la latenza di rete).

4. Per calcolare il valore di simultaneità del contenitore per la tua applicazione, prendi la tariffa dal passo 2 (in req/s) e dividi per la latenza del passo 3 (in secondi): CC = RATE/LATENCY. Ad esempio, se la frequenza è 80 richieste al secondo e la latenza è 2 secondi, la simultaneità risultante è simultanea = 80 req/s / 2 s = 40.

5. Aggiornare l'applicazione per impostare la simultaneità del contenitore sul valore trovato nel passo precedente ed eseguire nuovamente il carico di lavoro per controllare se la frequenza di riuscita e la latenza sono accettabili.

6. Sperimentare con l'applicazione aumentando il valore di simultaneità del contenitore e osservando il tasso di successo e la latenza.

7. Aggiorna la tua applicazione con il valore di simultaneità del contenitore ottimale e rimuovi i limiti min-Scale e max-scale per consentire all'applicazione di scalare automaticamente.

Modifica dell'intervallo di ridimensionamento automatico dalla console

Per modificare l'intervallo in cui Code Engine ridimensiona automaticamente il numero di istanze in esecuzione per un'applicazione dalla console, attieniti alla seguente procedura.

1. Passa alla tua applicazione.
2. Selezionare la scheda " Configurazione ".
3. Seleziona la scheda " Risorse e scalabilità ".
4. Imposta il numero di istanze minime e massime per la tua app.
5. (Facoltativo) Esamina e imposta le impostazioni di simultaneità e sincronizzazione della richiesta per il ridimensionamento automatico della tua applicazione.
6. Fai clic su Distribuisci per salvare le modifiche e distribuire la revisione dell'applicazione.

Quando aggiorni la tua applicazione, la tua app crea una nuova revisione e instrada il traffico a tale istanza.

Modifica dell'intervallo di ridimensionamento automatico con la CLI

Per modificare l'intervallo in cui Code Engine ridimensiona automaticamente il numero di istanze in esecuzione per un'applicazione con la CLI, esegui il comando application update con le opzioni --min-scale e --max-scale impostate sul numero di istanze che desideri per la tua applicazione. Puoi facoltativamente impostare le impostazioni di simultaneità e tempificazione della richiesta per la tua app. Queste opzioni includono --concurrency, --concurrency-target, --request-timeout e --scale-down-delay. Per ulteriori informazioni sull'impostazione di questi valori di scalabilità automatica, vedi Limiti di scalabilità e Impostazioni di scalabilità automatica per la simultaneità e la sincronizzazione.

Quando aggiorni la tua applicazione, la tua app crea una nuova revisione e instrada il traffico a tale istanza.