Descrizione di alta disponibilità e di ripristino di emergenza per InstructLab
L' alta disponibilitàLa capacità di un servizio o di un carico di lavoro di resistere ai guasti e di continuare a fornire capacità di elaborazione secondo un livello di servizio predefinito. Per i servizi, la disponibilità è definita nell'Accordo sul livello dei servizi. La disponibilità comprende sia gli eventi pianificati che quelli non pianificati, come manutenzione, guasti e disastri. (HA) è la capacità di un servizio di rimanere operativo e accessibile in presenza di guasti imprevisti. Il disaster recoveryLa capacità di un servizio o di un carico di lavoro di riprendersi da incidenti rari e gravi e da guasti su larga scala, come l'interruzione del servizio. Ciò include un disastro fisico che colpisce un'intera regione, il danneggiamento di un database o la perdita di un servizio che contribuisce a un carico di lavoro. L'impatto supera la capacità del progetto di alta disponibilità di gestirlo. è il processo di ripristino dell'istanza di servizio in uno stato funzionante.
Red Hat AI InstructLab è un servizio regionale ad alta disponibilità progettato per essere disponibile durante un'interruzione zonale. Red Hat AI InstructLab è progettato per soddisfare gli obiettivi di livello di servizio(SLO) con il piano standard.
Per ulteriori informazioni sulle regioni e sui data center disponibili, vedere Disponibilità di servizi e infrastrutture per località.
Architettura ad alta disponibilità
Caratteristiche di alta disponibilità
Red Hat AI InstructLab supporta le seguenti funzioni di alta disponibilità:
| Funzione | Descrizione | Considerazione |
|---|---|---|
| Bilanciamento del carico globale | Quando un nodo o una zona di disponibilità si guasta, il servizio continua a funzionare con le richieste API che vengono instradate attraverso un bilanciatore di carico globale verso i nodi di istanza HA sopravvissuti. I lavori attivi di generazione di dati sintetici e i lavori attivi di allineamento dei modelli in esecuzione sui nodi all'interno della zona vengono riproposti automaticamente sui nodi di una zona diversa in caso di fallimento. In alcune regioni, a causa dei vincoli di capacità, i nodi di allineamento dei modelli sono distribuiti all'interno di una zona. Quando la zona viene ripristinata, i lavori di allineamento dei modelli attivi vengono automaticamente ritentati. | Tra l'interruzione e il riconoscimento del guasto da parte del bilanciatore di carico globale può trascorrere un breve periodo di tempo (secondi), durante il quale le richieste possono essere inviate all'istanza guasta. |
Funzionalità di disaster recovery
Red Hat AI InstructLab supporta le seguenti funzioni di disaster recovery:
| Funzione | Descrizione | Considerazione |
|---|---|---|
| InstructLab segue un modello di distribuzione regionale. | In caso di guasto regionale, le API potrebbero diventare non disponibili fino al ripristino della regione. | Le altre regioni attive in cui si trova InstructLab possono essere utilizzate per generare dati sintetici ed eseguire allineamenti di modelli finché la regione non viene ripristinata. |
| Object Storage replica | InstructLab persiste tutti i modelli SDG e allineati nel bucket di memorizzazione degli oggetti fornito dal cliente. Per le strategie di ripristino d'emergenza, consultare la documentazione del servizio Object Storage. | È possibile utilizzare la replica dei bucket per replicare i contenuti della tassonomia, i dati sintetici generati e i modelli allineati in un'altra regione. Per ulteriori informazioni, vedi Descrizione di alta disponibilità e ripristino di emergenza per IBM Cloud® Object Storage. |
Pianificazione della DR
Le fasi della DR devono essere praticate regolarmente. Nel costruire il vostro piano, considerate i seguenti scenari di fallimento e le relative soluzioni.
| Operazione non riuscita | Risoluzione |
|---|---|
| Guasto hardware (punto singolo) | IBM fornisce un'istanza resiliente rispetto a un singolo punto di guasto hardware all'interno di una zona. Non è richiesta alcuna configurazione. |
| malfunzionamento zona | IBM fornisce un'istanza resistente a un guasto della zona. Non è richiesta alcuna configurazione. |
| Dati danneggiati | Ripristino di una versione non corrotta del contenuto del bucket di archiviazione oggetti del client dal backup. InstructLab ripristino gestito dal team di assistenza. |
| Fallimento regionale | L'allineamento del modello e la generazione di dati sintetici vengono commutati in una regione viva. InstructLab è gestito dal team di assistenza. |
Le vostre responsabilità per HA e DR
È vostra responsabilità testare continuamente il vostro piano per HA e DR.
Potrebbero verificarsi interruzioni della connettività di rete e brevi periodi di indisponibilità di un servizio. È responsabilità dell'utente assicurarsi che il codice sorgente dell'applicazione includa la logica di riprova della disponibilità del client per mantenere l'alta disponibilità dell'applicazione.
Utilizzate le seguenti liste di controllo associate a ciascuna caratteristica per aiutarvi a creare e mettere in pratica il vostro piano.
Utilizzate le seguenti liste di controllo associate a ciascuna caratteristica per aiutarvi a creare e mettere in pratica il vostro piano.
Replica dello storage a oggetti
Esempio di lista di controllo per la replica dello storage degli oggetti
- [ ] Create a primary InstructLab instance in primary region.
- [ ] Create a primary Cloud Object Storage bucket in primary region.
- [ ] Create a secondary InstructLab instance in secondary region.
- [ ] Create a secondary object storage bucket in secondary region.
- [ ] Enable object replication from primary object bucket to secondary object bucket
- [ ] Upload taxonomy to primary object storage bucket and create taxonomy object in primary InstructLab instance
- [ ] Ensure taxonomy object storage bucket object replicates to secondary region
- [ ] Generate training data from taxonomy in primary Instructlab Instance
- [ ] Ensure training data file replicates from primary object storage bucket to secondary object storage bucket
- [ ] Fine tune a model in the InstructLab primary instance
- [ ] Ensure model alignment file replicates from primary object storage bucket to secondary object storage bucket
Per ulteriori informazioni sulle responsabilità tra l'utente e IBM Cloud per Red Hat AI InstructLab, vedere Le vostre responsabilità.
Obiettivo di tempo di recupero (RTO) e obiettivo di punto di recupero (RPO)
| Funzione | RTO e RPO |
|---|---|
| Replica dello storage a oggetti con istanza di backup InstructLab | RTO = minuti, RPO = quasi 0 |
Gestione delle modifiche
La gestione delle modifiche comprende attività quali aggiornamenti, modifiche alla configurazione e cancellazioni.
Assegnare agli utenti e ai processi i ruoli e le azioni IAM con il minimo privilegio richiesto per il loro lavoro. Per ulteriori informazioni, vedere Come posso evitare la cancellazione accidentale dei servizi?
Considerate la possibilità di creare un backup manuale della tassonomia, dei dati generati e dei modelli allineati prima di aggiornare a una nuova versione di Red Hat AI InstructLab.
Come IBM si riprende dai fallimenti regionali
Se IBM non è in grado di ripristinare l'istanza del servizio, è necessario ripristinare il servizio come descritto nella sezione Pianificazione del ripristino di emergenza.
Come IBM mantiene i servizi
- Tutti gli aggiornamenti seguono le best practice del servizio IBM, compresi i piani di ripristino e i processi di rollback.
- La manutenzione periodica potrebbe causare brevi interruzioni, mitigate dalla logica di riprova della disponibilità del client.
- Le modifiche vengono distribuite in modo sequenziale, regione per regione e zona per zona all'interno di una regione. IBM ripristina gli aggiornamenti al primo segno di difetto.
- Le modifiche complesse vengono attivate e disattivate con flag di funzione per controllare l'esposizione.
- Le modifiche che hanno un impatto sui carichi di lavoro dei clienti sono dettagliate nelle notifiche di IBM Cloud.
Per ulteriori informazioni sulla manutenzione programmata, sugli annunci e sulle note di rilascio che hanno un impatto su questo servizio, consultate i seguenti link.