Hochverfügbarkeit und Disaster-Recovery für InstructLab

HochverfügbarkeitDie Fähigkeit eines Dienstes oder einer Arbeitslast, Ausfällen standzuhalten und die Verarbeitungsfähigkeit gemäß einem vordefinierten Servicelevel weiterhin bereitzustellen. Für Dienstleistungen ist die Verfügbarkeit im Service Level Agreement definiert. Die Verfügbarkeit umfasst sowohl geplante als auch ungeplante Ereignisse wie Wartungsarbeiten, Ausfälle und Katastrophen. (HA) ist die Fähigkeit eines Dienstes, auch bei unerwarteten Ausfällen betriebsbereit und zugänglich zu bleiben. Unter Disaster RecoveryDie Fähigkeit eines Dienstes oder einer Arbeitslast, sich von seltenen, schwerwiegenden Vorfällen und großflächigen Ausfällen, wie z. B. Dienstunterbrechungen, zu erholen. Dies umfasst eine Naturkatastrophe, die eine ganze Region betrifft, die Beschädigung einer Datenbank oder den Verlust eines Dienstes, der zu einer Arbeitsbelastung beiträgt. Die Auswirkungen übersteigen die Kapazitäten des Hochverfügbarkeitsdesigns. versteht man die Wiederherstellung eines funktionierenden Zustands der Service-Instanz.

Red Hat AI InstructLab ist ein hochverfügbarer regionaler Dienst, der für die Verfügbarkeit während eines zonalen Ausfalls ausgelegt ist. Red Hat AI InstructLab ist darauf ausgelegt, die Service Level Objectives(SLO ) mit dem Standardplan zu erfüllen.

Weitere Informationen über die verfügbaren Regionen und Rechenzentrumsstandorte finden Sie unter Service- und Infrastrukturverfügbarkeit nach Standort.

Architektur für hohe Verfügbarkeit

Red Hat AI InstructLab architektur Architektur Architekturdiagramm — caption-side=bottom"

Funktionen für hohe Verfügbarkeit

Red Hat AI InstructLab unterstützt die folgenden Hochverfügbarkeitsfunktionen:

HA-Funktionen für Red Hat AI InstructLab
Feature	Beschreibung	Hinweis
Globaler Lastausgleich	Wenn ein Knoten oder eine Verfügbarkeitszone ausfällt, läuft der Dienst weiter, wobei die API-Anforderungen über einen globalen Load Balancer an die überlebenden HA-Instanzknoten weitergeleitet werden. Aktive Aufträge zur Erzeugung synthetischer Daten und zum Abgleich aktiver Modelle, die auf Knoten innerhalb der Zone ausgeführt werden, werden bei einem Ausfall automatisch auf Knoten in einer anderen Zone wiederholt. In bestimmten Regionen werden aufgrund von Kapazitätsengpässen Modellausrichtungsknoten innerhalb einer Zone aufgestellt. Wenn die Zone wiederhergestellt wird, werden aktive Modellausrichtungsaufträge automatisch erneut versucht.	Zwischen dem Ausfall und dem Erkennen des Fehlers durch den globalen Load Balancer kann eine kurze Zeitspanne (Sekunden) liegen, in der Anfragen an die ausgefallene Instanz gesendet werden.

Funktionen zur Wiederherstellung im Katastrophenfall

Red Hat AI InstructLab unterstützt die folgenden Disaster-Recovery-Funktionen:

DR-Funktionen für Red Hat AI InstructLab
Feature	Beschreibung	Hinweis
InstructLab folgt einem regionalen Bereitstellungsmodell.	Im Falle eines regionalen Ausfalls könnten die APIs nicht mehr verfügbar sein, bis die Region wiederhergestellt ist.	Andere aktive Regionen, in denen InstructLab eingesetzt wird, können verwendet werden, um synthetische Daten zu erzeugen und Modellanpassungen durchzuführen, bis die Region wiederhergestellt ist.
Object Storage replikation	InstructLab persistiert alle SDG- und angeglichenen Modelle in den vom Kunden bereitgestellten Objektspeicherbereich. In der Dokumentation des Dienstes Object Storage finden Sie Strategien für die Wiederherstellung im Notfall.	Sie können die Bucket-Replikation verwenden, um Taxonomie-Inhalte, generierte synthetische Daten und angepasste Modelle in einer anderen Region zu replizieren. Weitere Informationen finden Sie in Informationen zur Hochverfügbarkeit und Disaster-Recovery für IBM Cloud® Object Storage.

Planung für DR

Die DR-Schritte müssen regelmäßig geübt werden. Berücksichtigen Sie bei der Erstellung Ihres Plans die folgenden Fehlerszenarien und Lösungen.

DR-Szenarien
Fehler	Lösung
Hardware-Ausfall (einzelner Punkt)	IBM bietet eine Instanz, die gegen einzelne Hardwareausfälle innerhalb einer Zone resistent ist. Keine Konfiguration erforderlich.
Zonenfehler	IBM bietet eine Instanz, die gegen den Ausfall einer Zone gewappnet ist. Keine Konfiguration erforderlich.
Datenbeschädigung	Wiederherstellung einer nicht beschädigten Version des Inhalts des Client-Objektspeicherbereichs aus dem Backup. InstructLab Wiederherstellung durch das Serviceteam.
Regionales Versagen	Der Modellabgleich und die Erzeugung synthetischer Daten werden in eine aktive Region verlagert. Die Wiederherstellung von InstructLab erfolgt durch das Serviceteam.

Ihre Verantwortlichkeiten für HA und DR

Es liegt in Ihrer Verantwortung, Ihren Plan für HA und DR kontinuierlich zu testen.

Es kann zu Unterbrechungen der Netzanbindung und zu kurzen Zeiten der Nichtverfügbarkeit eines Dienstes kommen. Es liegt in Ihrer Verantwortung, sicherzustellen, dass der Quellcode der Anwendung eine Logik zur Wiederholung der Client-Verfügbarkeit enthält, um eine hohe Verfügbarkeit der Anwendung zu gewährleisten.

Verwenden Sie die folgenden Checklisten, die zu jedem Merkmal gehören, um Ihren Plan zu erstellen und zu üben.

Replikation von Objektspeichern

Überprüfung der Replikationsrichtlinie vom primären Bucket zum Backup-Bucket
Überprüfen Sie, ob eine Beispiel-Taxonomiedatei innerhalb der erwarteten Synchronisierungszeit von der Quelle zum primären Bucket synchronisiert wird
Überprüfen Sie, ob eine synthetische Beispieldatei innerhalb der erwarteten Synchronisierungszeit von der Quelle zum primären Bucket synchronisiert wird
Überprüfen Sie, ob eine beispielhafte ausgerichtete Modelldatei innerhalb der erwarteten Synchronisierungszeit von der Quelle zum primären Bucket synchronisiert wird

Beispiel-Checkliste für die Replikation von Objektspeichern

- [ ] Create a primary InstructLab instance in primary region.
- [ ] Create a primary Cloud Object Storage bucket in primary region.
- [ ] Create a secondary InstructLab instance in secondary region.
- [ ] Create a secondary object storage bucket in secondary region.
- [ ] Enable object replication from primary object bucket to secondary object bucket
- [ ] Upload taxonomy to primary object storage bucket and create taxonomy object in primary InstructLab instance
- [ ] Ensure taxonomy object storage bucket object replicates to secondary region
- [ ] Generate training data from taxonomy in primary Instructlab Instance
- [ ] Ensure training data file replicates from primary object storage bucket to secondary object storage bucket
- [ ] Fine tune a model in the InstructLab primary instance
- [ ] Ensure model alignment file replicates from primary object storage bucket to secondary object storage bucket

Weitere Informationen über die Verantwortung zwischen Ihnen und IBM Cloud für Red Hat AI InstructLab finden Sie unter Ihre Verantwortung.

Wiederherstellungszeitziel (RTO) und Wiederherstellungspunktziel (RPO)

RTO/RPO-Funktionen für Red Hat AI InstructLab
Feature	RTO und RPO
Objektspeicherreplikation mit Backup-Instanz InstructLab	RTO = Minuten, RPO = nahe 0

Änderungsmanagement

Die Änderungsverwaltung umfasst Aufgaben wie Upgrades, Konfigurationsänderungen und Löschungen.

Gewähren Sie Benutzern und Prozessen die IAM-Rollen und -Aktionen mit den geringsten Privilegien, die für ihre Arbeit erforderlich sind. Weitere Informationen finden Sie unter Wie kann ich ein versehentliches Löschen von Diensten verhindern?

Ziehen Sie in Erwägung, vor dem Upgrade auf eine neue Version von Red Hat AI InstructLab eine manuelle Sicherung Ihrer Taxonomie, der generierten Daten und der angepassten Modelle zu erstellen.

Wie IBM sich von regionalen Ausfällen erholt

Wenn IBM die Dienstinstanz nicht wiederherstellen kann, müssen Sie den Dienst wiederherstellen, wie im Abschnitt Planung der Notfallwiederherstellung beschrieben.

Wie IBM Dienste unterhält

Alle Upgrades erfolgen nach den bewährten Verfahren von IBM, einschließlich Wiederherstellungsplänen und Rollback-Prozessen.
Regelmäßige Wartungsarbeiten können zu kurzen Unterbrechungen führen, die durch eine Logik zur Wiederholung der Client-Verfügbarkeit gemildert werden.
Die Änderungen werden nacheinander ausgerollt, Region für Region und Zone für Zone innerhalb einer Region. IBM nimmt Aktualisierungen bei den ersten Anzeichen eines Fehlers zurück.
Komplexe Änderungen werden mit Funktionskennzeichen aktiviert und deaktiviert, um die Exposition zu steuern.
Änderungen, die sich auf die Arbeitslast der Kunden auswirken, werden in den Benachrichtigungen von IBM Cloud detailliert aufgeführt.

Weitere Informationen zu geplanten Wartungsarbeiten, Ankündigungen und Versionshinweisen, die diesen Dienst betreffen, finden Sie unter den folgenden Links.