Description de la haute disponibilité et de la reprise après incident pour InstructLab
La haute disponibilitéLa capacité d'un service ou d'une charge de travail à résister aux défaillances et à continuer à fournir une capacité de traitement selon un niveau de service prédéfini. Pour les services, la disponibilité est définie dans l'accord de niveau de service. La disponibilité comprend à la fois les événements planifiés et non planifiés, tels que la maintenance, les pannes et les catastrophes. (HA) est la capacité d'un service à rester opérationnel et accessible en cas de défaillance inattendue. La reprise après sinistreCapacité d'un service ou d'une charge de travail à se remettre d'incidents rares, majeurs et de défaillances à grande échelle, tels que l'interruption d'un service. Il peut s'agir d'un désastre physique qui affecte une région entière, de la corruption d'une base de données ou de la perte d'un service contribuant à une charge de travail. L'impact dépasse la capacité de la conception haute disponibilité à le gérer. est le processus de rétablissement de l'instance de service dans un état opérationnel.
Red Hat AI InstructLab est un service régional hautement disponible, conçu pour être disponible en cas de panne zonale. Red Hat AI InstructLab est conçu pour atteindre les objectifs de niveau de service(SLO) avec le plan standard.
Pour plus d'informations sur les régions et les centres de données disponibles, voir Disponibilité des services et de l'infrastructure par région.
Architecture à haute disponibilité
Fonctionnalités de haute disponibilité
Red Hat AI InstructLab prend en charge les fonctions de haute disponibilité suivantes :
| Fonction | Description | Élément à prendre en compte |
|---|---|---|
| Équilibrage de charge global | En cas de défaillance d'un nœud ou d'une zone de disponibilité, le service continue de fonctionner, les demandes d'API étant acheminées par un équilibreur de charge global vers les nœuds d'instance HA survivants. Les tâches actives de génération de données synthétiques et les tâches actives d'alignement de modèles exécutées sur des nœuds à l'intérieur de la zone sont automatiquement relancées sur des nœuds situés dans une zone différente en cas d'échec. Dans certaines régions, en raison de contraintes de capacité, des nœuds d'alignement de modèles sont déployés dans une zone. Lorsque la zone est rétablie, les travaux d'alignement de modèles actifs sont automatiquement réessayés. | Il peut s'écouler un court laps de temps (quelques secondes) entre la panne et la reconnaissance de la défaillance par l'équilibreur de charge global, pendant lequel des demandes peuvent être envoyées à l'instance défaillante. |
Fonctionnalités de reprise après sinistre
Red Hat AI InstructLab prend en charge les fonctions de reprise après sinistre suivantes :
| Fonction | Description | Élément à prendre en compte |
|---|---|---|
| InstructLab suit un modèle de déploiement régional. | En cas de défaillance régionale, les API pourraient devenir indisponibles jusqu'à ce que la région soit rétablie. | Les autres régions actives dans lesquelles InstructLab est déployé peuvent être utilisées pour générer des données synthétiques et exécuter des alignements de modèles jusqu'à ce que la région soit restaurée. |
| Object Storage réplication | InstructLab persiste tous les modèles SDG et alignés dans le seau de stockage d'objets fourni par le client. Consultez la documentation du service Object Storage pour connaître les stratégies de reprise après sinistre. | Vous pouvez utiliser la réplication de godets pour répliquer le contenu de la taxonomie, les données synthétiques générées et les modèles alignés dans une autre région. Pour plus d'informations, voir Présentation de la haute disponibilité et de la reprise après incident pour IBM Cloud® Object Storage. |
Planification du désamorçage
Les étapes du DR doivent être pratiquées régulièrement. Lors de l'élaboration de votre plan, envisagez les scénarios d'échec et les résolutions suivants.
| Echec | Résolution |
|---|---|
| Défaillance du matériel (point unique) | IBM fournit une instance qui résiste à un seul point de défaillance matérielle au sein d'une zone. Aucune configuration n'est requise. |
| défaillance de zone | IBM fournit une instance qui résiste à la défaillance d'une zone. Aucune configuration n'est requise. |
| Altération de données | Restauration d'une version ponctuelle non corrompue du contenu du bac de stockage d'objets du client à partir d'une sauvegarde. InstructLab restauration gérée par l'équipe de service. |
| Défaillance régionale | L'alignement du modèle et la génération de données synthétiques sont basculés vers une région vivante. InstructLab La restauration est prise en charge par l'équipe de service. |
Vos responsabilités en matière d'HA et de DR
Il est de votre responsabilité de tester en permanence votre plan d'HA et de DR.
Des interruptions de la connectivité du réseau et de courtes périodes d'indisponibilité d'un service peuvent se produire. Il est de votre responsabilité de vous assurer que le code source de l'application inclut une logique de relance de la disponibilité du client afin de maintenir la haute disponibilité de l'application.
Utilisez les listes de contrôle suivantes associées à chaque caractéristique pour vous aider à créer et à mettre en pratique votre plan.
Utilisez les listes de contrôle suivantes associées à chaque caractéristique pour vous aider à créer et à mettre en pratique votre plan.
Réplication du stockage d'objets
Exemple de liste de contrôle pour la réplication du stockage d'objets
- [ ] Create a primary InstructLab instance in primary region.
- [ ] Create a primary Cloud Object Storage bucket in primary region.
- [ ] Create a secondary InstructLab instance in secondary region.
- [ ] Create a secondary object storage bucket in secondary region.
- [ ] Enable object replication from primary object bucket to secondary object bucket
- [ ] Upload taxonomy to primary object storage bucket and create taxonomy object in primary InstructLab instance
- [ ] Ensure taxonomy object storage bucket object replicates to secondary region
- [ ] Generate training data from taxonomy in primary Instructlab Instance
- [ ] Ensure training data file replicates from primary object storage bucket to secondary object storage bucket
- [ ] Fine tune a model in the InstructLab primary instance
- [ ] Ensure model alignment file replicates from primary object storage bucket to secondary object storage bucket
Pour plus d'informations sur la répartition des responsabilités entre vous et IBM Cloud pour Red Hat AI InstructLab, voir Vos responsabilités.
Objectif de délai de rétablissement (RTO) et objectif de point de rétablissement (RPO)
| Fonction | RTO et RPO |
|---|---|
| Réplication du stockage d'objets avec instance de sauvegarde InstructLab | RTO = minutes, RPO = près de 0 |
Gestion des modifications
La gestion des modifications comprend des tâches telles que les mises à niveau, les changements de configuration et la suppression.
Attribuer aux utilisateurs et aux processus les rôles et les actions IAM avec le moins de privilèges possibles pour leur travail. Pour plus d'informations, voir Comment empêcher la suppression accidentelle de services?
Pensez à créer une sauvegarde manuelle de votre taxonomie, des données générées et des modèles alignés avant de passer à une nouvelle version de Red Hat AI InstructLab.
Comment IBM se remet des échecs régionaux
Si IBM ne peut pas restaurer l'instance de service, vous devez restaurer le service comme décrit dans la section Planification de la reprise après sinistre.
Comment IBM maintient les services
- Toutes les mises à niveau suivent les meilleures pratiques du service IBM, y compris les plans de reprise et les processus de retour en arrière.
- La maintenance régulière peut entraîner de brèves interruptions, atténuées par la logique de relance de la disponibilité du client.
- Les modifications sont déployées de manière séquentielle, région par région, et zone par zone à l'intérieur d'une région. IBM annule les mises à jour au premier signe de défaut.
- Les modifications complexes sont activées et désactivées à l'aide d'indicateurs de caractéristiques afin de contrôler l'exposition.
- Les changements qui ont un impact sur les charges de travail des clients sont détaillés dans les notifications IBM Cloud.
Pour plus d'informations sur la maintenance planifiée, les annonces et les notes de version qui ont un impact sur ce service, voir les liens suivants.