Entendendo a alta disponibilidade e a recuperação de desastre para o InstructLab
Alta disponibilidadeA capacidade de um serviço ou carga de trabalho de resistir a falhas e continuar fornecendo capacidade de processamento de acordo com algum nível de serviço predefinido. Para serviços, a disponibilidade é definida no Contrato de Nível de Serviço. A disponibilidade inclui eventos planejados e não planejados, como manutenção, falhas e desastres. (HA) é a capacidade de um serviço permanecer operacional e acessível na presença de falhas inesperadas. A recuperação de desastresA capacidade de um serviço ou carga de trabalho de se recuperar de incidentes raros e importantes e de falhas em larga escala, como a interrupção do serviço. Isso inclui um desastre físico que afeta toda uma região, a corrupção de um banco de dados ou a perda de um serviço que contribui para uma carga de trabalho. O impacto excede a capacidade do projeto de alta disponibilidade para lidar com ele. é o processo de recuperação da instância de serviço para um estado de funcionamento.
Red Hat AI InstructLab o Red Hat AI InstructLab foi projetado para atender aos Objetivos de Nível de Serviço(SLO) com o plano Standard.
Para obter mais informações sobre a região disponível e os locais do data center, consulte Disponibilidade de serviço e infraestrutura por local.
Arquitetura de alta disponibilidade
Recursos de alta disponibilidade
Red Hat AI InstructLab oferece suporte aos seguintes recursos de alta disponibilidade:
| Recursos | Descrição | Consideração |
|---|---|---|
| Balanceamento de carga global | Quando um nó ou uma zona de disponibilidade falha, o serviço continua a ser executado com as solicitações de API sendo roteadas por meio de um balanceador de carga global para os nós de instância de HA sobreviventes. Os trabalhos de geração de dados sintéticos ativos e os trabalhos de alinhamento de modelos ativos executados em nós dentro da zona são repetidos automaticamente em nós de uma zona diferente em caso de falha. Em determinadas regiões, devido a restrições de capacidade, os nós de alinhamento de modelos são implantados em uma zona. Quando a zona é restaurada, os trabalhos de alinhamento do modelo ativo são automaticamente repetidos. | Pode haver um curto período de tempo (segundos) entre a interrupção e o reconhecimento da falha pelo balanceador de carga global, durante o qual as solicitações podem ser enviadas para a instância com falha. |
Recursos de recuperação de desastres
Red Hat AI InstructLab oferece suporte aos seguintes recursos de recuperação de desastres:
| Recursos | Descrição | Consideração |
|---|---|---|
| InstructLab segue um modelo de implantação regional. | No caso de uma falha regional, as APIs podem ficar indisponíveis até que a região seja restaurada. | Outras regiões ativas nas quais o InstructLab está implantado podem ser usadas para gerar dados sintéticos e executar alinhamentos de modelos até que a região seja restaurada. |
| Object Storage replicação | InstructLab persiste todos os modelos SDG e alinhados no bucket de armazenamento de objetos fornecido pelo cliente. Consulte a documentação do serviço Object Storage para obter estratégias de recuperação de desastres. | Você pode usar a replicação de bucket para replicar o conteúdo da taxonomia, os dados sintéticos gerados e os modelos alinhados em uma região diferente. Para obter mais informações, consulte Entendendo a alta disponibilidade e a recuperação de desastre para o IBM Cloud® Object Storage. |
Planejamento para DR
As etapas do DR devem ser praticadas regularmente. Ao criar seu plano, considere os seguintes cenários de falha e resoluções.
| Falha | Resolução |
|---|---|
| Falha de hardware (ponto único) | IBM fornece uma instância que é resiliente a um único ponto de falha de hardware em uma zona. Não é necessária nenhuma configuração. |
| falha da zona | IBM fornece uma instância que é resiliente a uma falha de zona. Não é necessária nenhuma configuração. |
| Distorção de dados | Restaure uma versão não corrompida do conteúdo do bucket de armazenamento de objetos do cliente a partir do backup. InstructLab restauração gerenciada pela equipe de serviço. |
| Falha regional | O alinhamento do modelo e a geração de dados sintéticos são alternados para uma região ativa. A restauração do InstructLab é feita pela equipe de serviço. |
Suas responsabilidades com HA e DR
É sua responsabilidade testar continuamente seu plano de HA e DR.
Podem ocorrer interrupções na conectividade da rede e curtos períodos de indisponibilidade de um serviço. É sua responsabilidade garantir que o código-fonte do aplicativo inclua a lógica de nova tentativa de disponibilidade do cliente para manter a alta disponibilidade do aplicativo.
Use as seguintes listas de verificação associadas a cada recurso para ajudá-lo a criar e praticar seu plano.
Use as seguintes listas de verificação associadas a cada recurso para ajudá-lo a criar e praticar seu plano.
Replicação de armazenamento de objetos
Exemplo de lista de verificação para replicação de armazenamento de objetos
- [ ] Create a primary InstructLab instance in primary region.
- [ ] Create a primary Cloud Object Storage bucket in primary region.
- [ ] Create a secondary InstructLab instance in secondary region.
- [ ] Create a secondary object storage bucket in secondary region.
- [ ] Enable object replication from primary object bucket to secondary object bucket
- [ ] Upload taxonomy to primary object storage bucket and create taxonomy object in primary InstructLab instance
- [ ] Ensure taxonomy object storage bucket object replicates to secondary region
- [ ] Generate training data from taxonomy in primary Instructlab Instance
- [ ] Ensure training data file replicates from primary object storage bucket to secondary object storage bucket
- [ ] Fine tune a model in the InstructLab primary instance
- [ ] Ensure model alignment file replicates from primary object storage bucket to secondary object storage bucket
Para obter mais informações sobre a propriedade de responsabilidade entre você e IBM Cloud para Red Hat AI InstructLab, consulte Suas responsabilidades.
Objetivo de tempo de recuperação (RTO) e objetivo de ponto de recuperação (RPO)
| Recursos | RTO e RPO |
|---|---|
| Replicação de armazenamento de objetos com instância de backup InstructLab | RTO = minutos, RPO = quase 0 |
Gerenciamento de mudanças
O gerenciamento de alterações inclui tarefas como upgrades, alterações de configuração e exclusão.
Conceda aos usuários e processos as funções e ações do IAM com o mínimo de privilégio necessário para o trabalho deles. Para obter mais informações, consulte Como posso evitar a exclusão acidental de serviços?
Considere a possibilidade de criar um backup manual de sua taxonomia, dos dados gerados e dos modelos alinhados antes de fazer upgrade para uma nova versão do Red Hat AI InstructLab.
Como o site IBM se recupera de falhas regionais
Se o site IBM não puder restaurar a instância do serviço, você deverá restaurar o serviço conforme descrito em Planejamento para recuperação de desastres.
Como o site IBM mantém os serviços
- Todos os upgrades seguem as práticas recomendadas de serviço do site IBM, incluindo planos de recuperação e processos de reversão.
- A manutenção regular pode causar interrupções curtas, atenuadas pela lógica de nova tentativa de disponibilidade do cliente.
- As alterações são implementadas sequencialmente, região por região e zona por zona dentro de uma região. O site IBM reverte as atualizações ao primeiro sinal de defeito.
- As alterações complexas são ativadas e desativadas com sinalizadores de recursos para controlar a exposição.
- As alterações que afetam as cargas de trabalho dos clientes são detalhadas nas notificações do site IBM Cloud.
Para obter mais informações sobre manutenção planejada, anúncios e notas de versão que afetam esse serviço, consulte os links a seguir.