瞭解 InstructLab 的高可用性及災難回復

高可用性服務或工作負載承受故障並根據某些預先定義的服務等級繼續提供處理能力的能力。對於服務而言，可用性是在服務等級協議中定義的。可用性包括計劃內和計劃外的事件，例如維護、故障和災難。 (HA) 是指服務在發生意外故障時仍能維持運作和存取的能力。災難復原服務或工作負載從罕見的重大事故和大規模故障（如服務中斷）中恢復的能力。這包括影響整個區域的實體災難、資料庫損毀或對工作負載有貢獻的服務遺失。其影響超出了高可用性設計的處理能力。是將服務實例還原到工作狀態的過程。

Red Hat AI InstructLab 是高度可用的區域服務，設計用於區域停機期間的可用性。設計用於滿足標準計劃的 Red Hat AI InstructLab 服務等級目標(SLO)。

如需有關可用區域和資料中心位置的詳細資訊，請參閱依位置顯示的服務和基礎結構可用性。

高可用性架構

Red Hat AI InstructLab 架構架構架構圖 — caption-side=bottom"

高可用性功能

Red Hat AI InstructLab 支援下列高可用性功能：

HA 功能用於 Red Hat AI InstructLab
特性	說明	考量
廣域負載平衡	當節點或可用性區域發生故障時，服務會繼續執行，API 請求會透過全局負載平衡器路由到倖存的 HA 實例節點。在區域內的節點上執行的作用中合成資料產生工作和作用中模型對齊工作，會在失敗時自動在不同區域的節點上重試。在某些區域，由於容量限制，模型排列節點部署在一個區域內。當區域恢復作用中的模型對齊工作時，會自動重新嘗試。	從停機到全局負載平衡器識別到故障之間可能有一段很短的時間（秒），在這段時間內，可能會向故障的實例傳送請求。

災難復原功能

Red Hat AI InstructLab 支援下列災難復原功能：

DR 功能適用於 Red Hat AI InstructLab
特性	說明	考量
InstructLab 遵循區域部署模式。	在區域故障的情況下，API 可能無法使用，直到區域恢復為止。	InstructLab 部署到的其他作用中區域可以用來產生合成資料和執行模型排列，直到該區域恢復。
Object Storage 复制	InstructLab 將所有 SDG 及對齊的模型持久化到客戶端提供的物件儲存桶中。有關災難復原策略，請參考 Object Storage 服務文件。	您可以使用資料桶複製功能，將分類內容、已產生的合成資料和已對齊的模型複製到不同的區域。如需詳細資訊，請參閱瞭解 IBM Cloud® Object Storage 的高可用性和災難復原。

DR 規劃

DR 步驟必須定期練習。當您建立計劃時，請考慮以下的失敗情況和解決方案。

DR 方案
失敗	解決方法
硬體故障（單點）	IBM 在一個區域內，提供一個可避免單點硬體故障的實例。無需設定。
區域故障	IBM 提供了一個可避免區域故障的實例。無需設定。
資料毀損	從備份還原客戶端物件儲存桶內容的未損毀時間點版本。InstructLab 由服務團隊處理還原。
區域失敗	模型對齊和合成資料產生會切換到存活區域。InstructLab 恢復由服務團隊處理。

您對 HA 和 DR 的責任

您有責任持續測試您的 HA 和 DR 計劃。

網路連線中斷和服務短暫無法使用的情況可能會發生。您有責任確保應用程式原始碼包含用戶端可用性重試邏輯，以維持應用程式的高可用性。

使用下列與每個特徵相關的核對表來幫助您建立和實踐您的計劃。

物件儲存複製

驗證從主要儲存桶到備份儲存桶的複製政策是否到位
驗證樣本分類系統檔案是否在預期的同步時間內從原始資源桶同步到主要資源桶
驗證樣本合成資料檔案是否在預期同步時間內從原始資料庫同步到主要資料庫
驗證樣本對齊的模型檔案是否在預期的同步時間內從來源同步至主儲存桶

物件儲存複製的檢查清單範例

- [ ] Create a primary InstructLab instance in primary region.
- [ ] Create a primary Cloud Object Storage bucket in primary region.
- [ ] Create a secondary InstructLab instance in secondary region.
- [ ] Create a secondary object storage bucket in secondary region.
- [ ] Enable object replication from primary object bucket to secondary object bucket
- [ ] Upload taxonomy to primary object storage bucket and create taxonomy object in primary InstructLab instance
- [ ] Ensure taxonomy object storage bucket object replicates to secondary region
- [ ] Generate training data from taxonomy in primary Instructlab Instance
- [ ] Ensure training data file replicates from primary object storage bucket to secondary object storage bucket
- [ ] Fine tune a model in the InstructLab primary instance
- [ ] Ensure model alignment file replicates from primary object storage bucket to secondary object storage bucket

如需有關您與 IBM Cloud 之間的責任所有權的詳細資訊，Red Hat AI InstructLab，請參閱您的責任。

復原時間目標 (RTO) 和復原點目標 (RPO)

RTO/RPO 功能用於 Red Hat AI InstructLab
特性	RTO 和 RPO
物件儲存複製與備份 InstructLab	RTO = 分鐘，RPO = 接近 0

變更管理

變更管理包括升級、組態變更和刪除等工作。

授予使用者和程序工作所需的最少權限的 IAM 角色和動作。如需詳細資訊，請參閱如何防止意外刪除服務？

在升級到 Red Hat AI InstructLab 的新版本之前，請考慮建立分類系統、已產生資料和對齊模型的手動備份。

IBM 如何從區域故障中復原

如果 IBM 無法還原服務實例，您必須按照規劃災難復原中所述的方式還原服務。

IBM 如何維護服務

所有升級都遵循 IBM 服務最佳實務，包括恢復計劃和回滾流程。
定期維護可能會造成短暫中斷，但客戶端可用性重試邏輯可減緩中斷情況。
IBM 會在缺陷出現的第一時間恢復更新。
使用功能旗標啟用或停用複雜變更，以控制曝光。
影響客戶工作負載的變更詳列於 IBM Cloud 通知中。

如需有關影響此服務的計劃維護、公告和發行說明的詳細資訊，請參閱下列連結。

InstructLab 發行說明。
監控通知和狀態。