配置儲存區以進行長期儲存及搜尋

IBM Cloud Logs 使用 IBM Cloud Object Storage buckets 來儲存資料和指標，以便長期儲存和搜尋。

關於儲存區

IBM Cloud Object Storage 是一個可用性高、耐用且安全的平台，可用於儲存非結構化資料。上傳至 IBM Cloud Object Storage 的檔案稱為物件。物件可以是從幾個位元組到 10TB的任何位置。它們會組織成儲存區，作為物件的儲存器，並且可以在位置、備援、計費費率、安全及物件生命週期方面彼此獨立配置。如需相關資訊，請參閱何謂 IBM Cloud Object Storage?。

若要管理儲存區，必須授與您的使用者在 IBM Cloud Object Storage 實例上使用儲存區的許可權。如需角色的相關資訊，請參閱 Identity and Access Management 角色。

若要建立儲存區，您可以選擇下列其中一個選項:

建立儲存桶請求
動作	進一步資訊
透過 IBM Cloud 使用者介面建立儲存區	進一步瞭解
透過 IBM Cloud CLI 建立儲存區	進一步瞭解
使用 cURL 來建立儲存區	進一步瞭解
使用 REST API 建立水桶	進一步瞭解
使用 REST API 來建立具有不同儲存類別的儲存區	進一步瞭解
使用 REST API 建立具有 Key Protect 或 Hyper Protect Crypto Services 受管理加密金鑰 (SSE-KP) 的儲存區	進一步瞭解
使用 Terraform 建立儲存區	進一步瞭解

如需詳細資訊，請參閱 IBM Cloud Object Storage 入門。

關於水桶與 IBM Cloud Logs

對於每個 IBM Cloud Logs 範例，您可以設定 1 個資料桶和 1 個指標桶。

資料桶用來儲存已擷取但未被 TCO 政策或封鎖解析規則封鎖的記錄。如需相關資訊，請參閱配置資料儲存區。
度量值儲存桶用來儲存收集的資料使用度量值，以及由 IBM Cloud Logs 產生的度量值。如需設定度量資料桶的相關資訊，請參閱設定度量資料桶。

您可以在相同區域或與 IBM Cloud Logs 範例不同的區域設定資料和度量儲存桶。儲存桶和 IBM Cloud Logs 範例可以位於同一帳戶或不同帳戶。

您應該建立具有 跨區域 備援的儲存區，以跨多個地理區域儲存及存取資料，以確保高可用性、延續性及災難回復功能。請參閱建立和修改 IBM Cloud Object Storage 桶。

您可以將資料桶和度量值桶設定為同一個桶。但是，請考慮以下建議：

針對生產環境的資料和指標使用不同的儲存桶。

如果您對日誌和指標有不同的資料保留要求，請針對日誌和指標使用不同的資料桶。

您對儲存桶和上傳到儲存桶的資料負責。您可以決定要在資料桶中保留資料多久。

合規性、企業和產業需求是幫助定義資料保存時間的關鍵輸入。
在 IBM Cloud Object Storage 中，您可以設定物件生命週期政策，包括標籤，以自動刪除儲存桶中的檔案。

刪除的資料將無法再查詢。在移除已刪除的資料之前，請確定您不再需要該資料來進行任何查詢或處理。

若要針對指標和日誌資料使用不同的物件生命週期，您必須使用不同的儲存桶來分別處理日誌資料和指標資料，並適當設定生命週期原則。

若要對透過不同資料管道擷取的日誌資料使用不同的生命週期，您必須在 IBM Cloud Logs 中設定歸檔保留標籤，並依標籤適當地設定生命週期原則過濾。

雖然 IBM Cloud Object Storage 中儲存的所有資料都會使用隨機產生的金鑰自動加密，但有些工作負載要求可以輪換、刪除金鑰，或以其他方式由金鑰管理系統 (KMS) 控制，例如 IBM® Key Protect for IBM Cloud®。靜態資料會以自動提供者端進階加密標準 (AES) 256 位元加密和安全散列演算法 (SHA)256 散列進行加密。使用內建的電信級傳輸層安全性/安全通訊端層 ( TLS / SSL ) 或 SNMPv3 搭配 AES 加密，可確保行動中資料的安全性。如果您想要對加密進行更多控制，您可以使用 IBM® Key Protect for IBM Cloud® 來管理已產生或「自備」的金鑰。如需詳細資訊，請參閱使用 IBM® Key Protect for IBM Cloud® 加密水桶和金鑰保護 COS 整合。

請注意，儲存在資料桶中的資料包括所有 TCO 資料管道的資料：來自優先洞察、分析及警示和儲存及搜尋的資料。如果資料必須僅由客戶管理加密保護，則需要設定 TCO 政策，以便僅透過分析及警示或儲存及搜尋資料管道處理資料。如需詳細資訊，請參閱設定 TCO 優化器。

IBM Cloud Object Storage 服務與 IBM Cloud Logs 分開計費。IBM Cloud Object Storage 儲存成本由您為 IBM Cloud Object Storage 實例選擇的定價方案決定。

IBM Cloud Logs 不支援 IBM Cloud Object Storage 已設定保留原則、物件鎖定原則或已啟用公開存取的資料桶，因為 IBM Cloud Logs 需要日誌和度量資料桶的刪除權限。

IAM Service 至 IBM Cloud Logs 與 IBM Cloud Object Storage

您必須在 IBM Cloud Logs 和 IBM Cloud Object Storage 之間定義服務對服務 ( S2S ) 授權，以允許 IBM Cloud Logs 讀取和寫入資料到資料桶中。

如需相關資訊，請參閱：

資料儲存區

您可以為 IBM Cloud Logs 範例設定資料桶。如需相關資訊，請參閱配置資料儲存區。

只要您有需要，資料儲存區就會儲存和保留日誌。
如果您有法規和相符性需求，請檢查您可以在其中建立儲存區的位置。然後，如果效能很重要，請考量在佈建 IBM Cloud Logs 實例的相同地區中建立儲存區。
您必須設定直接端點為水桶端點。

直接端點用於源自 VPC 內資源的請求。直接端點比公眾端點提供更好的效能，即使流量是跨區域或跨資料中心，也不會產生任何傳出或傳入頻寬的費用。如需詳細資訊，請參閱端點類型。
您負責維護資料儲存區。在 IBM Cloud Logs 中，您可以使用 IBM Cloud Object Storage 物件標籤來幫助您自動管理資料桶中的日誌資料。如需詳細資訊，請參閱從資料桶刪除檔案。

上傳至資料桶的檔案

日誌以下列結構的 Parquet 檔案儲存：

cx/parquet/v1/team_id=<TEAM>/dt=<DT>/hr=<HR>/UUID.parquet

_元資料_以這種結構儲存在清單檔案中：

cx/parquet/v1/_manifest/team_id=<TEAM>/dt=<DT>/hr=<HR>/_manifest/UUID.manifest

例如：

cx/parquet/v1/team_id=58/dt=2024-12-18/hr=14/_manifest/df7bda51-9a1a-4c67-9f4d-b17f93ec4fd1.manifest
cx/parquet/v1/team_id=58/dt=2024-12-18/hr=14/710bb5f8-0cfc-4706-8aec-27ec7d993af8.parquet

從資料桶刪除檔案

在 IBM Cloud Object Storage 中，您可以定義儲存桶的到期規則（生命週期政策）。有效期限規則會在定義的期間（從物件建立日期開始）之後刪除物件。每個儲存區的有效期限規則每 24 小時評估一次。會將符合有效期限的任何物件（以物件的到期日為基礎）置入佇列以進行刪除。刪除過期物件會從第二天開始，而且通常需要不到 24 小時。

您可以設定到期規則，該規則可以使用一個或多個篩選條件，例如物件前綴、物件標籤或物件大小，來限制規則的範圍。
您可以使用標籤作為篩選選項，讓到期規則適用於包含符合標籤的物件。標籤篩選器是以指定關鍵字串和值字串的容器形式提供。關鍵字串必須少於 128 個字元。
如果沒有設定前綴、標籤或物件大小，則政策會套用到儲存桶中的所有物件。

如需詳細資訊，請參閱使用過期規則刪除過期資料。

在 IBM Cloud Object Storage 中，您可以設定到期規則 (生命週期政策)，以根據物件建立日期後的天數自動管理物件檔案的刪除。但是，如果您想要更細緻地控制資料桶中保留供搜尋的資料，並透過對資料使用不同的保留期間來自動刪除檔案，您必須在 IBM Cloud Object Storage 中設定到期規則，透過使用物件標籤 ICL_ARCHIVE_RETENTION 來限制範圍，並使用您在 IBM Cloud Logs 範例中定義的標籤值。

若要使用存檔保留標籤，您必須完成下列步驟：

在 IBM Cloud Logs 中，設定 IBM Cloud Object Storage 物件標籤，以自動管理資料桶中可供搜尋的日誌資料時間長度。
- 您必須在 IBM Cloud Logs 範例中設定並啟用存檔保留標籤。如需詳細資訊，請參閱設定存檔保留標籤以管理資料保留。
- 您最多可以定義 3 個自訂物件標籤，用於定義日誌資料的 3 個不同到期期間。
- 您可以使用 default 標籤定義預設過期期間，以應用於未透過自訂物件標籤明確管理的資料。
啟用存檔保留標籤後，資料桶中的每個檔案都會標上自訂標籤 ICL_ARCHIVE_RETENTION。標籤值設定為自訂標籤值或 default。這個動作無法復原。保留標籤一旦啟用就無法停用。
在 IBM Cloud Object Storage 資料桶生命週期政策區段中，為每個標籤設定到期規則，包括預設值。

使用按鍵 ICL_ARCHIVE_RETENTION。

值字串必須少於 256 個字元。例如，您可以使用 high, medium，和 low 等值。

確保您在 IBM Cloud Logs 中設定的標籤名稱，與您在水桶的到期政策中設定的標籤值相符。標籤值區分大小寫。
在 IBM Cloud Logs 中，設定 1 個或多個 TCO 政策，並定義要與政策中選擇的資料一起使用的物件標籤。如果沒有設定標籤，則使用 default 標籤。

傳送到日誌資料桶的資料會上傳到物件檔案中。每個檔案有 1 個物件標籤 ICL_ARCHIVE_RETENTION 和值。如需詳細資訊，請參閱保留標籤。

存檔保留標籤會附加到在 IBM Cloud Logs 範例中定義並啟用後上傳到資料桶的物件檔案。

數據桶限制

儲存空間類別

IBM Cloud Object Storage用作資料儲存桶的IBM Cloud Logs儲存桶只能配置為下列儲存類別：

智慧型層級
標準

IBM Cloud Logs不支援下列儲存類別作為資料儲存桶：

儲存庫
Cold Vault

保存規則

IBM Cloud Object Storage可讓您在儲存桶上定義歸檔規則，以便在定義的時間段後自動歸檔物件。歸檔物件的成本比常規物件低，但需要先恢復才能再次讀取。

IBM Cloud Logs無法讀取存檔物件。IBM Cloud Logs在「所有日誌」檢視中搜尋存檔對象，或在「存檔查詢」中進行查詢，會傳回錯誤訊息。

用作IBM Cloud Object Storage資料儲存桶的IBM Cloud Logs儲存桶不得定義立即歸檔物件或在幾小時內歸檔物件的歸檔規則。

如果您不需要搜尋早於特定時間段（例如一個月）的日誌，您可以定義IBM Cloud Object Storage歸檔規則來歸檔早於搜尋所需時間段的物件。請勿將存檔時間配置為少於 7 天。

透過歸檔不需要搜尋的數據，您可以以更低的成本保留日誌資料。如果需要，以後需要使用IBM Cloud Logs搜尋資料時，可以還原已存檔的物件。

成功讀取活動追蹤事件

IBM Cloud Activity Tracker Event Routing 丟棄由實例啟動的成功事件，因為不需要這些事件。IBM Cloud Logs cloud-object-storage.object.read 檢視與 IBM Cloud Logs 活動相關的活動追蹤事件時，不會看到成功 cloud-object-storage.object.read 事件。

度量儲存區

您可以為 IBM Cloud Logs 範例設定一個 metrics bucket。如需相關資訊，請參閱配置度量值儲存區。

度量值儲存區會在您需要的長期索引中儲存並保留來自事件的度量值。

當您啟用度量值時，可以從日誌產生度量值。這些度量值儲存在度量值儲存區中作為 Prometheus 索引區塊。
如果您有法規和相符性需求，請檢查您可以在其中建立儲存區的位置。然後，如果效能很重要，請考量在佈建 IBM Cloud Logs 實例的相同地區中建立儲存區。
您必須設定直接端點為水桶端點。

直接端點用於源自 VPC 內資源的桶請求。直接端點比公眾端點提供更好的效能，即使流量是跨區域或跨資料中心，也不會產生任何傳出或傳入頻寬的費用。如需詳細資訊，請參閱端點類型。
您負責維護度量值儲存區。在 IBM Cloud Object Storage 中，您可以定義過期規則，以維護度量資料桶中的資料。如需詳細資訊，請參閱使用過期規則刪除過期資料。