保存資料夾結構

IBM Cloud Logs 保存資料儲存在具有下列分割區欄位的標準 Hive 型分割區中:

team_id=<team-id>: IBM Cloud Logs Team ID
dt=YYYY-MM-DD: Date of the data in UTC
hr=HH: Hour of the data in UTC

這些欄位可以定義為架構內的虛擬直欄，並且可以用作查詢中的過濾器。

請注意以下事項：

• dt 和 hr 都基於事件時間戳記。
• team_id=<team-id> 分割區可讓您重複使用相同的儲存區及字首，以從多個 IBM Cloud Logs 團隊寫入資料，並在一個查詢中查詢它們。

欄位

每一個 Apache Parquet 檔案都有三個資料為 JSON 格式字串的欄位:

• src_obj__event_metadata: 包含事件相關 meta 資料的 JSON 物件。
• src_obj__event_labels: 包含事件標籤的 JSON 物件 (例如 IBM Cloud Logs applicationName 和 subsystemName)。
• src_obj__user_data: 包含實際事件資料的 JSON 物件。

以下是 src_obj__event_metadata 的範例：

{
  "timestamp": "2022-03-28T08:50:57.946",
  "severity": "Debug",
  "priorityclass": "low",
  "logid": "some-uuid"
}

以下是 src_obj__event_labels 的範例：

{
  "applicationname": "some-app",
  "subsystemname": "some-subsystem",
  "category": "some-category",
  "classname": "some-class",
  "methodname": "some-method",
  "computername": "some-computer",
  "threadid": "some-thread-id",
  "ipaddress": "some-ip-address"
}

以下是 src_obj__user_data 的範例：

{
  "_container_id": "0f099482cf3b507462020e9052516554b65865fb761af8e076735312772352bf",
  "host": "ip-10-1-11-144",
  "short_message": "10.1.11.144 - - [28/Mar/2022:08:50:57 +0000] \\"GET /check HTTP/1.1\\" 200 16559 \\"-\\" \\"Consul Health Check\\" \\"-\\""
}

存檔查詢和解析

使用 IBM Cloud Logs 存檔查詢功能，您可以使用 Lucene、DataPrime, 和 regex 查詢語法直接從存檔中查詢日誌，而無需計入每日配額，即使資料從未被索引。 您可以在 分析及警示 和 儲存及搜尋 管道 中儲存更多資料，並利用 IBM Cloud Logs 即時分析和遠端儲存搜尋功能。 這表示您可以使用較短的保留期限，但仍能快速查詢所有資料。

保存查詢會在您於 IBM Cloud Logs 中設定的保存檔上執行，並且可用於所有 TCO 記載層次。 例如，如果您將 分析及警示 管道的日誌排定優先順序，您仍然可以在不為資料編制索引的情況下查詢這些日誌。 您也可以在 LiveTail, 中檢視和查詢，接收即時警示和異常通知，使用解析規則、日誌聚合和事件到指標，成本比傳送至 優先洞察 pipeline 的資料更低。