아카이브 폴더 구조

IBM Cloud Logs 아카이브 데이터는 다음 파티션 필드를 사용하여 표준 하이브 (hive) 와 유사한 파티션에 저장됩니다.

team_id=<team-id>: IBM Cloud Logs Team ID
dt=YYYY-MM-DD: Date of the data in UTC
hr=HH: Hour of the data in UTC

이러한 필드는 프레임워크 내에서 가상 열로 정의할 수 있으며 조회에서 필터로 사용할 수 있습니다.

다음 사항에 유의하십시오.

• dt 및 hr 모두 이벤트 시간소인을 기반으로 합니다.
• team_id=<team-id> 파티션을 사용하면 동일한 버킷 및 접두부를 재사용하여 여러 IBM Cloud Logs 팀의 데이터를 쓰고 하나의 조회에서 데이터를 조회할 수 있습니다.

필드

각 Apache Parquet 파일에는 JSON 형식 문자열로 데이터가 있는 세 개의 필드가 있습니다.

• src_obj__event_metadata: 이벤트와 관련된 메타데이터를 포함하는 JSON 오브젝트입니다.
• src_obj__event_labels: 이벤트의 레이블을 포함하는 JSON 오브젝트입니다 (예: IBM Cloud Logs applicationName 및 subsystemName).
• src_obj__user_data: 실제 이벤트 데이터를 포함하는 JSON 오브젝트입니다.

다음은 src_obj__event_metadata 의 예입니다:

{
  "timestamp": "2022-03-28T08:50:57.946",
  "severity": "Debug",
  "priorityclass": "low",
  "logid": "some-uuid"
}

다음은 src_obj__event_labels 의 예입니다:

{
  "applicationname": "some-app",
  "subsystemname": "some-subsystem",
  "category": "some-category",
  "classname": "some-class",
  "methodname": "some-method",
  "computername": "some-computer",
  "threadid": "some-thread-id",
  "ipaddress": "some-ip-address"
}

다음은 src_obj__user_data 의 예입니다:

{
  "_container_id": "0f099482cf3b507462020e9052516554b65865fb761af8e076735312772352bf",
  "host": "ip-10-1-11-144",
  "short_message": "10.1.11.144 - - [28/Mar/2022:08:50:57 +0000] \\"GET /check HTTP/1.1\\" 200 16559 \\"-\\" \\"Consul Health Check\\" \\"-\\""
}

아카이브 쿼리 및 구문 분석

IBM Cloud Logs 아카이브 쿼리 기능을 사용하면 데이터가 색인되지 않은 경우에도 일일 할당량에 포함되지 않고 Lucene, DataPrime, 및 정규식 쿼리 구문을 사용하여 아카이브에서 직접 로그를 쿼리할 수 있습니다. 분석 및 경보 및 저장 및 검색 파이프라인에 더 많은 데이터를 저장하고 IBM Cloud Logs 실시간 분석 및 원격 저장소 검색 기능을 활용할 수 있습니다. 즉, 더 짧은 보존 기간을 사용하면서도 모든 데이터를 빠르게 쿼리할 수 있습니다.

아카이브 조회는 IBM Cloud Logs 에서 설정한 아카이브에서 실행되며 모든 TCO 로깅 레벨에 사용 가능합니다. 예를 들어 분석 및 경보 파이프라인에 대한 로그의 우선 순위를 지정하는 경우 데이터를 인덱싱하지 않고도 로그를 쿼리할 수 있습니다. 또한 LiveTail, 에서 실시간 알림 및 이상 징후 알림을 받고, 구문 분석 규칙, 로그 집계 및 이벤트를 사용하여 우선순위 인사이트 파이프라인으로 전송되는 데이터보다 저렴한 비용으로 메트릭을 조회하고 쿼리할 수 있습니다.