장기 스토리지 및 검색을 위한 버킷 구성

IBM Cloud Logs IBM Cloud Object Storage 버킷을 사용하여 장기 저장 및 검색을 위한 데이터와 메트릭을 저장합니다.

버킷 정보

IBM Cloud Object Storage은(는) 구조화되지 않은 데이터를 저장하기 위한 고가용성의 지속적 보안 플랫폼입니다. IBM Cloud Object Storage 에 업로드되는 파일을 오브젝트라고 합니다. 오브젝트는 몇 바이트에서 최대 10TB까지 가능합니다. 이는 오브젝트의 컨테이너 역할을 하고 위치, 복원성, 청구 비율, 보안 및 오브젝트 라이프사이클의 관점에서 서로 독립적으로 구성될 수 있는 버킷으로 구성됩니다. 자세한 정보는 IBM Cloud Object Storage의 개념 을 참조하십시오.

버킷을 관리하려면 사용자에게 IBM Cloud Object Storage 인스턴스의 버킷에 대해 작업할 수 있는 권한이 부여되어야 합니다. 역할에 대한 자세한 정보는 IAM(Identity and Access Management) 역할을 참조하십시오.

버킷을 작성하기 위해 다음 옵션 중 하나를 선택할 수 있습니다.

버킷 요청 만들기
조치	자세한 정보
IBM Cloud UI를 통해 버킷 작성	자세히 알아보기
IBM Cloud CLI를 통해 버킷 작성	자세히 알아보기
cURL을 사용하여 버킷 작성	자세히 알아보기
REST API를 사용하여 버킷 작성	자세히 알아보기
REST API를 사용하여 다른 스토리지 클래스로 버킷 작성	자세히 알아보기
REST API를 사용하여 Key Protect 또는 Hyper Protect Crypto Services 관리 암호화 키로 버킷 작성	자세히 알아보기
Terraform을 사용하여 버킷 작성	자세히 알아보기

자세한 정보는 IBM Cloud Object Storage 를 참조하십시오.

버킷 정보 IBM Cloud Logs

각 IBM Cloud Logs 인스턴스에 대해 1개의 데이터 버킷과 1개의 메트릭 버킷을 구성할 수 있습니다.

데이터 버킷은 수집되고 TCO 정책이나 블록 구문 분석 규칙에 의해 차단되지 않은 로그를 저장하는 데 사용됩니다. 자세한 정보는 데이터 버킷 구성 을 참조하십시오.
메트릭 버킷은 수집된 데이터 사용량 메트릭과 IBM Cloud Logs 에서 생성된 메트릭을 저장하는 데 사용됩니다. 메트릭 버킷 구성에 대한 자세한 내용은 메트릭 버킷 구성하기를 참조하세요.

IBM Cloud Logs 인스턴스와 동일한 지역 또는 다른 지역에서 데이터 및 메트릭 버킷을 구성할 수 있습니다. 버킷과 IBM Cloud Logs 인스턴스는 같은 계정에 있을 수도 있고 다른 계정에 있을 수도 있습니다.

고가용성, 지속성 및 재해 복구 기능을 보장하기 위해 여러 지리적 지역에서 데이터를 저장하고 액세스하려면 교차 지역 복원성이 있는 버킷을 작성해야 합니다. IBM Cloud Object Storage 버킷 만들기 및 수정을 참조하세요.

데이터 버킷과 메트릭 버킷을 동일한 버킷으로 구성할 수 있습니다. 그러나 다음 권장 사항을 고려하세요:

프로덕션 환경의 데이터와 메트릭에는 서로 다른 버킷을 사용하세요.

로그와 메트릭에 대해 서로 다른 데이터 보존 요구 사항이 있는 경우 로그와 메트릭에 대해 별도의 버킷을 사용하세요.

버킷과 버킷에 업로드되는 데이터에 대한 책임은 회원님에게 있습니다. 데이터를 버킷에 얼마나 오래 보관할지 결정합니다.

규정 준수, 기업 및 업계 요구사항은 데이터를 보관할 기간을 정의하는 데 도움이 되는 주요 입력 사항입니다.
IBM Cloud Object Storage 에서 버킷에서 파일을 자동으로 삭제하도록 태그를 포함한 개체 수명 주기 정책을 구성할 수 있습니다.

삭제된 데이터는 더 이상 쿼리할 수 없습니다. 데이터를 제거하기 전에 쿼리 또는 프로세스에 삭제된 데이터가 더 이상 필요하지 않은지 확인하세요.

메트릭과 로그 데이터에 서로 다른 개체 수명 주기 기간을 사용하려면 서로 다른 버킷을 사용하여 로그 데이터와 메트릭 데이터를 별도로 처리하고 수명 주기 정책을 적절하게 구성해야 합니다.

다른 데이터 파이프라인을 통해 수집된 로그 데이터에 서로 다른 수명 주기 기간을 사용하려면 IBM Cloud Logs 에서 아카이브 보존 태그와 태그별 필터링 수명 주기 정책을 적절하게 구성해야 합니다.

IBM Cloud Object Storage 에 저장된 모든 데이터는 무작위로 생성된 키를 사용하여 자동으로 암호화되지만, 일부 워크로드에서는 키 관리 시스템( IBM® Key Protect for IBM Cloud® )을 통해 키를 회전, 삭제 또는 기타 방식으로 제어할 수 있어야 합니다. 저장된 데이터는 공급자 측의 자동 AES(고급 암호화 표준) 256비트 암호화와 SHA(보안 해시 알고리즘)-256 해시를 사용하여 암호화됩니다. 이동 중인 데이터는 내장된 통신사 등급 전송 계층 보안/보안 소켓 계층( TLS / SSL ) 또는 AES 암호화가 적용된 SNMPv3 을 사용하여 보호됩니다. 암호화를 더 잘 제어하려면 IBM® Key Protect for IBM Cloud® 에서 생성된 키 또는 '직접 가져온' 키를 관리할 수 있습니다. 자세한 내용은 다음을 사용하여 버킷 암호화 IBM® Key Protect for IBM Cloud® 및 키 보호 COS 통합 을 참조하세요.

데이터 버킷에 저장되는 데이터에는 우선순위 인사이트, 분석 및 경보 및 저장 및 검색 의 데이터 등 모든 TCO 데이터 파이프라인에 걸친 데이터가 포함된다는 점에 유의하세요. 데이터를 고객이 관리하는 암호화로만 보호해야 하는 경우, 분석 및 경보 또는 저장 및 검색 데이터 파이프라인을 통해서만 데이터를 처리하도록 TCO 정책을 구성해야 합니다. 자세한 내용은 TCO 최적화 도구 구성을 참조하세요.

IBM Cloud Object Storage 서비스는 IBM Cloud Logs 과 별도로 청구됩니다. IBM Cloud Object Storage 스토리지 비용은 IBM Cloud Object Storage 인스턴스에 대해 선택한 요금제에 따라 결정됩니다.

IBM Cloud Logs 는 보존 정책, 개체 잠금 정책으로 구성되었거나 공개 액세스가 활성화된 IBM Cloud Object Storage 버킷을 지원하지 않습니다. IBM Cloud Logs 은 로그 및 메트릭 버킷에 대한 삭제 권한이 필요하기 때문입니다.

IAM Service 를 IBM Cloud Logs 와 IBM Cloud Object Storage

IBM Cloud Logs 과 IBM Cloud Object Storage 사이에 서비스 대 서비스( S2S ) 권한을 정의하여 IBM Cloud Logs 가 버킷에 데이터를 읽고 쓸 수 있도록 허용해야 합니다.

자세한 정보는 다음을 참조하십시오.

데이터 버킷

IBM Cloud Logs 인스턴스에 대한 데이터 버킷을 구성할 수 있습니다. 자세한 정보는 데이터 버킷 구성 을 참조하십시오.

데이터 버킷은 필요할 때까지 로그를 저장하고 유지합니다.
규제 및 규정 준수 요구 사항이 있는 경우 버킷을 만들 수 있는 위치를 확인하세요. 그런 다음 성능이 중요한 경우 IBM Cloud Logs 인스턴스가 프로비저닝되는 동일한 리전에 버킷을 생성하는 것을 고려하세요.
직접 엔드포인트를 버킷 엔드포인트로 구성해야 합니다.

직접 엔드포인트는 VPC 내의 리소스에서 시작된 요청에 사용됩니다. 다이렉트 엔드포인트는 공용 엔드포인트보다 더 나은 성능을 제공하며 트래픽이 여러 지역 또는 데이터 센터를 가로지르는 경우에도 발신 또는 수신 대역폭에 대한 요금이 발생하지 않습니다. 자세한 내용은 엔드포인트 유형을 참조하세요.
사용자가 데이터 버킷의 유지보수를 담당합니다. IBM Cloud Logs 에서 IBM Cloud Object Storage 개체 태그를 사용하여 버킷의 로그 데이터를 자동으로 관리할 수 있습니다. 자세한 내용은 데이터 버킷에서 파일 삭제하기를 참조하세요.

데이터 버킷에 업로드된 파일

로그는 다음과 같은 구조의 Parquet 파일로 저장됩니다:

cx/parquet/v1/team_id=<TEAM>/dt=<DT>/hr=<HR>/UUID.parquet

메타데이터는 이러한 구조의 매니페스트 파일에 저장됩니다:

cx/parquet/v1/_manifest/team_id=<TEAM>/dt=<DT>/hr=<HR>/_manifest/UUID.manifest

예를 들어, 다음과 같습니다.

cx/parquet/v1/team_id=58/dt=2024-12-18/hr=14/_manifest/df7bda51-9a1a-4c67-9f4d-b17f93ec4fd1.manifest
cx/parquet/v1/team_id=58/dt=2024-12-18/hr=14/710bb5f8-0cfc-4706-8aec-27ec7d993af8.parquet

데이터 버킷에서 파일 삭제하기

IBM Cloud Object Storage 에서 버킷의 만료 규칙(수명 주기 정책)을 정의할 수 있습니다. 만기 규칙은 정의된 기간(오브젝트 작성 날짜부터 시작하여)이 지나면 오브젝트를 삭제합니다. 각 버킷의 만기 규칙은 24시간마다 한 번씩 평가됩니다. 만기가 되는 오브젝트(오브젝트의 만기 날짜 기준)는 삭제를 위해 큐에 대기합니다. 만료된 오브젝트 삭제는 다음 날 시작되며 대개 24시간 미만이 걸립니다.

개체 접두사, 개체 태그 또는 개체 크기와 같은 하나 이상의 필터를 사용하여 규칙의 범위를 제한할 수 있는 만료 규칙을 구성할 수 있습니다.
태그를 필터 옵션으로 사용하여 일치하는 태그가 포함된 개체에 만료 규칙을 적용할 수 있습니다. 태그 필터는 키 문자열과 값 문자열을 지정하는 컨테이너로 제공됩니다. 키 문자열은 128자 미만이어야 합니다.
접두사, 태그 또는 개체 크기를 구성하지 않으면 정책이 버킷의 모든 개체에 적용됩니다.

자세한 내용은 만료 규칙으로 오래된 데이터 삭제하기를 참조하세요.

IBM Cloud Object Storage 에서 만료 규칙(수명 주기 정책)을 구성하여 개체 생성 날짜 이후 일수에 따라 개체 파일의 삭제를 자동으로 관리할 수 있습니다. 그러나 데이터 버킷에서 검색을 위해 보관되는 데이터를 보다 세밀하게 제어하고 데이터에 다른 보존 기간을 사용하여 파일을 자동으로 삭제하려면 개체 태그 ICL_ARCHIVE_RETENTION 를 사용하여 범위를 제한하는 만료 규칙을 IBM Cloud Object Storage 에서 구성하고 IBM Cloud Logs 인스턴스에서 정의하는 태그 값을 사용해야 합니다.

아카이브 보존 태그를 사용하려면 다음 단계를 완료해야 합니다:

IBM Cloud Logs 에서 IBM Cloud Object Storage 개체 태그를 구성하여 데이터 버킷에서 로그 데이터를 검색할 수 있는 기간을 자동으로 관리합니다.
- IBM Cloud Logs 인스턴스에서 아카이브 보존 태그를 구성하고 활성화해야 합니다. 자세한 내용은 데이터 보존을 관리하기 위한 아카이브 보존 태그 구성을 참조하세요.
- 로그 데이터에 3개의 서로 다른 만료 기간을 정의하는 데 사용할 수 있는 사용자 지정 개체 태그를 최대 3개까지 정의할 수 있습니다.
- default 태그를 사용하여 사용자 지정 개체 태그를 통해 명시적으로 관리되지 않는 데이터에 적용할 수 있는 기본 만료 기간을 정의할 수 있습니다.
아카이브 보존 태그를 활성화하면 데이터 버킷의 모든 파일에 사용자 지정 태그( ICL_ARCHIVE_RETENTION)가 지정됩니다. 태그 값은 사용자 지정 태그 값 또는 default 으로 설정됩니다. 이 조치는 실행 취소할 수 없습니다. 보존 태그는 한번 활성화하면 비활성화할 수 없습니다.
IBM Cloud Object Storage 데이터 버킷 수명 주기 정책 섹션에서 기본값을 포함하여 각 태그에 대한 만료 규칙을 구성합니다.

키를 사용 ICL_ARCHIVE_RETENTION.

값 문자열은 256자 미만이어야 합니다. 예를 들어 high, medium, low 와 같은 값을 사용할 수 있습니다.

IBM Cloud Logs 에서 구성한 태그 이름이 버킷의 만료 정책에서 설정한 태그 값과 일치하는지 확인하세요. 태그 값은 대소문자를 구분합니다.
IBM Cloud Logs 에서 1개 이상의 TCO 정책을 구성하고 정책에서 선택한 데이터에 사용할 개체 태그를 정의합니다. 태그가 구성되지 않은 경우 default 태그가 사용됩니다.

로그 데이터 버킷으로 전송된 데이터는 개체 파일로 업로드됩니다. 각 파일에는 1개의 개체 태그 ICL_ARCHIVE_RETENTION 와 값이 있습니다. 자세한 내용은 보존 태그를 참조하세요.

아카이브 보존 태그는 IBM Cloud Logs 인스턴스에서 정의되고 활성화된 후 데이터 버킷에 업로드되는 개체 파일에 첨부됩니다.

데이터 버킷 제한

스토리지 클래스

' IBM Cloud Logs '가 데이터 버킷으로 사용하는 IBM Cloud Object Storage ' 버킷은 다음의 ' 스토리지 클래스'로만 구성할 수 있습니다:

스마트 티어
Standard

다음 스토리지 클래스는 IBM Cloud Logs 데이터 버킷으로 지원되지 않습니다:

Vault
Cold Vault

아카이브 규칙

{{{site.data.keyword.cos_full_notm}} 사용하면 정의된 기간이 지나면 자동으로 개체를 보관하는 버킷에 대한 보관 규칙을 정의할 수 있습니다. 보관된 개체는 일반 개체보다 비용이 저렴하지만 다시 읽으려면 복원해야 합니다.

IBM Cloud Logs 아카이브된 개체를 읽을 수 없습니다. IBM Cloud Logs ' 모든 로그 ' 보기에서 아카이브된 개체를 검색하거나 ' 쿼리 아카이브'에서 쿼리하면 오류 메시지가 반환됩니다.

' IBM Cloud Logs ' 데이터 버킷으로 사용되는 IBM Cloud Object Storage 버킷은 개체를 즉시 아카이브하거나 몇 시간 내에 개체를 아카이브하는 아카이브 규칙을 정의해서는 안 됩니다.

특정 기간(예: 한 달)보다 오래된 로그를 검색할 필요가 없는 경우 IBM Cloud Object Storage 보관 규칙을 정의하여 검색에 필요한 기간보다 오래된 개체를 보관할 수 있습니다. 7일 미만의 기간 동안 아카이빙을 구성하지 마세요.

검색할 필요가 없는 데이터를 보관하면 적은 비용으로 로그 데이터를 보관할 수 있습니다. 필요한 경우 나중에 IBM Cloud Logs 사용하여 데이터를 검색해야 하는 경우 보관된 개체를 복원할 수 있습니다.

성공적인 읽기 활동 추적 이벤트

IBM Cloud Activity Tracker Event Routing cloud-object-storage.object.read IBM Cloud Logs 가 시작한 성공적인 이벤트가 필요하지 않으므로 삭제합니다. IBM Cloud Logs 활동과 관련된 활동 추적 이벤트를 검토할 때, 성공적인 cloud-object-storage.object.read 이벤트는 표시되지 않습니다.

메트릭 버킷

IBM Cloud Logs 인스턴스에 대한 메트릭 버킷을 구성할 수 있습니다. 자세한 정보는 메트릭 버킷 구성 을 참조하십시오.

메트릭 버킷은 이벤트의 메트릭을 필요한 기간 동안 장기 색인에 저장하고 유지합니다.

메트릭을 사용으로 설정하면 로그에서 메트릭을 생성할 수 있습니다. 이러한 메트릭은 Prometheus 인덱스 블록으로 메트릭 버킷에 저장됩니다.
규제 및 규정 준수 요구 사항이 있는 경우 버킷을 만들 수 있는 위치를 확인하세요. 그런 다음 성능이 중요한 경우 IBM Cloud Logs 인스턴스가 프로비저닝되는 동일한 리전에 버킷을 생성하는 것을 고려하세요.
직접 엔드포인트를 버킷 엔드포인트로 구성해야 합니다.

직접 엔드포인트는 VPC 내의 리소스에서 시작된 버킷에 대한 요청에 사용됩니다. 다이렉트 엔드포인트는 공용 엔드포인트보다 더 나은 성능을 제공하며 트래픽이 여러 지역 또는 데이터 센터를 가로지르는 경우에도 발신 또는 수신 대역폭에 대한 요금이 발생하지 않습니다. 자세한 내용은 엔드포인트 유형을 참조하세요.
메트릭 버킷의 유지보수에 대한 책임은 사용자에게 있습니다. IBM Cloud Object Storage 에서 만료 규칙을 정의하여 메트릭 버킷의 데이터를 유지 관리할 수 있습니다. 자세한 내용은 만료 규칙으로 오래된 데이터 삭제하기를 참조하세요.