비용 관리

IBM® Cloud Logs 을 사용하기 시작하면 비용 관리를 위해 IBM Cloud Logs 에서 데이터 처리 방식을 조정해야 할 수 있습니다.

IBM Cloud Logs 을 구성하거나 IBM Cloud Logs 에서 수집하는 데이터를 조정하여 사용 비용을 관리할 수 있습니다.

최적의 서비스 요금제 선택

사용 가능한 서비스 요금제 및 가격을 검토하세요. 데이터를 저장하려는 데이터 파이프라인의 비용은 총 비용에 영향을 미칩니다.

또한 빠른 검색을 위해 데이터를 얼마나 오래 보관해야 하는지 우선순위 인사이트 에서 확인하세요. IBM Cloud Logs 인스턴스를 구성하여 더 짧은 기간 동안 우선순위 인사이트 에 데이터를 저장할 수 있습니다.

데이터는 수집된 기가바이트당 서비스에서 측정합니다. 데이터 사용량 메트릭을 구성하여 데이터 사용량을 모니터링할 수 있습니다. 데이터 사용량 메트릭을 사용하려면 메트릭 버킷이 구성되어 있어야 합니다.

기본적으로 IBM Cloud Logs 인스턴스가 생성되면 모든 데이터는 우선순위 인사이트 데이터 파이프라인으로 이동합니다. 이 파이프라인은 가장 빠른 검색을 제공하지만, 가장 비용이 많이 드는 파이프라인이기도 합니다.

비용을 관리하려면 데이터가 전송되는 파이프라인을 최적화해야 합니다.

비즈니스에 대한 데이터의 중요도에 따라 데이터 파이프라인을 정의함으로써 TCO 최적화 도구는 실시간 분석 및 알림을 개선하고 비용을 관리할 수 있도록 도와줍니다.

TCO 옵티마이저 구성에 대한 자세한 내용은 TCO 옵티마이저 구성을 참조하세요.

로그가 파이프라인에 연결되는 방식은 정책에 따라 결정됩니다. 로그가 수집될 때 애플리케이션, 하위 시스템, 로그 심각도의 조합에 정책이 적용됩니다. 로그는 정책 콘텐츠에 따라 적절한 TCO 파이프라인에 할당됩니다.

정책을 만들기 전에 IBM Cloud Object Storage 데이터 버킷이 구성되어 있어야 합니다.

IBM Cloud Logs 을 사용할 때 비용을 관리하는 방법을 이해하려면 서비스에서 데이터를 수집하는 방법을 이해해야 합니다.

IBM Cloud Logs 는 여러 소스로부터 데이터를 수집하고 해당 데이터는 특정 순서로 처리됩니다:

로그는 소스에서 전송합니다.
- 운영 로그는 에이전트 또는 API REST 호출을 사용하여 전송됩니다.
- 플랫폼 로그 및 활동 추적 이벤트는 IBM Cloud 에서 전송됩니다.
IBM Cloud Logs 는 데이터를 수집(수신)합니다.
IBM Cloud Logs 구문 분석 규칙이 수집된 데이터에 적용됩니다.
TCO 정책이 적용되고 정책에 따라 데이터가 적절한 데이터 파이프라인에 할당되거나 삭제됩니다.

구문 분석 규칙과 TCO 정책이 적용되면 로그는 과금 목적으로 수집된 것으로 간주됩니다. 데이터 파이프라인으로 전송되기 전에 차단된 로그에는 요금이 부과되지 않으며 이러한 로그는 보관되지 않습니다.

IBM Cloud Logs 에서 데이터가 보관되는 데이터 파이프라인을 제어할 수 있을 뿐만 아니라 IBM Cloud Logs 에서 수집되는 데이터도 제어할 수 있습니다.

블록 구문 분석 규칙을 사용하여 RegEx 표현식을 기준으로 들어오는 로그를 필터링할 수 있습니다. 블록 구문 분석 규칙 구성에 대한 자세한 내용은 로그 데이터 차단하기를 참조하세요.

전체 로그 라인을 차단하는 데만 국한되지 않습니다. 필요하지 않은 로그 줄의 필드는 구문 분석 규칙을 사용하여 제거할 수 있습니다. 필드 제거에 대한 자세한 내용은 필드 제거 규칙을 사용하여 로그에서 필드 제거하기를 참조하세요.

로깅 에이전트 을 사용하여 운영 로그를 IBM Cloud Logs 으로 보내는 경우 일관성을 위해 로그 데이터를 파싱하고 재구성하여 IBM Cloud Logs 에서 필요하지 않을 수 있는 데이터를 제거할 수 있습니다.

Fluent Bit grep 필터를 exclude 옵션과 함께 사용할 수 있습니다.
유창한 비트 수정 필터를 사용하여 필요하지 않은 필드를 삭제할 수 있습니다.
로깅 에이전트 를 설치할 때 헬름 차트 또는 헬름 차트와 함께 설치할 때 excludeLogSourcePaths 옵션을 사용하거나, 헬름 차트와 함께 설치할 때는 Exclude_Path 옵션을 사용하거나 tail 플러그인( Linux 및 Windows 설치)에서 특정 위치에서 로그를 보내지 않도록 설정하세요.
Lua 스크립트를 사용하여 수집하기 전에 IBM Cloud Logs 로 전송되는 데이터를 필터링하고 수정할 수 있습니다.

로그 데이터를 수정할 때는 IBM Cloud Logs 으로 전송된 데이터가 올바른 형식인지 확인하여 IBM Cloud Logs 에서 데이터를 올바르게 처리할 수 있도록 해야 합니다.

로그는 JSON 형식으로 전송하거나 로깅 에이전트 에 필터를 사용하여 콘텐츠를 JSON 형식으로 변환해야 합니다.
TCO 정책은 로그 데이터 내의 심각도 정보를 사용하여 로그를 적절한 데이터 파이프라인에 할당하므로, 일관된 할당을 위해서는 로그 데이터에 로깅 에이전트 또는 IBM Cloud Logs 가 심각도를 암시하는 것보다 적절한 level, loglevel 또는 severity 값이 포함되어 있는지 확인하는 것이 가장 좋습니다.
Kubernetes 소스가 아닌 출처에서 발생한 로그의 경우 로그 줄에 application 및 subsystemName 필드가 포함되어야 합니다. 이러한 필드는 TCO 처리에도 사용됩니다.
로그에는 UTC 형식의 타임스탬프도 포함되어야 합니다. 또는 로그를 보내기 전에 타임스탬프를 오프셋하도록 로깅 에이전트 을 구성할 수 있습니다. 플루언트 비트 문서에서 Time_Offset 및 Time_System_Timezone 의 정보를 참조하세요.
검색에 자주 사용되는 필드(예: http_error_code)는 로그 행에 포함하지 말고 별도의 키로 추출해야 합니다.