IBM Cloud Logs 로그 구문 분석 규칙
파싱 규칙을 사용하여 로그 데이터를 처리, 파싱, 재구성하여 모니터링과 분석을 준비할 수 있습니다. 예를 들어, 선택된 정보를 추출하거나, 구조화되지 않은 로그를 구조화하거나, 불필요한 로그 부분을 삭제할 수 있습니다. 준수 이유로 필드를 마스크하고 잘못 형식화된 로그를 수정할 수 있습니다. 로그 내용 등을 기준으로 로그 데이터가 수집되는 것을 차단할 수 있습니다.
IBM® Cloud Logs에서는 OpenSearch에서 데이터가 인덱싱되기 전에 구문 분석 규칙을 사용하여 데이터의 구조를 제어할 수 있습니다.
규칙 그룹
구문 분석 규칙은 규칙 그룹내에서 구성됩니다. 각 그룹에는 이름과 이름 사이에 논리적 관계가 있는 규칙 세트가 있습니다. 로그는 규칙 그룹의 순서에 따라 처리됩니다 (처음부터 끝까지). 그런 다음 규칙 그룹 내에서 규칙의 순서에 따라 처리되고 이들 사이의 논리 연산자 (AND/OR) 에 따라 처리됩니다. 규칙은 로그 데이터를 처리, 구문 분석 및 재구성하여 모니터링 및 분석을 준비하는 데
도움이 됩니다. 자세한 정보는 규칙 그룹에 대한 작업 을 참조하십시오.
규칙 유형
다음 구문 분석 규칙을 구성할 수 있습니다.
-
구문 분석
: 구조화되지 않은 텍스트를 JSON 형식으로 변환합니다.
-
추출
: 전체 로그를 구문 분석하지 않고 JSON키로 값을 추출합니다.
-
JSON 추출
: JSON키의 값을 메타데이터 필드로 추출합니다.
-
: 필드의 값을 고정 문자열 값으로 대체하여 로그 구조를 수정하거나 로그 심각도를 변경하거나 정보를 난독화하십시오.
-
블록
: regex 표현식을 사용하여 수신 로그를 삭제합니다.
-
시간소인 추출
: 로그 시간소인을 로그에 포함된 시간소인으로 대체합니다.
-
필드 제거
: 로그에서 JSON 필드를 제거하여 인덱싱된 필드의 수를 줄이십시오.
-
문자열화 JSON 필드
: JSON 필드를 문자열화 JSON 필드로 변환하여 인덱싱된 필드의 수를 줄입니다.
-
JSON 필드 구문 분석
: 이스케이프되거나 문자열로 변환된 필드를 JSON 형식으로 변환합니다.
원래 로그를 변경하는 규칙
이 규칙은 원래 로그 라인을 수정합니다.
- 구문 분석
- 시간소인 추출
- 대체
- JSON 필드 구문 분석
원래 로그에 더 많은 필드를 추가하는 규칙
이러한 규칙은 원래 로그 데이터가 유지되는 동안 로그 행에 필드를 추가합니다.
- JSON 추출
- 추출
데이터를 삭제하는 규칙
이 규칙은 로그 행에서 데이터를 제거합니다.
- 블록
- 제거
- Stringify JSON 필드 (원래 로그를 유지할 수도 있고 유지하지 않을 수도 있음)
규칙 실행 순서
로그가 수집되면 첫 번째 구성된 규칙부터 시작하여 규칙 그룹이 순서대로 적용됩니다.
먼저 블록 규칙을 지정하고 가능한 경우 규칙 매처를 사용하여 로그의 불필요한 처리를 방지하고 데이터 처리 속도를 빠르게 하십시오.
규칙 그룹 내에서 다음을 수행하십시오.
-
규칙 그룹 matcher 조회가 먼저 적용됩니다.
구성된 애플리케이션, 서브시스템 및 심각도와 일치하는 로그만 구문 분석 규칙을 계속 적용합니다.
-
규칙은 규칙 뒤에
OR논리 연산자가 올 때까지 첫 번째 규칙부터 순서대로 적용됩니다.한 규칙의 출력이 다음 규칙의 입력이 되도록 규칙이 즉시 적용됩니다.
그룹의
OR및AND연산자는 연산의 수학적 순서를 따르지 않습니다.
규칙 그룹 및 규칙의 실행 순서는 중요하며 최종 로그의 구조를 정의합니다.