스키마 탐색기

스키마 탐색기를 사용하면 충돌을 일으키는 데이터 유형이 다른 중복 필드와 같이 로그가 수집될 때 로그 구조에서 감지된 차이점을 자동으로 감지하고, 강조 표시하고, 보고할 수 있습니다.

로그는 종종 다른 소스에서 가져오고 명명 규칙이 다를 수 있으며, 이로 인해 불일치가 발생하여 분석이 어려워질 수 있습니다. IBM® Cloud Logs 에서 Schema Explorer 을 사용하여 로그의 구조, 명명 규칙 및 데이터 유형에 대한 정보를 중앙 집중화할 수 있습니다.

수집 시에는 구조나 명명 규칙에 관계없이 모든 필드가 추출됩니다. 수집 후 스키마 관리자는 중복되거나 유사한 키를 식별합니다. 그런 다음 각 필드의 사용 방식, 표시 빈도, 고유 값 및 매핑 예외를 살펴볼 수 있습니다.

스키마 탐색기를 사용하여 로그 구조에서 식별된 차이점을 자동으로 감지하고, 강조 표시하고, 보고할 수 있습니다.

  • 중복 필드 방지.
  • 일관되지 않은 키로 인한 쿼리 오류를 줄입니다.
  • 중복되거나 충돌하는 필드를 발견하고 해결하세요.
  • 필드가 잘못 정렬된 경우 개발자에게 피드백을 제공하세요.

사용 사례 시나리오

스키마 탐색기를 사용할 때 다음과 같은 사용 사례 시나리오를 고려하세요:

  • 수집된 새 필드를 정기적으로 확인하여 일관성 없는 이름을 조기에 파악하세요.

  • 개발 팀과 함께 필드 이름을 표준화하여 쿼리를 개선하고 서비스 및 애플리케이션 전반에서 일관성을 유지하세요.

  • 개발 팀과 함께 필드 이름 유형을 표준화하여 매핑 예외를 줄이세요.

  • 중요 분석을 위해 Reserve fields 으로 정의해야 하는 필드를 식별합니다.

필드별 정보

스키마 탐색기를 사용하여 로그 전체에서 수집되는 필드의 전체 보기를 볼 수 있으며, 각 필드에 대해 확인할 수 있습니다:

  • Path: 필드 이름 및 위치
  • Mapping Status: 선택한 시간 범위에 대한 인덱싱 상태입니다:
  • Mapped: 색인
  • Unmapped: 인덱싱되지 않음
  • Partially mapped- 시간 범위의 일부에 대해 인덱싱
  • Type- 데이터 유형(문자열, 숫자, 개체 등).
  • Popularity over time- 필드가 표시되는 빈도.
  • Cardinality- 고유 값의 수와 시간이 지남에 따라 변화하는 방식입니다.
  • First seen/Last seen- 필드가 수집된 시기입니다.

이를 통해 중복되거나 일관성이 없거나 예기치 않게 누락되었을 수 있는 필드를 식별할 수 있습니다.

예제 시나리오

{: #schema-explorer-example-scenario } 사용자 데이터를 전송하는 세 가지 서비스가 있습니다:

  • Service A uses surname
  • Service B uses familyname
  • Service C uses family-name 스키마 관리가 없으면 필드가 일치하지 않아 쿼리에서 데이터가 누락될 수 있습니다. 스키마 관리를 사용하면 이러한 변형을 감지하고 구문 분석 규칙을 사용하여 last_name과 같은 통합 키에 매핑할 수 있습니다.

스키마 탐색기 시작

다음 단계를 완료하십시오.

  1. IBM Cloud Logs 인스턴스로 이동합니다: 통합 가시성 > 로깅 > 클라우드 로그 > 서비스 인스턴스 > 대시보드 열기로 이동합니다.

  2. 대시보드에서 데이터 파이프라인 > 스키마 관리자를 클릭합니다.

    스키마 탐색기가 열립니다.

다음으로, 할 수 있습니다:

  • 검색창을 사용하여 특정 필드를 찾습니다.
  • 각 필드의 인기도, 유형, 매핑 상태, 카디널리티를 검토하여 중복 또는 불일치를 식별합니다
  • 매핑 예외를 확인하여 유사한 필드를 단일 스키마로 정렬합니다.