IBM Manta Data Lineage 통합

Manta를 watsonx.data 통합하면 Manta UI를 통해 Spark 및 Presto 작업, 실행, 데이터 세트 이벤트를 캡처하고 게시하여 데이터 흐름과 변환에 대한 완전한 가시성을 제공할 수 있습니다.

시작하기 전에

  • 데이터 소스 정의와 OpenLineage 연결을 만듭니다.
  • 프로젝트에서 OpenLineage 메타데이터 임포트를 생성하고 실행합니다.

자세한 내용은 IBM Manta Data Lineage 데이터 준비하기를 참조하세요.

프로시저

  1. watsonx.data 콘솔에 로그인합니다.

  2. 탐색 메뉴에서 구성 > IBM Manta Data Lineage 이동합니다.

  3. 다음 세부사항을 입력하십시오.

    IBM Manta Data Lineage 통합
    필드 설명
    리니지 수집 엔드포인트 데이터 계보 서비스가 활성화된 IBM Cloud 호스트 엔드포인트 URL 입력합니다.
    API 키 API 키를 입력합니다. API 키 생성에 대한 자세한 내용은 API 키 생성을 참조하세요

  4. 저장을 클릭하여 세부 정보를 저장합니다. 편집을 클릭하여 저장된 세부 정보를 편집할 수 있습니다.

  5. 활성화를 클릭하여 Manta Data Lineage 활성화합니다.

데이터 계보는 활성화한 후 시작하는 새 작업에 적용됩니다. 이전 작업과 진행 중인 작업은 데이터 계보를 표시하지 않습니다. 현재 Manta Data Lineage 보에서 CREATE TABLE AS(CTAS) 및 INSERT INTO SELECT 작업의 계보 보기를 지원합니다.

다음에 수행할 작업

  • 에셋의 데이터 계보를 볼 수 있습니다. 자세한 내용은 데이터 계보 보기를 참조하세요.
  • 계보 그래프를 관리하고 조정하여 데이터 파이프라인에 대한 포괄적인 가시성과 제어를 확보할 수 있습니다. 자세한 내용은 데이터 계보 그래프 관리하기를 참조하세요.