데이터 빌드 도구(dbt) 통합

IBM® watsonx.data '은 ' watsonx.data '의 데이터를 비즈니스 사용자가 더 간단하고 접근하기 쉬운 형태로 변환하는 데 도움이 되는 데이터 분석 도구인 데이터 빌드 도구(dbt)와 통합됩니다. 이를 통해 분석가와 과학자는 다양한 모델을 사용하여 데이터 파이프라인을 구축하고 의사 결정을 위한 데이터를 선별할 수 있습니다. db 도구를 사용하여 SQL 쿼리를 실행하고 watsonx.data에서 제공되는 데이터를 분석할 수 있습니다.

dbt를 사용하면 분석가와 과학자에게 다음과 같은 데이터 관련 작업을 수행할 수 있습니다:

  • 데이터 변환을 위한 복잡한 작업 흐름을 관리하고 버전 관리, 모듈식 코드, 지속적 통합과 같은 기능을 지원하세요.

  • 원시 데이터를 구조화된 형식으로 변환하여 보고 및 분석을 위한 데이터를 준비하여 인사이트를 더 쉽게 만들 수 있습니다.

  • 데이터 변환의 여러 단계를 나타내는 계층화된 재사용 가능한 모델을 만듭니다.

  • 프로세스의 문제를 파악하여 변환의 안정성을 보장합니다.

  • 모델에 대한 명확하고 이해하기 쉬운 문서를 생성하고 데이터 계보를 시각화하여 데이터가 파이프라인을 통해 어떻게 이동하는지 추적할 수 있습니다.

  • 모델 간의 종속성을 처리하고 변환이 올바른 순서로 실행되고 더 큰 데이터 워크플로우와 통합될 수 있도록 보장합니다.

Dbt에 대한 자세한 내용은 다음을 참조하세요:

dbt는 스파크 및 Presto 엔진의 경우 watsonx.data 지원되며, 다음 데이터 빌드 도구(dbt) 어댑터를 사용하여 dbt 코어를 스파크 및 Presto 엔진과 연결할 수 있습니다. 어댑터를 사용하면 데이터 모델을 구축, 테스트 및 문서화할 수 있습니다.

  • dbt-watsonx-프레스토에 연결하려면 Presto에 연결하세요
  • dbt-watsonx-spark를 Apache Spark에 연결합니다

기본 dbt 명령

  • dbt 프로젝트 초기화: 새 dbt 프로젝트를 설정합니다.

    dbt init my_project
    
  • dbt 연결 디버그: dbt 프로필과 연결을 테스트합니다.

    dbt debug
    
  • 시드 데이터: 데이터베이스/데이터소스에 시드 데이터를 로드합니다.

    dbt seed
    
  • dbt 모델 실행: 모델을 빌드하고 실행합니다.

    dbt run
    
  • DBT 모델 테스트: 모델에 대한 테스트를 실행합니다.

    dbt test
    
  • 문서 생성: dbt 프로젝트에 대한 문서를 생성하고 제공합니다.

    dbt docs generate
    dbt docs serve
    

dbt 명령에 대한 자세한 내용은 dbt 명령 참조 를 참조하세요.