데이터 빌드 도구(dbt) 통합
IBM® watsonx.data '은 ' watsonx.data '의 데이터를 비즈니스 사용자가 더 간단하고 접근하기 쉬운 형태로 변환하는 데 도움이 되는 데이터 분석 도구인 데이터 빌드 도구(dbt)와 통합됩니다. 이를 통해 분석가와 과학자는 다양한 모델을 사용하여 데이터 파이프라인을 구축하고 의사 결정을 위한 데이터를 선별할 수 있습니다. db 도구를 사용하여 SQL 쿼리를 실행하고 watsonx.data에서 제공되는 데이터를 분석할 수 있습니다.
dbt를 사용하면 분석가와 과학자에게 다음과 같은 데이터 관련 작업을 수행할 수 있습니다:
-
데이터 변환을 위한 복잡한 작업 흐름을 관리하고 버전 관리, 모듈식 코드, 지속적 통합과 같은 기능을 지원하세요.
-
원시 데이터를 구조화된 형식으로 변환하여 보고 및 분석을 위한 데이터를 준비하여 인사이트를 더 쉽게 만들 수 있습니다.
-
데이터 변환의 여러 단계를 나타내는 계층화된 재사용 가능한 모델을 만듭니다.
-
프로세스의 문제를 파악하여 변환의 안정성을 보장합니다.
-
모델에 대한 명확하고 이해하기 쉬운 문서를 생성하고 데이터 계보를 시각화하여 데이터가 파이프라인을 통해 어떻게 이동하는지 추적할 수 있습니다.
-
모델 간의 종속성을 처리하고 변환이 올바른 순서로 실행되고 더 큰 데이터 워크플로우와 통합될 수 있도록 보장합니다.
Dbt에 대한 자세한 내용은 다음을 참조하세요:
dbt는 스파크 및 Presto 엔진의 경우 watsonx.data 지원되며, 다음 데이터 빌드 도구(dbt) 어댑터를 사용하여 dbt 코어를 스파크 및 Presto 엔진과 연결할 수 있습니다. 어댑터를 사용하면 데이터 모델을 구축, 테스트 및 문서화할 수 있습니다.
- dbt-watsonx-프레스토에 연결하려면 Presto에 연결하세요
- dbt-watsonx-spark를 Apache Spark에 연결합니다
기본 dbt 명령
-
dbt 프로젝트 초기화: 새 dbt 프로젝트를 설정합니다.
dbt init my_project -
dbt 연결 디버그: dbt 프로필과 연결을 테스트합니다.
dbt debug -
시드 데이터: 데이터베이스/데이터소스에 시드 데이터를 로드합니다.
dbt seed -
dbt 모델 실행: 모델을 빌드하고 실행합니다.
dbt run -
DBT 모델 테스트: 모델에 대한 테스트를 실행합니다.
dbt test -
문서 생성: dbt 프로젝트에 대한 문서를 생성하고 제공합니다.
dbt docs generate dbt docs serve
dbt 명령에 대한 자세한 내용은 dbt 명령 참조 를 참조하세요.