Integração da Data Build Tool (dbt)

IBM® watsonx.data integra-se à Data Build Tool (dbt), que é uma ferramenta de análise de dados que ajuda a transformar os dados do watsonx.data em um formato mais simples e acessível para os usuários corporativos. Ele permite que analistas e cientistas criem pipelines de dados usando diferentes modelos e tenham dados selecionados para a tomada de decisões. Você pode executar consultas SQL usando a ferramenta db e analisar os dados disponíveis em watsonx.data.

o dbt permite que analistas e cientistas realizem algumas das seguintes tarefas relacionadas a dados:

Gerencie fluxos de trabalho complexos para a transformação de dados e ofereça suporte a recursos como controle de versão, código modular e integração contínua.
Prepare dados para relatórios e análises, transformando dados brutos em um formato estruturado, facilitando a criação de insights.
Crie modelos em camadas e reutilizáveis que representem diferentes estágios da transformação de dados.
Garantir a confiabilidade das transformações identificando problemas no processo.
Gerar documentação clara e fácil de entender para os modelos e fornecer visualização da linhagem de dados para rastrear como os dados passam pelo pipeline.
Lide com as dependências entre os modelos e garanta que as transformações sejam executadas na sequência correta e possam se integrar a um fluxo de trabalho de dados maior.

Para obter mais informações sobre o dbt, consulte:

o dbt é compatível com watsonx.data para os mecanismos Spark e Presto. O dbt usa os seguintes adaptadores da ferramenta de criação de dados (dbt) para conectar o núcleo do dbt aos mecanismos Spark e Presto. Os adaptadores ajudam a criar, testar e documentar modelos de dados.

dbt-watsonx-presto para se conectar ao Presto
dbt-watsonx-spark para se conectar ao Apache Spark

Comandos básicos do dbt

Inicializar um projeto dbt: Configurar um novo projeto dbt.
```
dbt init my_project
```
Debug dbt connection: Teste o perfil e a conexão do dbt.
```
dbt debug
```
Dados iniciais: Carregue os dados de semente em seu banco de dados/fonte de dados.
```
dbt seed
```
Run dbt models: Crie e execute seus modelos.
```
dbt run
```
Testar modelos dbt: Execute testes em seus modelos.
```
dbt test
```
Gerar documentação: Crie e forneça documentação para seu projeto dbt.
```
dbt docs generate
dbt docs serve
```

Para obter mais informações sobre os comandos dbt, consulte referência de comandos dbt.