Intégration du Data Build Tool (dbt)

IBM® watsonx.data intègre Data Build Tool (dbt), un outil d'analyse de données qui aide à transformer les données de watsonx.data en une forme plus simple et accessible pour les utilisateurs professionnels. Il permet aux analystes et aux scientifiques de construire des pipelines de données en utilisant différents modèles et de disposer de données curatives pour la prise de décision. Vous pouvez exécuter des requêtes SQL en utilisant l'outil db et analyser les données disponibles dans watsonx.data.

dbt permet aux analystes et aux scientifiques d'effectuer certaines des tâches suivantes liées aux données :

Gérer des flux de travail complexes pour la transformation des données et prendre en charge des fonctionnalités telles que le contrôle de version, le code modulaire et l'intégration continue.
Préparer les données pour le reporting et l'analyse en transformant les données brutes dans un format structuré, ce qui facilite la création d'informations.
Créer des modèles superposés et réutilisables qui représentent les différentes étapes de la transformation des données.
Assurer la fiabilité des transformations en identifiant les problèmes dans le processus.
Générer une documentation claire et facile à comprendre pour les modèles et fournir une visualisation de l'historique des données afin de suivre leur cheminement dans le pipeline.
Gérer les dépendances entre les modèles et s'assurer que les transformations s'exécutent dans la bonne séquence et peuvent s'intégrer dans un flux de données plus large.

Pour plus d'informations sur dbt, voir :

dbt est supporté dans watsonx.data pour les moteurs Spark et Presto. dbt utilise les adaptateurs d'outils de construction de données (dbt) suivants pour connecter le noyau dbt avec les moteurs Spark et Presto. Les adaptateurs permettent de construire, de tester et de documenter les modèles de données.

dbt-watsonx-presto pour se connecter à Presto
dbt-watsonx-spark pour se connecter à Apache Spark

Commandes de base de dbt

Initialiser un projet dbt: créer un nouveau projet dbt.
```
dbt init my_project
```
Debug dbt connection: Testez votre profil dbt et votre connexion.
```
dbt debug
```
Données de base: Chargez les données de départ dans votre base de données/source de données.
```
dbt seed
```
Exécuter les modèles dbt: Construisez et exécutez vos modèles.
```
dbt run
```
Tester les modèles dbt: Exécutez des tests sur vos modèles.
```
dbt test
```
Générer de la documentation: Créez et diffusez de la documentation pour votre projet dbt.
```
dbt docs generate
dbt docs serve
```

Pour plus d'informations sur les commandes dbt, voir référence des commandes dbt.