Integration des Datenerstellungswerkzeugs (dbt)

IBM® watsonx.data ist mit dem Data Build Tool (dbt) integriert, einem Datenanalysewerkzeug, das dabei hilft, die Daten in watsonx.data in eine einfachere und für Geschäftsanwender zugängliche Form zu bringen. Es ermöglicht Analysten und Wissenschaftlern den Aufbau von Datenpipelines unter Verwendung verschiedener Modelle und bietet kuratierte Daten für die Entscheidungsfindung. Sie können mit dem db-Tool SQL-Abfragen durchführen und die in watsonx.data verfügbaren Daten analysieren.

dbt unterstützt Analysten und Wissenschaftler bei einigen der folgenden datenbezogenen Aufgaben:

  • Verwalten Sie komplexe Arbeitsabläufe für die Datenumwandlung und unterstützen Sie Funktionen wie Versionskontrolle, modularen Code und kontinuierliche Integration.

  • Bereiten Sie Daten für die Berichterstellung und Analyse vor, indem Sie Rohdaten in ein strukturiertes Format umwandeln und so die Erstellung von Erkenntnissen erleichtern.

  • Erstellen Sie mehrschichtige, wiederverwendbare Modelle, die verschiedene Stufen der Datenumwandlung darstellen.

  • Gewährleistung der Zuverlässigkeit der Umwandlungen durch Ermittlung von Problemen im Prozess.

  • Erstellen Sie eine klare und leicht verständliche Dokumentation für die Modelle und stellen Sie eine Visualisierung des Datenverlaufs bereit, um zu verfolgen, wie die Daten die Pipeline durchlaufen.

  • Verarbeiten Sie Abhängigkeiten zwischen Modellen und stellen Sie sicher, dass die Transformationen in der richtigen Reihenfolge ablaufen und in größere Datenworkflows integriert werden können.

Weitere Informationen über dbt finden Sie unter:

dbt wird in watsonx.data für Spark- und Presto unterstützt. dbt verwendet die folgenden Data Build Tool (dbt)-Adapter, um dbt core mit Spark- und Presto zu verbinden. Die Adapter helfen bei der Erstellung, Prüfung und Dokumentation von Datenmodellen.

  • dbt-watsonx-presto zur Verbindung mit Presto
  • dbt-watsonx-spark zur Verbindung mit Apache Spark

Grundlegende dbt-Befehle

  • Initialisieren Sie ein dbt-Projekt: Richten Sie ein neues dbt-Projekt ein.

    dbt init my_project

  • Debug dbt connection: Testen Sie Ihr dbt-Profil und Ihre Verbindung.

    dbt debug

  • Saatgutdaten: Laden Sie die Startdaten in Ihre Datenbank/Datenquelle.

    dbt seed

  • Ausführen von dbt-Modellen: Erstellen und Ausführen Ihrer Modelle.

    dbt run

  • Testen Sie dbt-Modelle: Führen Sie Tests mit Ihren Modellen durch.

    dbt test

  • Erstellung von Dokumentation: Erstellen und Bereitstellen der Dokumentation für Ihr dbt-Projekt.

    dbt docs generate
dbt docs serve

Weitere Informationen über dbt-Befehle finden Sie unter dbt-Befehlsreferenz.