Installation und Verwendung von dbt-watsonx-presto
Dieser Abschnitt beschreibt die Schritte zur Installation und Verwendung von dbt-watsonx-presto.
Vorgehensweise
-
Führen Sie den folgenden Befehl auf Ihrem System aus, um
dbt-watsonx-prestozu installieren.pip install dbt-watsonx-presto -
Führen Sie den folgenden Befehl aus, um die dbt-Version zu überprüfen.
dbt –version -
Führen Sie den folgenden Befehl aus, um ein dbt-Projekt zu erstellen.
dbt init <project_name>- Wählen Sie eine Presto-Nummer und geben Sie sie ein. Beispiel: für
[1] watsonx_prestogeben Sie1ein. - Wenn Sie bereits ein Projekt mit demselben Namen haben, müssen Sie bestätigen, ob Sie
profiles.ymlüberschreiben wollen. Geben Sie Y zur Bestätigung oder N zum Verwerfen ein.
- Wählen Sie eine Presto-Nummer und geben Sie sie ein. Beispiel: für
-
Richten Sie die
profiles.yml-Datei ein. Weitere Informationen finden Sie unter Konfiguration(Einrichten Ihres Profils). -
Um die Verbindung zu testen, führen Sie aus:
cd <project_name> dbt debug -
Erstellen Sie eine CSV-Datei im Seeds-Ordner, um die Daten in watsonx.data zu platzieren. Beispiel:
id, value 1,100 2,200 3,300 4,400Bei der Ausführung von Seed-Dateien können Fehler auftreten, weil dbt nicht alle Datentypen auf der Grundlage der Daten im Konnektor verarbeiten kann. Um dieses Problem zu lösen, können Sie explizit die Datentypen definieren, die dbt verwenden soll. Gehen Sie zu <project_name>/dbt_project.yml und fügen Sie hinzu:
seeds: <project_name>: <seed_file_name>: +column_types: <col_1>: datatype <col_2>: datatypeBeispiel:
seeds: demo: sample: +column_types: value: VARCHAR(20)Die hier angegebenen Spaltennamen sollten mit den Spalten in den CSV-Dateien übereinstimmen.
Verwenden Sie keine zusätzlichen Leerzeichen in CSV-Dateien für das Seeding. Wenn Sie zusätzliche Leerzeichen einfügen, müssen Sie bei der Abfrage die gleiche Anzahl von Leerzeichen verwenden wie in den Modellen, um Fehler zu vermeiden.
-
Starten Sie die Seeds mit dem folgenden Befehl, um eine Tabelle zu erstellen und die Daten einzufügen.
cd <project_name> dbt run -
In
<project_name>/modelsfinden Sie die Modelle, die die Operationen durchführen. Standardmäßig setzt dbt die Operationen alsview. Sie können die Tabellen oder Ansichten mit einer der folgenden Methoden erstellen:-
Innerhalb der Modelle spezifizieren (gilt nur für dieses Modell)
{{ config(materialized='table/view') }}Wenn diese Anweisung mit (--) auskommentiert wird, verwendet dbt weiterhin die Konfiguration. Um sie zu deaktivieren, entfernen Sie sie ganz oder kommentieren sie im Jinja-Stil aus (
{# … #}). -
Angabe in dbt_project.yml (gilt für alle Modelle)
models: <project_name>: <model_folders>: +materialized: table/viewBeispiel:
models: demo: example: +materialized: tableInnerhalb von Modellen werden nur Select-Anweisungen unterstützt.
Das Zeichen Semikolon (;) ist in Modellen eingeschränkt.
-
-
Führen Sie die Modelle aus, indem Sie den folgenden Befehl verwenden, um die Tabellen oder Ansichten zu erstellen.
cd <project_name> dbt runSie können auch die von Ihnen gewünschten Tests angeben:
models: - name: <model_name> description: "some description" columns: - name: <col_name> description: "some description" data_tests: - <test_name_1> - <test_name_2>Beispiel:
models: - name: my_first_dbt_model description: "A starter dbt model" columns: - name: id description: "The primary key for this table" data_tests: - unique - not_nullKonnektoren müssen Create Table as Select (CTAS) unterstützen, damit dbt-Läufe funktionieren.
-
Um die Dokumente über die durchgeführten Aktionen zu erstellen, führen Sie den Befehl aus:
cd <project_name> dbt docs generate dbt docs serveStandardmäßig läuft es auf localhost:8080. Um den Anschluss zu ändern, führen Sie aus:
dbt docs serve –-port <port_number>