dbt-watsonx-prestoのインストールと使用
このセクションでは、dbt-watsonx-presto
をインストールして使う手順を説明します。
手順
-
以下のコマンドを実行して、
dbt-watsonx-presto
をインストールしてください。pip install dbt-watsonx-presto
-
以下のコマンドを実行して、dbtのバージョンを確認する。
dbt –version
-
以下のコマンドを実行してdbtプロジェクトを作成する。
dbt init <project_name>
- Presto番号を選択し、入力する。 例:
[1] watsonx_presto
には1
と入力します。 - すでに同じ名前のプロジェクトがある場合は、
profiles.yml
を上書きするかどうかを確認する必要があります。 Yを入力して確定するか、 Nを入力して破棄する。
- Presto番号を選択し、入力する。 例:
-
profiles.yml
ファイルを設定する。 詳しくは コンフィギュレーション(プロフィールの設定) をご覧ください。 -
接続をテストするには
cd <project_name> dbt debug
-
seedsフォルダ内にCSVファイルを作成し、watsonx.dataにデータをシードします。 以下に例を示します。
id, value 1,100 2,200 3,300 4,400
シードファイルの実行時にエラーが発生することがありますが、これはdbtがコネクタ内のデータに基づいてすべてのデータタイプを処理できないためです。 これを解決するには、dbtが使用すべきデータ型を明示的に定義すればよい。 /dbt_project.ymlに移動し、追加する:
seeds: <project_name>: <seed_file_name>: +column_types: <col_1>: datatype <col_2>: datatype
以下に例を示します。
seeds: demo: sample: +column_types: value: VARCHAR(20)
ここで指定するカラム名は、CSVファイルのカラムと一致する必要がある。
シーディング用のCSVファイルに余分なスペースを使用しないでください。 余分なスペースが含まれている場合は、エラーを避けるために、クエリ時にモデル内と同じ数のスペースを使用する必要があります。
-
以下のコマンドを使用してシードを実行し、テーブルを作成してデータを挿入する。
cd <project_name> dbt run
-
<project_name>/models
には、操作を実行するモデルがある。 デフォルトでは、dbtは操作をview
として設定します。 テーブルやビューは、以下のいずれかの方法で作成できます:-
モデル内部を指定(そのモデルのみに適用)
{{ config(materialized='table/view') }}
このステートメントを(--)でコメントアウトしても、dbtはコンフィギュレーションを使用する。 これを無効にするには、これを完全に削除するか、Jinjaスタイルでコメントします(
{# … #}
)。 -
dbt_project.ymlで指定します (すべてのモデルに適用されます)
models: <project_name>: <model_folders>: +materialized: table/view
以下に例を示します。
models: demo: example: +materialized: table
モデル内ではselect文のみがサポートされています。
セミコロン(;)はモデルでは制限されています。
-
-
以下のコマンドを使用してモデルを実行し、テーブルまたはビューを作成します。
cd <project_name> dbt run
また、希望するテストを指定することもできる:
models: - name: <model_name> description: "some description" columns: - name: <col_name> description: "some description" data_tests: - <test_name_1> - <test_name_2>
以下に例を示します。
models: - name: my_first_dbt_model description: "A starter dbt model" columns: - name: id description: "The primary key for this table" data_tests: - unique - not_null
dbtを実行するには、コネクタがCreate Table as Select(CTAS)をサポートしている必要があります。
-
実行されたアクションに関する文書を作成するには、以下を実行する:
cd <project_name> dbt docs generate dbt docs serve
デフォルトでは、localhost:8080で実行されます。 ポートを変更するには
dbt docs serve –-port <port_number>