dbt-watsonx-prestoのインストールと使用
このセクションでは、dbt-watsonx-presto をインストールして使う手順を説明します。
手順
-
以下のコマンドを実行して、
dbt-watsonx-prestoをインストールしてください。pip install dbt-watsonx-presto -
以下のコマンドを実行して、dbtのバージョンを確認する。
dbt –version -
以下のコマンドを実行してdbtプロジェクトを作成する。
dbt init <project_name>- Presto番号を選択し、入力する。 例:
[1] watsonx_prestoには1と入力します。 - すでに同じ名前のプロジェクトがある場合は、
profiles.ymlを上書きするかどうかを確認する必要があります。 Yを入力して確定するか、 Nを入力して破棄する。
- Presto番号を選択し、入力する。 例:
-
profiles.ymlファイルを設定する。 詳しくは コンフィギュレーション(プロフィールの設定) をご覧ください。 -
接続をテストするには
cd <project_name> dbt debug -
seedsフォルダ内にCSVファイルを作成し、watsonx.dataにデータをシードします。 以下に例を示します。
id, value 1,100 2,200 3,300 4,400シードファイルの実行時にエラーが発生することがありますが、これはdbtがコネクタ内のデータに基づいてすべてのデータタイプを処理できないためです。 これを解決するには、dbtが使用すべきデータ型を明示的に定義すればよい。 /dbt_project.ymlに移動し、追加する:
seeds: <project_name>: <seed_file_name>: +column_types: <col_1>: datatype <col_2>: datatype以下に例を示します。
seeds: demo: sample: +column_types: value: VARCHAR(20)ここで指定するカラム名は、CSVファイルのカラムと一致する必要がある。
シーディング用のCSVファイルに余分なスペースを使用しないでください。 余分なスペースが含まれている場合は、エラーを避けるために、クエリ時にモデル内と同じ数のスペースを使用する必要があります。
-
以下のコマンドを使用してシードを実行し、テーブルを作成してデータを挿入する。
cd <project_name> dbt run -
<project_name>/modelsには、操作を実行するモデルがある。 デフォルトでは、dbtは操作をviewとして設定します。 テーブルやビューは、以下のいずれかの方法で作成できます:-
モデル内部を指定(そのモデルのみに適用)
{{ config(materialized='table/view') }}このステートメントを(--)でコメントアウトしても、dbtはコンフィギュレーションを使用する。 これを無効にするには、これを完全に削除するか、Jinjaスタイルでコメントします(
{# … #})。 -
dbt_project.ymlで指定します (すべてのモデルに適用されます)
models: <project_name>: <model_folders>: +materialized: table/view以下に例を示します。
models: demo: example: +materialized: tableモデル内ではselect文のみがサポートされています。
セミコロン(;)はモデルでは制限されています。
-
-
以下のコマンドを使用してモデルを実行し、テーブルまたはビューを作成します。
cd <project_name> dbt runまた、希望するテストを指定することもできる:
models: - name: <model_name> description: "some description" columns: - name: <col_name> description: "some description" data_tests: - <test_name_1> - <test_name_2>以下に例を示します。
models: - name: my_first_dbt_model description: "A starter dbt model" columns: - name: id description: "The primary key for this table" data_tests: - unique - not_nulldbtを実行するには、コネクタがCreate Table as Select(CTAS)をサポートしている必要があります。
-
実行されたアクションに関する文書を作成するには、以下を実行する:
cd <project_name> dbt docs generate dbt docs serveデフォルトでは、localhost:8080で実行されます。 ポートを変更するには
dbt docs serve –-port <port_number>