資料建置工具 (dbt) 集成
IBM® watsonx.data與資料建構工具 (dbt) 集成,這是一種資料分析工具,有助於將watsonx.data中的資料轉換為更簡單且易於存取的形式商業用戶。 它允許分析師和科學家使用不同的模型建立資料管道,並整理資料以供決策。 您可以使用 db 工具執行 SQL 查詢並分析watsonx.data中的可用資料。
dbt 讓分析師和科學家執行以下一些資料相關任務:
-
管理資料轉換的複雜工作流程並支援版本控制、模組化程式碼和持續整合等功能。
-
透過將原始數據轉換為結構化格式來準備用於報告和分析的數據,從而更輕鬆地創建見解。
-
建立代表資料轉換不同階段的分層、可重複使用模型。
-
透過識別過程中的問題來確保轉換的可靠性。
-
為模型產生清晰且易於理解的文檔,並提供資料沿襲的可視化,以追蹤資料如何在管道中移動。
-
處理模型之間的依賴關係,確保轉換按正確的順序運行,並且可以與更大的資料工作流程整合。
有關 dbt 的更多信息,請參閱:
Spark 和Presto引擎的watsonx.data支援 dbt。dbt 使用以下資料建置工具 (dbt) 適配器將 dbt 核心與 Spark 和Presto引擎連接。 適配器有助於建置、測試和記錄資料模型。
- dbt- watsonx-presto 連接到Presto
- dbt- watsonx-spark 連接到Apache Spark
基本 dbt 指令
-
初始化 dbt 專案:設定一個新的 dbt 專案。
dbt init my_project -
調試 dbt 連線:測試您的 dbt 設定檔和連線。
dbt debug -
種子資料:將種子資料載入資料庫/資料來源。
dbt seed -
運行 dbt 模型:建置並運行您的模型。
dbt run -
測試 dbt 模型:在您的模型上執行測試。
dbt test -
產生文件:為您的 dbt 專案建立並提供文件。
dbt docs generate dbt docs serve
有關 dbt 命令的詳細信息,請參閱 dbt 命令參考。