資料建置工具 (dbt) 集成

IBM® watsonx.data與資料建構工具 (dbt) 集成,這是一種資料分析工具,有助於將watsonx.data中的資料轉換為更簡單且易於存取的形式商業用戶。 它允許分析師和科學家使用不同的模型建立資料管道,並整理資料以供決策。 您可以使用 db 工具執行 SQL 查詢並分析watsonx.data中的可用資料。

dbt 讓分析師和科學家執行以下一些資料相關任務:

  • 管理資料轉換的複雜工作流程並支援版本控制、模組化程式碼和持續整合等功能。

  • 透過將原始數據轉換為結構化格式來準備用於報告和分析的數據,從而更輕鬆地創建見解。

  • 建立代表資料轉換不同階段的分層、可重複使用模型。

  • 透過識別過程中的問題來確保轉換的可靠性。

  • 為模型產生清晰且易於理解的文檔,並提供資料沿襲的可視化,以追蹤資料如何在管道中移動。

  • 處理模型之間的依賴關係,確保轉換按正確的順序運行,並且可以與更大的資料工作流程整合。

有關 dbt 的更多信息,請參閱:

Spark 和Presto引擎的watsonx.data支援 dbt。dbt 使用以下資料建置工具 (dbt) 適配器將 dbt 核心與 Spark 和Presto引擎連接。 適配器有助於建置、測試和記錄資料模型。

  • dbt- watsonx-presto 連接到Presto
  • dbt- watsonx-spark 連接到Apache Spark

基本 dbt 指令

  • 初始化 dbt 專案:設定一個新的 dbt 專案。

    dbt init my_project
    
  • 調試 dbt 連線:測試您的 dbt 設定檔和連線。

    dbt debug
    
  • 種子資料:將種子資料載入資料庫/資料來源。

    dbt seed
    
  • 運行 dbt 模型:建置並運行您的模型。

    dbt run
    
  • 測試 dbt 模型:在您的模型上執行測試。

    dbt test
    
  • 產生文件:為您的 dbt 專案建立並提供文件。

    dbt docs generate
    dbt docs serve
    

有關 dbt 命令的詳細信息,請參閱 dbt 命令參考