IBM Cloud Docs
数据构建工具(dbt)集成

数据构建工具(dbt)集成

IBM® watsonx.data与数据构建工具(dbt)集成,后者是一种数据分析工具,可帮助将 "watsonx.data中的数据转换为更简单、更便于业务用户使用的形式。 它允许分析师和科学家使用不同的模型建立数据管道,并为决策提供经过整理的数据。 您可以使用数据库工具运行 SQL 查询,并分析 watsonx.data 中的数据。

dbt 允许分析师和科学家执行以下一些与数据相关的任务:

  • 管理数据转换的复杂工作流,支持版本控制、模块化代码和持续集成等功能。

  • 通过将原始数据转换为结构化格式,为报告和分析做好数据准备,使其更容易产生洞察力。

  • 创建分层、可重复使用的模型,代表数据转换的不同阶段。

  • 通过发现流程中的问题,确保转换的可靠性。

  • 为模型生成清晰易懂的文档,并提供数据脉络可视化,以跟踪数据如何在管道中移动。

  • 处理模型之间的依赖关系,确保转换以正确的顺序运行,并能与更大的数据工作流集成。

有关 dbt 的更多信息,请参阅:

dbt 在watsonx.data中支持 Spark 和Presto引擎。dbt 使用以下数据构建工具(dbt)适配器将 dbt core 与 Spark 和Presto引擎连接起来。 适配器有助于构建、测试和记录数据模型。

  • dbt-watsonx-presto 连接到 Presto
  • dbt-watsonx-spark 连接到 Apache Spark

基本 dbt 命令

  • 初始化 dbt 项目:设置一个新的 dbt 项目。

    dbt init my_project
    
  • 调试 dbt 连接:测试您的 dbt 配置文件和连接。

    dbt debug
    
  • 种子数据:将种子数据加载到数据库/数据源中。

    dbt seed
    
  • 运行 dbt 模型:构建并运行模型。

    dbt run
    
  • 测试 dbt 模型:在模型上运行测试。

    dbt test
    
  • 生成文档:为您的 dbt 项目创建和提供文档。

    dbt docs generate
    dbt docs serve
    

有关 dbt 命令的更多信息,请参阅 dbt 命令参考