数据构建工具(dbt)集成
IBM® watsonx.data与数据构建工具(dbt)集成,后者是一种数据分析工具,可帮助将 "watsonx.data中的数据转换为更简单、更便于业务用户使用的形式。 它允许分析师和科学家使用不同的模型建立数据管道,并为决策提供经过整理的数据。 您可以使用数据库工具运行 SQL 查询,并分析 watsonx.data 中的数据。
dbt 允许分析师和科学家执行以下一些与数据相关的任务:
-
管理数据转换的复杂工作流,支持版本控制、模块化代码和持续集成等功能。
-
通过将原始数据转换为结构化格式,为报告和分析做好数据准备,使其更容易产生洞察力。
-
创建分层、可重复使用的模型,代表数据转换的不同阶段。
-
通过发现流程中的问题,确保转换的可靠性。
-
为模型生成清晰易懂的文档,并提供数据脉络可视化,以跟踪数据如何在管道中移动。
-
处理模型之间的依赖关系,确保转换以正确的顺序运行,并能与更大的数据工作流集成。
有关 dbt 的更多信息,请参阅:
dbt 在watsonx.data中支持 Spark 和Presto引擎。dbt 使用以下数据构建工具(dbt)适配器将 dbt core 与 Spark 和Presto引擎连接起来。 适配器有助于构建、测试和记录数据模型。
- dbt-watsonx-presto 连接到 Presto
- dbt-watsonx-spark 连接到 Apache Spark
基本 dbt 命令
-
初始化 dbt 项目:设置一个新的 dbt 项目。
dbt init my_project
-
调试 dbt 连接:测试您的 dbt 配置文件和连接。
dbt debug
-
种子数据:将种子数据加载到数据库/数据源中。
dbt seed
-
运行 dbt 模型:构建并运行模型。
dbt run
-
测试 dbt 模型:在模型上运行测试。
dbt test
-
生成文档:为您的 dbt 项目创建和提供文档。
dbt docs generate dbt docs serve
有关 dbt 命令的更多信息,请参阅 dbt 命令参考。