Integración de Data Build Tool (dbt)
IBM® watsonx.data se integra con Data Build Tool (dbt), una herramienta de análisis de datos que ayuda a transformar los datos de ' watsonx.data ' en una forma más sencilla y accesible para los usuarios empresariales. Permite a analistas y científicos construir pipelines de datos utilizando diferentes modelos y disponer de datos curados para la toma de decisiones. Puede ejecutar consultas SQL mediante la herramienta db y analizar los datos disponibles en watsonx.data.
dbt permite a analistas y científicos realizar algunas de las siguientes tareas relacionadas con los datos:
-
Gestione flujos de trabajo complejos para la transformación de datos y admita funciones como el control de versiones, el código modular y la integración continua.
-
Prepare los datos para la elaboración de informes y análisis transformando los datos sin procesar en un formato estructurado, lo que facilita la creación de perspectivas.
-
Cree modelos por capas reutilizables que representen las distintas etapas de la transformación de datos.
-
Garantizar la fiabilidad de las transformaciones identificando problemas en el proceso.
-
Generar documentación clara y fácil de entender para los modelos y proporcionar visualización del linaje de los datos para realizar un seguimiento de cómo se mueven los datos a través de la canalización.
-
Gestione las dependencias entre modelos y asegúrese de que las transformaciones se ejecutan en la secuencia correcta y pueden integrarse con un flujo de trabajo de datos más amplio.
Para más información sobre dbt, véase:
dbt está soportado en ' watsonx.data ' para motores Spark y ' Presto '. dbt utiliza los siguientes adaptadores data build tool (dbt) para conectar dbt core con motores Spark y ' Presto '. Los adaptadores ayudan a construir, probar y documentar modelos de datos.
- dbt-watsonx-presto para conectar con Presto
- dbt-watsonx-spark para conectarse a Apache Spark
Comandos dbt básicos
-
Inicializar un proyecto dbt: Configurar un nuevo proyecto dbt.
dbt init my_project
-
Depurar conexión dbt: Prueba tu perfil y conexión dbt.
dbt debug
-
Datos iniciales: Carga los datos semilla en tu base de datos/fuente de datos.
dbt seed
-
Ejecutar modelos dbt: Construya y ejecute sus modelos.
dbt run
-
Probar modelos dbt: Ejecuta pruebas en tus modelos.
dbt test
-
Generar documentación: Crea y sirve documentación para tu proyecto dbt.
dbt docs generate dbt docs serve
Para obtener más información sobre los comandos dbt, consulte referencia de comandos dbt.