与 Data Product Hub

IBM Data Product Hub (DPH) 即服务是一种自助式解决方案，旨在简化数据生产者和数据消费者之间的数据产品共享。 这种轻量级平台将 SQL 查询和表格等数据资产打包成数据产品，为特定业务用例提供服务。

DPH 和 watsonx.data 的集成使数据工程师能够在两种服务之间无缝访问数据。

数据资产和数据产品

数据资产可以是 SQL 查询、SQL 表、ML 模型或 BI 面板。

数据产品是针对特定业务用例打包在一起的资产集合。

数据生产者和数据消费者

数据生产者负责将数据资产打包成数据产品，定义数据合同，并向消费者提供产品。

数据消费者是订阅这些数据产品的用户。 数据消费者既可以是技术用户，也可以是业务用户。

整合的特点

  • 访问数据源：DPH 通过 Presto 连接器与 watsonx.data 连接，使用元数据信息创建数据资产，然后将其打包成数据产品。 这种集成扩大了 watsonx.data 中数据源的可访问性。 由于不涉及实际的数据移动，因此数据是以安全的方式打包的。

    要访问 watsonx.data 中的数据，请执行以下操作：

    1. 创建连接资产，以访问 IBM watsonx.data 中的数据。 要创建连接，请参阅 Presto 连接。

    2. 创建数据产品，打包资产。 有关信息，请参阅 直接从源创建数据产品。

    3. 发布消费者将使用的数据产品。 更多信息，请参阅 发布数据产品。

  • 参数化查询：可将 SQL 查询的元数据信息打包到 watsonx.data 中，并以 CSV 或 Parquet 等格式提供查询结果。

    数据生产者可通过自定义查询创建数据产品。 有关创建此类数据产品的信息，请参阅 从可定制查询创建数据产品。

数据传输方法

  • Flight service 注：Flight service 提供对 watsonx.data 中各种数据源的读取访问。 这种交付方式只供技术数据消费者使用。 例如，数据科学家。 技术用户可以使用 Jupyter 笔记本编写脚本，访问 watsonx.data 中的数据源。 有关航班服务的信息，请参阅 航班服务。

  • 数据提取：企业消费者使用数据提炼服务创建 CSV 数据提取文件并下载。 有关数据提取交付方式的信息，请参阅 数据提取交付方式。

  • 在 watsonx.data 中作为表交付：在 watsonx.data 中作为表交付的交付方法允许消费者在 watsonx.data 中作为表访问其数据产品。 通过这种方法，拥有适当权限的用户可以创建新表或追加到现有表中。 有关在 watsonx.data 中作为表格交付的更多信息，请参阅 Data Product Hub 文档中的 在 watsonx.data 中作为表格交付的交付方法。

    先决条件要使用 watsonx.data 中的表作为交付方法，您必须在 watsonx.data:

    1. 用户必须能够访问连接到目标目录的 Spark 引擎。
    2. 用户必须能访问 Presto 引擎（这只是建立连接所必需的）。
    3. 用户必须能访问目标 Iceberg 目录，并具有访问完整目录的权限，或者访问策略赋予了使用目录的某些权限。
    4. 用户必须具有目标目录所用存储的“写”访问权限。
    5. 用户必须有访问 Cloud Object Storage 的权限：添加为 watsonx.data 实例中的一个组件。 参见 IBM Cloud Object Storage. 数据提取在输入 watsonx.data 之前将在这里进行。

    有关在 watsonx.data 中管理访问权限，请参阅 管理数据策略。

  • 在 watsonx.data 中访问：在 watsonx.data 中访问的交付方法允许消费者在 watsonx.data 中访问其数据产品。 有关 watsonx.data 访问的更多信息，请参阅 Data Product Hub 文档。