與 Data Product Hub

IBM Data Product Hub (DPH) as a Service 是一種自助式解決方案，旨在簡化資料製造者與資料消費者之間的資料產品共用。 此輕量級平台可將 SQL 查詢和表格等資料資產打包成資料產品，以滿足特定的業務用例。

DPH 與 watsonx.data 的整合可讓資料工程師在兩個服務之間進行無縫資料存取。

資料資產和資料產品

資料資產可以是 SQL 查詢、SQL 表格、ML 模型或 BI 面板。

資料產品是針對特定業務使用個案而打包在一起的資產集合。

資料製造者和資料消費者

資料製造者負責將資料資產包裝成資料產品、定義資料合約，以及讓消費者可以存取產品。

資料消費者是訂閱這些資料產品的使用者。 資料消費者既可以是技術使用者，也可以是商業使用者。

整合的特點

  • 存取資料來源：DPH 透過 Presto 連接器與 watsonx.data 連線，使用元資料資訊建立資料資產，再將其包裝成資料產品。 此整合擴大了 watsonx.data 中資料來源的可存取性。 由於不涉及實際的資料移動，因此資料會以安全的方式包裝。

    若要從 watsonx.data 存取資料，請執行下列步驟：

    1. 建立連線資產，以存取 IBM watsonx.data 中的資料。 若要建立連線，請參閱 Presto 連線。

    2. 建立資料產品來包裝資產。 如需相關資訊，請參閱 直接從來源建立資料產品。

    3. 發佈消費者將會使用的資料產品。 如需詳細資訊，請參閱 發佈您的資料產品。

  • 參數化查詢：您可以將 SQL 查詢的元資料資訊包裝在 watsonx.data 中，並將結果以 CSV 或 Parquet 等格式傳送。

    資料製造者可建立具有自訂查詢功能的資料產品。 有關建立此類資料產品的資訊，請參閱 從自訂查詢建立資料產品。

資料傳送方法

  • Flight service: Flight service 提供對 watsonx.data 中各種資料來源的讀取存取。 此傳送方式僅供技術資料消費者使用。 例如，資料科學家。 技術消費者可以使用 Jupyter Notebooks 來撰寫腳本，以存取 watsonx.data 中的資料來源。 如需 Flight 服務的相關資訊，請參閱 Flight Service。

  • 資料擷取：企業消費者使用資料提煉服務建立 CSV 資料擷取檔案並下載。 有關資料抽取傳送方式的資訊，請參閱 資料抽取傳送方式。

  • 在 watsonx.data 中以表格形式遞送：在 watsonx.data 中以表格形式遞送的遞送方法允許消費者在 watsonx.data 中以表格形式存取他們的資料產品。 此方法可讓具有適當權限的使用者建立新表或追加到現有表。 如需更多關於在 watsonx.data 中作為表格遞送的資訊，請參閱 Data Product Hub 文件中 在 watsonx.data 中作為表格遞送的遞送方法。

    先決條件要使用 watsonx.data 中的表作為交付方法，您必須在 watsonx.data:

    1. 使用者必須能存取連線至目標目錄的 Spark 引擎。
    2. 使用者必須能存取 Presto 引擎 (這只是建立連線所需的條件)。
    3. 用戶必須可以存取目標 Iceberg 目錄，並具有完整目錄的角色，或具有允許使用目錄的存取政策。
    4. 使用者必須具有目標目錄所用儲存的寫入存取權。
    5. 使用者必須有 Cloud Object Storage 的存取權：新增為 watsonx.data 範例中的元件。 參見 IBM Cloud Object Storage. 資料擷取將先在此處著陸，然後才擷取至 watsonx.data。

    如需在 watsonx.data 中管理存取，請參閱 管理資料政策。

  • Access in watsonx.data: Access in watsonx.data 傳送方法允許消費者在 watsonx.data 中存取他們的資料產品。 有關 watsonx.data 中存取的詳細資訊，請參閱 Data Product Hub 文件。