Integrazione con Data Product Hub

IBM Data Product Hub (DPH) as a Service è una soluzione self-service progettata per semplificare la condivisione di prodotti di dati tra produttori e consumatori di dati. Questa piattaforma leggera confeziona asset di dati come query SQL e tabelle in prodotti di dati, che servono per uno specifico caso d'uso aziendale.

L'integrazione di DPH e watsonx.data consente ai tecnici dei dati di accedere ai dati senza problemi tra i due servizi.

Asset di dati e prodotti di dati

I dati possono essere query SQL, tabelle SQL, modelli ML o cruscotti BI.

Il prodotto di dati è una raccolta di asset confezionati insieme per uno specifico caso d'uso aziendale.

Produttori e consumatori di dati

I produttori di dati sono responsabili dell'impacchettamento delle risorse di dati in prodotti di dati, della definizione del contratto dei dati e dell'accessibilità del prodotto ai consumatori.

I consumatori di dati sono gli utenti che si abbonano a questi prodotti di dati. I consumatori di dati possono essere sia utenti tecnici che utenti commerciali.

Caratteristiche dell'integrazione

  • Accesso alla fonte di dati: DPH si connette con watsonx.data attraverso un connettore Presto per creare un asset di dati utilizzando le informazioni sui metadati, che a loro volta vengono confezionati in un prodotto di dati. Questa integrazione amplia l'accessibilità delle fonti di dati in watsonx.data. I dati vengono confezionati in modo sicuro, poiché non comportano un vero e proprio movimento di dati.

    Per accedere ai dati di watsonx.data, procedere come segue:

    1. Creare una risorsa di connessione per accedere ai dati in IBM watsonx.data. Per creare una connessione, vedere Presto connection.

    2. Creare un prodotto di dati per confezionare l'asset. Per informazioni, vedere Creazione di un prodotto di dati direttamente da un'origine.

    3. Pubblicare il prodotto di dati che sarà utilizzato dai consumatori. Per ulteriori informazioni, vedere Pubblicazione del prodotto dati.

  • Interrogazione parametrizzata: è possibile impacchettare le informazioni sui metadati delle query SQL in watsonx.data e fornire i risultati in formati quali CSV o Parquet.

    I produttori di dati possono creare un prodotto di dati con una query personalizzabile. Per informazioni sulla creazione di tali prodotti di dati, vedere Creazione di un prodotto di dati da una query personalizzabile.

Metodi di consegna dei dati

  • Flight service: Flight service fornisce l'accesso in lettura a varie fonti di dati in watsonx.data. Questo metodo di consegna viene utilizzato solo dal consumatore di dati tecnici. Ad esempio, il data scientist. Gli utenti tecnici possono usare Jupyter Notebook per scrivere uno script per accedere alle fonti di dati in watsonx.data. Per informazioni sui servizi di volo, vedere Servizio di volo.

  • Estrazione dei dati: i consumatori aziendali utilizzano il servizio di raffinazione dei dati per creare un file CSV di estrazione dei dati e scaricarlo. Per informazioni sul metodo di consegna dell'estratto di dati, vedere Metodo di consegna dell'estratto di dati.

  • Consegnare come tabella in watsonx.data: Il metodo di consegna consegnare come tabella in watsonx.data consente ai consumatori di accedere ai loro prodotti di dati come tabella in watsonx.data. Questo metodo consente agli utenti con le autorizzazioni appropriate di creare nuove tabelle o di aggiungere a quelle esistenti. Per ulteriori informazioni su Consegnare come tabella in watsonx.data, vedere Consegnare come tabella nel metodo di consegna watsonx.data nella documentazione di Data Product Hub.

    Prerequisiti Per utilizzare il metodo di consegna come tabella in watsonx.data, è necessario disporre dei seguenti accessi in watsonx.data:

    1. L'utente deve avere accesso a un motore Spark collegato al catalogo di destinazione.
    2. L'utente deve avere accesso a un motore Presto (è necessario solo per effettuare la connessione).
    3. L'utente deve avere accesso a un catalogo Iceberg di destinazione con il ruolo di catalogo completo o un criterio di accesso che dia il permesso di usare il catalogo.
    4. L'utente deve avere accesso in scrittura allo storage utilizzato per il catalogo di destinazione.
    5. L'utente deve avere accesso a Cloud Object Storage: Aggiungi come componente nell'istanza watsonx.data. Vedi IBM Cloud Object Storage. L'estratto di dati arriva qui prima di essere ingerito in watsonx.data.

    Per la gestione degli accessi in watsonx.data, vedere Gestione dei criteri dei dati.

  • Accesso in watsonx.data: Il metodo di consegna accesso in watsonx.data permette ai consumatori di accedere al loro prodotto di dati in watsonx.data. Per ulteriori informazioni sull'accesso in watsonx.data, vedere la documentazione di Data Product Hub.