Integração com Data Product Hub

IBM Data Product Hub (DPH) as a Service é uma solução de autoatendimento projetada para simplificar o compartilhamento de produtos de dados entre produtores e consumidores de dados. Essa plataforma leve empacota ativos de dados, como consultas SQL e tabelas, em produtos de dados que atendem a um caso de uso comercial específico.

A integração do DPH e do site watsonx.data permite o acesso ininterrupto aos dados entre os dois serviços para os engenheiros de dados.

Ativos e produtos de dados

Os ativos de dados podem ser consultas SQL, tabelas SQL, modelos de ML ou painéis de BI.

O produto de dados é uma coleção de ativos agrupados para um caso de uso comercial específico.

Produtores e consumidores de dados

Os produtores de dados são responsáveis por empacotar os ativos de dados em produtos de dados, definir o contrato de dados e tornar o produto acessível aos consumidores.

Os consumidores de dados são os usuários que assinam esses produtos de dados. Os consumidores de dados podem ser tanto usuários técnicos quanto usuários comerciais.

Recursos de integração

  • Acesso à fonte de dados: o DPH se conecta ao site watsonx.data por meio de um conector Presto para criar um ativo de dados usando as informações de metadados, que, por sua vez, são empacotadas em um produto de dados. Essa integração amplia a acessibilidade da fonte de dados em watsonx.data. Os dados são empacotados de forma segura, pois não envolvem a movimentação real de dados.

    Para acessar os dados de watsonx.data, faça o seguinte:

    1. Crie um ativo de conexão para acessar os dados em IBM watsonx.data. Para criar uma conexão, consulte Presto connection.

    2. Crie um produto de dados para empacotar o ativo. Para obter informações, consulte Criação de um produto de dados diretamente de uma fonte.

    3. Publicar o produto de dados que será usado pelos consumidores. Para obter mais informações, consulte Publicação de seu produto de dados.

  • Consulta parametrizada: você pode empacotar as informações de metadados das consultas SQL em watsonx.data e fornecer os resultados em formatos como CSV ou Parquet.

    Os produtores de dados podem criar um produto de dados com uma consulta personalizável. Para obter informações sobre como criar esses produtos de dados, consulte Criação de um produto de dados a partir de uma consulta personalizável.

Métodos de entrega de dados

  • Flight service o site Flight service fornece acesso de leitura a várias fontes de dados em watsonx.data. Esse método de entrega é usado apenas pelo consumidor de dados técnicos. Por exemplo, cientista de dados. Os consumidores técnicos podem usar o Jupyter Notebooks para escrever um script para acessar as fontes de dados em watsonx.data. Para obter informações sobre os serviços de voo, consulte Serviço de voo.

  • Extração de dados: os consumidores empresariais usam o serviço de refinaria de dados para criar um arquivo de extração de dados CSV e baixá-lo. Para obter informações sobre o método de entrega de extração de dados, consulte Método de entrega de extração de dados.

  • Entregar como uma tabela em watsonx.data: O método de entrega entregar como uma tabela em watsonx.data permite que os consumidores acessem seu produto de dados como uma tabela em watsonx.data. Esse método permite que os usuários com as permissões adequadas criem novas tabelas ou anexem tabelas existentes. Para obter mais informações sobre a entrega como uma tabela em watsonx.data, consulte Entregar como uma tabela no método de entrega watsonx.data na documentação Data Product Hub.

    Pré-requisitos Para usar o método de entrega entregar como uma tabela em watsonx.data, você deve ter os seguintes acessos em watsonx.data:

    1. O usuário deve ter acesso a um mecanismo Spark conectado ao catálogo de destino.
    2. O usuário deve ter acesso a um mecanismo Presto (isso é necessário apenas para fazer a conexão).
    3. O usuário deve ter acesso a um catálogo Iceberg de destino com função para o catálogo completo ou a uma política de acesso que conceda alguma permissão para usar o catálogo.
    4. O usuário deve ter acesso de gravação ao armazenamento usado para o catálogo de destino.
    5. O usuário deve ter acesso a Cloud Object Storage: Adicionar como um componente na instância watsonx.data. Veja IBM Cloud Object Storage. A extração de dados chegará aqui antes de ser ingerida em watsonx.data.

    Para gerenciar o acesso em watsonx.data, consulte Gerenciamento da política de dados.

  • Acesso em watsonx.data: O método de entrega acesso em watsonx.data permite que os consumidores acessem seus produtos de dados em watsonx.data. Para obter mais informações sobre o acesso em watsonx.data, consulte a documentação de Data Product Hub.