Integração com o IBM Manta Data Lineage

A integração do Manta com watsonx.data permite que você capture e publique trabalhos, execuções e eventos de conjuntos de dados do Spark e do Presto por meio da interface do usuário do Manta, fornecendo visibilidade total dos fluxos e transformações de dados.

Antes de Iniciar

  • Crie uma definição de fonte de dados e uma conexão OpenLineage.
  • Crie uma importação de metadados OpenLineage em seu projeto e execute-a.

Para obter mais informações, consulte Preparação de dados para o IBM Manta Data Lineage.

Procedimento

  1. Faça login no console watsonx.data.

  2. No menu de navegação, vá para Configurations > IBM Manta Data Lineage.

  3. Insira os seguintes detalhes:

    Integração IBM Manta Data Lineage
    Campo Descrição
    Ponto de extremidade de ingestão de linhagem Digite o URL do endpoint do host IBM Cloud onde o serviço de linhagem de dados está ativado.
    Chave de API Digite a chave da API. Para obter informações sobre como gerar uma chave de API, consulte Criação de uma chave de API

  4. Clique em Save para salvar os detalhes. Você pode editar os detalhes salvos clicando em Edit (Editar ).

  5. Clique em Enable (Ativar ) para ativar Manta Data Lineage.

A linhagem de dados entra em vigor para os novos trabalhos que são iniciados após a ativação. Os trabalhos anteriores e em andamento não exibirão a linhagem de dados. Atualmente, ele oferece suporte à visualização de linhagens para operações CREATE TABLE AS (CTAS) e INSERT INTO SELECT no Manta Data Lineage.

O quê fazer em seguida