Incluindo armazenamento e consultando dados

Neste tutorial, você aprende a incluir um armazenamento que você possui e explorar como o serviço watsonx.data interage com os dados que você trouxe.

Cenário de amostra: a sua equipe está trabalhando no desenvolvimento de um pipeline de dados automatizados que requer a consulta de dados do depósito de dados que você possui Seu gerenciador solicita que você recupere dados do depósito de dados usando a instância do watsonx.data.

Para esse cenário, você deve criar o mecanismo de consulta Presto, estabelecer conexão com o armazenamento, ingerir dados no bucket de dados e exibir o resultado na instância watsonx.data.

Objetivo

  • Criando infraestrutura no serviço watsonx.data.

  • Estabelecendo a conexão com o depósito de dados do cliente

  • Consultando a partir do depósito.

Diagrama de fluxo de trabalho*Diagrama de
de

Antes de Iniciar

Este tutorial requer:

  • Assinatura do watsonx.data na nuvem.
  • Os detalhes de configuração do depósito de dados que você trouxe. Isso é necessário para estabelecer a conexão com o watsonx.data.
  • Provisione a instância de serviço watsonx.data

Incluir o armazenamento que você possui e alimentar dados

Nesta seção do tutorial você aprende como registrar o depósito de armazenamento que você traz e incluir dados nele.

  1. Para incluir um depósito de armazenamento próprio, consulte Incluindo um par de catálogo de armazenamento.
  2. É possível usar a opção Criar tabela na página Gerenciador de dados para carregar origens locais ou externas de arquivos de dados para criar tabelas. Também é possível ingerir arquivos grandes usando a CLI (interface da linha de comandos) Veja mais Criando uma tarefa de ingestão usando o arquivo de configuração

Consultando dados

Nesta seção do tutorial, você aprenderá como navegar para a Área de trabalho de consulta e criar consultas SQL para consultar seus dados do depósito.

Para executar a consulta SQL, execute as seguintes etapas:

  1. No menu de navegação, selecione SQL. A página do espaço de trabalho Query é aberta.

  2. Selecione osPresto (Java ) motor do Motor suspenso.

  3. Selecione um catálogo, por exemplo, esquema default, e uma tabela, por exemplo, order_detail, para executar a consulta

  4. Clique no menu overflow e selecione a consulta necessária

    • Para um catálogo e um esquema, é possível executar a consulta Gerar Caminho
    • Para uma tabela, é possível executar a consulta Gerar caminho, Gerar SELECT, Gerar ALTER e Gerar DROP..
    • Para uma coluna, é possível executar a consulta Gerar caminho, Gerar SELECT e Gerar DROP.

    Considere a consulta de amostra a seguir para visualizar os detalhes da tabela:

    Exemplo:

    SELECT * FROM "iceberg-beta"."default"."order_detail" LIMIT 10;

  5. Clique em Run on (Executar ) para executar a consulta.

  6. Selecione a guia Conjunto de Resultados ou Detalhes para visualizar os resultados.. Se necessário, é possível salvar a consulta..

  7. Clique em Consultas salvas para visualizar as consultas salvas..

  8. Clique em Explain para visualizar o plano lógico ou distribuído de execução para uma consulta SQL especificada