Trabalhando com watsonx.data

Sobre watsonx.data

IBM® watsonx.data é uma solução de gerenciamento de dados para coletar, armazenar, consultar e analisar todos os dados corporativos com uma única plataforma de dados unificada. Ele fornece uma plataforma flexível e confiável otimizada para trabalhar em formatos de dados abertos. Os principais recursos do IBM® watsonx.data incluem:

Uma arquitetura que separa totalmente a computação, os metadados e o armazenamento para oferecer flexibilidade máxima.
Um mecanismo de consulta distribuído com base no Presto, que é projetado para manipular formatos de dados modernos que são altamente elástico e escalável
Compartilhamento de dados entre watsonx.data, IBM Db2 Warehouse SaaSe NPSaaS ou qualquer outra solução de gerenciamento de dados por meio de suporte de formato de tabela Iceberg comum, conectores e um armazenamento de metadados compartilháveis.

Para provisionar uma instância do watsonx.data, consulte Introdução ao watsonx.data.

Casos de uso para Analytics Engine

É necessária uma instância do Spark IBM Analytics Engine para trabalhar com o watsonx.data para atingir os casos de uso específicos a seguir:

Alimentando grandes volumes de dados em tabelas watsonx.data (S3, COS ou armazenamento compatível). Também é possível limpar e transformar dados usando o código processual do Spark antes da ingestão. É possível consultar os dados de tabelas usando os mecanismos disponíveis de watsonx.data.
Operações de manutenção de tabela para aprimorar o desempenho do watsonx.data das tabelas. Usando o formato de tabela Iceberg, é possível usar o Spark para executar operações como compactação de arquivo, limpeza de captura instantânea, remoção de arquivos órfãos, evolução de esquema..
Para análises complexas que são difíceis de representar como consultas, a programação processual do Spark é uma solução adequada para a transformação de dados.

Para iniciar com o watsonx.data e o IBM Analytics Engine Serverless Spark, consulte Fornecendo uma instância do Analytics Engine.