Notas sobre a liberação para o watsonx.data

Use estas notas sobre a liberação para aprender sobre as atualizações mais recentes para o IBM® watsonx.data agrupadas por data.

Para conhecer as novidades do watsonx.data as a Service em IBM Cloud com experiência de IA gen, consulte as notas de versão do watsonx.data as a Service em IBM Cloud com experiência de IA gen.

Para conhecer as novidades do watsonx.data on-prem, consulte as notas de versão do watsonx.data.

Para saber as watsonx.data Premium novidades da edição local, consulte as notas de lançamento do Premium local.

Recursos de visualização de tecnologia: Também oferecemos uma seção de visualização de tecnologia que inclui recursos atualmente em visualização. Esses recursos não estão disponíveis em geral e podem ser alterados antes do lançamento. Para ver as notas de versão dos itens de visualização de tecnologia, consulte Visualização de tecnologia.

10 de dezembro de 2025 - Versão 2.3

Aprimoramentos no provisionamento de instâncias

Esta versão watsonx.data apresenta as seguintes melhorias:

Agora você pode provisionar watsonx.data instâncias com o Virtual Private Endpoint (VPE) habilitado nas seguintes novas regiões: Dallas (us-south), Washington DC (us-east) e Frankfurt (eu-de). Para habilitar o VPE durante o provisionamento, adicione o parâmetro "vpe_required":"true" ao comando CLI. Para obter informações sobre como provisionar uma instância habilitada para VPE, consulte Provisionamento de instância habilitada para Virtual Private Endpoint(VPE).

Fontes de dados e aprimoramentos de armazenamento

Esta versão do site watsonx.data apresenta as seguintes fontes de dados e aprimoramentos de armazenamento:

  • Agora você pode aplicar políticas IBM Knowledge Catalog de governança à fonte de dados. MongoDB Para obter mais informações, consulte Conexão com IBM Knowledge Catalog(IKC).

  • Agora você pode associar Azure o Data Lake Storage Gen2 ao Presto (C++) usando ServicePrincipal a autenticação.

  • Agora você pode associar vários catálogos do tipo Iceberg a um único bucket ou contêiner de armazenamento de objetos. Cada catálogo deve ser configurado com um caminho base exclusivo e sem sobreposições no armazenamento para garantir o isolamento adequado dos dados.

    Por exemplo:

    • Catalog1 pode estar associado a s3a://mybucket/foo/bar
    • Catalog2 pode estar associado a s3a://mybucket/lorem/ipsum

    Esse aprimoramento facilita a separação lógica dos dados dentro do mesmo armazenamento e sua reutilização em vários catálogos, melhorando a flexibilidade e a organização. Esse comportamento se aplica a todas as novas instâncias do plano Lite, que agora são abrangidas pela conta. Para obter mais informações, consulte Adicionando vários Apache Iceberg catálogos a um único armazenamento.

    Este recurso está disponível apenas para watsonx.data instâncias Lite. Anteriormente, cada bucket ou contêiner de armazenamento de objetos só podia ser vinculado a um único catálogo.

Aprimoramentos no motor e nos serviços

Esta versão do watsonx.data apresenta os seguintes aprimoramentos de mecanismo e serviço:

  • O Prestissimo agora oferece um desempenho aprimorado ao gravar Apache Iceberg tabelas em comparação com Java implementações. Os seguintes recursos estão disponíveis:

    • Suporte a tabelas particionadas - O Prestissimo grava em tabelas Iceberg particionadas e aplica transformações de partição de forma eficiente usando avaliação em lote. Ele suporta identidade, transformações temporais (ano, mês, dia, hora), bucket e truncagem, e gera caminhos de diretório de partição compatíveis com Iceberg.
    • Coleta de estatísticas de arquivos de dados - Durante as operações de gravação, o Prestissimo coleta e relata estatísticas essenciais de arquivos de dados para os arquivos de manifesto do Iceberg, incluindo contagem de registros, tamanho do arquivo e detalhes da partição.
    • Suporte para gravação de tabelas ordenadas — O Prestissimo oferece suporte à gravação de tabelas Iceberg ordenadas para permitir um desempenho otimizado de consultas para cargas de trabalho que se beneficiam de dados ordenados.

  • Spark sem servidor com capacidade flexível para o Plano Empresarial

    Capacidade sob demanda

    • No plano watsonx.data Enterprise, o mecanismo Spark oferece suporte a um modelo sem servidor, ao mesmo tempo em que oferece flexibilidade para alocar capacidade dedicada quando necessário.
    • A execução de tarefas Spark em uma plataforma sem servidor elimina a necessidade de nós dedicados para cada mecanismo Spark.
    • O ambiente Spark sem servidor fornece um pool compartilhado de nós com uma cota máxima de recursos de 8 vCPUs e 32 GB de memória.

    Esse comportamento se aplica a todas as novas watsonx.data instâncias, que agora têm escopo de conta.

    Capacidade dedicada

    • Para cargas de trabalho que exigem maior capacidade, você pode provisionar nós dedicados com configurações de memória personalizáveis. Para obter mais detalhes sobre capacidades sem servidor e sob demanda, consulte Gerenciando a capacidade do Spark.
    • O processo de criação do Spark Engine agora foi simplificado, concentrando-se apenas nos detalhes essenciais — nome do mecanismo, versão do Spark, bucket inicial e catálogos associados —, enquanto as tarefas de reserva de capacidade foram transferidas para uma nova guia Gerenciamento de capacidade na página de detalhes do mecanismo. Esta atualização remove a configuração de capacidade do fluxo de criação, tornando a configuração do motor mais rápida e menos complexa.
    • Depois de criar um mecanismo, você pode gerenciar tipos de VM, configurar conjuntos de nós e definir limites de fallback sob demanda na guia Capacidade.

    Esse comportamento se aplica a todas as novas watsonx.data instâncias, que agora têm escopo de conta.

    A cota máxima de recursos para o plano Enterprise é de 256 vCPUs e 1024 GB de memória. Para aumentar esse limite, entre em contato com IBM o suporte.

    Para obter mais detalhes sobre capacidades sem servidor e sob demanda, consulte Gerenciando a capacidade do Spark.

Persistência de componentes no nível da conta para instâncias do Plano Lite

Agora você pode manter componentes no nível da conta, como catálogos, bancos de dados, buckets e suas propriedades de metadados, independentemente de instâncias individuais. Quando uma instância é excluída, esses componentes permanecem acessíveis a partir de qualquer outra instância dentro da mesma conta e região. Esse comportamento se aplica a todas as novas instâncias do plano Lite, que agora são abrangidas pela conta.

Reutilização do nome do esquema em catálogos Iceberg para instâncias do plano Lite

Anteriormente, ao referenciar uma tabela usando um nome de três partes (<catalog>.<schema>.<table>), os nomes dos esquemas precisavam ser exclusivos em todos os catálogos dentro de uma watsonx.data instância. Essa restrição impedia a criação de esquemas com o mesmo nome em catálogos diferentes. Essa limitação é suspensa para catálogos Iceberg. Agora você pode reutilizar nomes de esquema em vários catálogos Iceberg. Por exemplo:

  • myiceberg_catalog1.abcschema.mytable
  • myiceberg_catalog2.abcschema.mytable

Esse comportamento se aplica a todas as novas instâncias do plano Lite, que agora são abrangidas pela conta.

Os nomes dos esquemas ainda devem ser exclusivos em outros tipos de catálogo, Hive como Delta e Hudi.

Aprimoramentos no gerenciamento de acesso

Esta versão do watsonx.data apresenta os seguintes aprimoramentos no gerenciamento de acesso:

  • Os administradores podem criar políticas de restrição baseadas no contexto e definir endereços IP confiáveis. Agora você pode configurar endereços IP confiáveis para permitir o acesso seguro à interface do usuário watsonx.data (UI) e à API para usuários designados. Esse recurso adiciona uma camada extra de proteção, garantindo que apenas o tráfego originado de endereços IP aprovados possa acessar a interface do usuário e a API. Quaisquer tentativas de acesso watsonx.data a partir de IPs fora do intervalo definido serão bloqueadas. Para obter mais informações, consulte Protegendo o acesso à interface do usuário com controles baseados em IP.

  • Um novo CPG leve está agora disponível como um plug-in para download, permitindo integração perfeita com qualquer mecanismo de política (por exemplo, ApacheIBM Knowledge Catalog Ranger, Collibra). Para obter mais informações, consulte Conector Common Policy Gateway(CPG).

Aprimoramentos de faturamento

Esta versão do site watsonx.data apresenta os seguintes aprimoramentos no recurso de faturamento:

  • A medição de watsonx.data componentes agora opera no nível de tempo de execução, capturando eventos de início, parada e pausa para cada tempo de execução vinculado a um mecanismo. Ele oferece visibilidade clara do consumo do motor e do uso de recursos. Para motores como Presto, isso continua sendo um mapeamento um-para-um, enquanto o Spark introduz vários subtipos de tempo de execução (por exemplo, Kernel, HistoryServer, Aplicativo), cada um rastreado individualmente para horas ativas e inativas. A interface do usuário refletirá essas alterações exibindo barras de atividades no nível do tempo de execução e links do histórico de eventos abrangendo cada tempo de execução, garantindo clareza e precisão. Para obter mais informações, consulte Experiência de medição e uso. Esse comportamento se aplica a todas as novas watsonx.data instâncias, que agora têm escopo de conta.
Aprimoramentos do plano Lite:

Esta versão watsonx.data apresenta as seguintes melhorias no plano Lite:

O provisionamento do plano Lite em agora watsonx.data foi simplificado com a remoção do suporte para vários casos de uso. Todas as novas instâncias são provisionadas com o caso de uso Generative AI padrão. A Engenharia de Dados e os casos Power BI de uso estão obsoletos e não estão mais disponíveis. O método de provisionamento CLI agora permite apenas o caso de uso Generative AI padrão, garantindo uma experiência consistente e simplificada.

OpenTelemetry aperfeiçoamento

Esta versão apresenta as watsonx.data seguintes melhorias na observabilidade e monitoramento para o mecanismo Presto ( Java ).

  • Agora você pode integrar OpenTelemetry com o mecanismo Presto ( Java ) para monitorar a execução de consultas e o desempenho do sistema. OpenTelemetry permite capturar dados de telemetria, como rastreamentos e métricas, que podem ser visualizados e analisados usando ferramentas como Instana, Prometheus e Grafana. Para mais informações, consulte OpenTelemetry.

  • Novos painéis Grafana Instana e - Agora você pode usar os painéis Grafana Instana e para monitorar o desempenho e fornecer uma visão mais abrangente da integridade e do desempenho do sistema. Para obter mais detalhes, consulte Painéis de suporte.

Aprimoramento do Query Optimizer

Esta versão apresenta as seguintes watsonx.data melhorias no Otimizador de Consultas.

  • O tempo limite padrão para reescrita de consultas do Otimizador de Consultas agora é configurável. A partir da versão 2.3, você pode alterar esse valor de tempo limite usando a API PATCH, atualizando a propriedade optplus.query-timeout-seconds. Para obter mais informações, consulte Atualização do tempo limite de reescrita de consulta para o Otimizador de Consultas.

  • Suporte para Hive e registro do metastore Iceberg no Otimizador de Consultas para instâncias Lite do watsonx.data.

    O Query Optimizer oferece suporte a tipos de metastore distintos para os catálogos Hive e Iceberg.

    Os usuários já podem se registrar:

    • Hive catálogos usando o tipo de metastore watsonx-data-hive.
    • Catálogos do Iceberg usando o tipo de metastore iceberg-rest.

    Esse aprimoramento permite um controle mais granular e compatibilidade com arquiteturas de metastore em evolução. O registro é feito usando o REGISTER_EXT_METASTORE procedimento com sintaxe e propriedades atualizadas.

    A partir desta versão, o suporte legado para o tipo de watsonx-data metastore unificado continuará a ser oferecido na versão Enterprise, mas não estará mais disponível para instâncias Lite. Para obter mais informações, consulte Sincronização manual do Query Optimizer com o metastore.

Suporte econômico ao HTTP protocolo no plano watsonx.data Lite

O Serviço de Metadados (MDS) agora watsonx.data executa o serviço Thrift através do HTTP protocolo em vez do protocolo binário anterior. Essa alteração afeta os pontos finais do serviço e as configurações de conexão.

Principais alterações:

  • O Protocolo MDS Thrift (thrift://) é alterado para Thrift Over HTTP (https://).
  • O account_id é obrigatório para todas as chamadas da API Thrift feitas ao Serviço MDS Thrift através de HTTP.
  • O parâmetro catalog de consulta é necessário ao invocar APIs envolvendo o catálogo Iceberg.

Para o Spark e Presto os motores dentro do watsonx.data, essas atualizações são aplicadas automaticamente tanto para catálogos novos quanto para catálogos migrados. Para motores externos, como Spark, Db2, e Netezza, os usuários devem atualizar manualmente as configurações de conexão para refletir o novo protocolo, porta e parâmetro de consulta.

Aprimoramentos no Serviço de Metadados Multilocatário (MDS)

Esta versão watsonx.data apresenta as seguintes melhorias no MDS.

  • AccountId agora é necessário para todas as chamadas diretas ao serviço MDS REST (Catálogo Iceberg e Catálogo Unity). As solicitações que não incluírem este cabeçalho falharão.
  • O ponto final para as operações do Iceberg agora foi atualizado de /mds/iceberg para /api/v1/iceberg.

Para obter mais informações, consulte a Documentação da API.

Aprimoramentos da CLI do CPDCTL

Esta versão do watsonx.data apresenta os seguintes aprimoramentos na interface de linha de comando do IBM Cloud Pak for Data ( IBM cpdctl):

  • A compatibilidade com versões anteriores foi ativada para os bucket comandos, engine``service, ingestion component, e no CPDCTL.

A partir da versão 1.8.85 CPDCTL, esses comandos agora podem se conectar a watsonx.data versões anteriores à versão 2.2.1, garantindo uma integração e compatibilidade mais suaves entre os ambientes.

  • Uma nova opção no comando wx-data bucket list-objects``bucket lista os objetos em um bucket adicionados em watsonx.data. Para obter detalhes sobre as operações relacionadas bucket ao comando em watsonx.data, consulte bucket.

  • Uma flag oculta como solução alternativa agora --en-apikey está disponível para lidar com casos extremos em que a --api-key flag falha na validação nos sparkjob create comandos tablemaint e. Para obter mais informações, consulte Informações adicionais sobre o uso e exemplos do comando cpdctl wx-data.

Interface de chat com tecnologia de IA genérica em watsonx.data

Agora você pode conversar com uma interface de chat alimentada por inteligência artificial, watsonx.data o Assistente, para fazer perguntas sobre IBM® watsonx.data. O assistente responde às suas perguntas com watsonx.data base no seu conhecimento sobre a IBM documentação do produto. Ajuda a explorar e aprender sobre o produto de maneira mais fácil e rápida. Para ativar o recurso e começar a usá-lo, consulte watsonx.data Assistente - interface de genAI bate-papo com tecnologia avançada.

Serviço de recuperação

Esta versão apresenta as watsonx.data seguintes melhorias no Serviço de Recuperação:

  • Agora você pode configurar o modelo gpt-oss-120b de IA para o Serviço de Recuperação no nível da instância no watsonx.data console. Para obter informações sobre como configurar o modelo de IA para o Serviço de Recuperação, consulte Configurar o modelo de IA para o Serviço de Recuperação.
Aumento da ingestão

Esta versão watsonx.data apresenta as seguintes melhorias na ingestão:

  • Um novo botão está disponível no painel de destino da tela de ingestão para controlar o modo de exclusão para tabelas no formato Iceberg ingeridas com Copy-on-Write (COW) como modo padrão. A mudança para o modo Mesclar ao ler permite a exclusão em nível de linha durante a ingestão.
Recursos descontinuados

Os seguintes recursos foram descontinuados nesta versão:

  • Os nomes de usuário ibmlhapikey e ibmlhtoken usados para autenticação de usuário foram anunciados como obsoletos a partir da versão 2.2.0 e marcados para remoção. Agora, o 2.3.0 suporte foi completamente removido.

Para autenticar, você deve usar o novo formato:

ibmlhapikey_<username>

ibmlhtoken_<username>

Para obter mais informações, consulte Gerenciamento de acesso e governança em watsonx.data.

Recursos de visualização da tecnologia

Para esta versão, atualizações e aprimoramentos adicionais estão disponíveis nos recursos do Technology Preview. Para revisar as atualizações da prévia tecnológica desta versão, consulte Pré-visualização tecnológica 2.3.

13 de novembro de 2025 - Versão 2.2.2 Novo recurso 1 ( NF1 )

NF12.2.2watsonx.data A versão está sendo lançada em diferentes regiões geográficas em etapas e não está disponível em todas as regiões. Para saber se a 2.2.2NF1 versão está disponível na sua região, entre em contato com IBM o Suporte.

Recursos de visualização da tecnologia
Para esta versão, atualizações e aprimoramentos adicionais estão disponíveis nos recursos do Technology Preview. Para revisar as atualizações do Technology Preview desta versão, consulte Technology preview 2.2.2 NF1.
Recursos descontinuados
Os casos de uso de BI de alto desempenho e engenharia de dados estão obsoletos ao criar uma instância do watsonx.data Lite por meio da interface do usuário. Você ainda pode criar uma instância do watsonx.data Lite com esses casos de uso usando a CLI. No entanto, esses casos de uso serão removidos da CLI na versão 2.3.1.

31 de outubro de 2025 - Versão 2.2.2

Aprimoramentos no motor e nos serviços

Esta versão do watsonx.data apresenta os seguintes aprimoramentos de mecanismo e serviço:

  • Milvus em watsonx.data agora suporta os seguintes tipos de armazenamento externo para armazenar dados vetoriais, arquivos de índice e registros binários: Google Cloud Storage (GCS), Azure Data Lake Storage (ADLS) Gen1 e S3-compatible tipos de armazenamento.
  • Milvus a funcionalidade de dimensionamento agora está desativada para o tamanho da camiseta Starter. Não é mais possível dimensionar o tamanho da camiseta Milvus Starter para qualquer outro tamanho. O redimensionamento para o Starter a partir de uma configuração maior também não é permitido.
Fontes de dados e aprimoramentos de armazenamento

Esta versão do site watsonx.data apresenta as seguintes fontes de dados e aprimoramentos de armazenamento:

  • Agora você pode aplicar as políticas de governança do IBM Knowledge Catalog à fonte de dados, Teradata. Para obter mais informações, consulte Conexão com IBM Knowledge Catalog(IKC).
  • Agora é possível criar um armazenamento em um estado ativo sem associá-lo a um catálogo. Esse aprimoramento elimina a necessidade de ativação manual.
  • Agora você pode ativar e desativar os recursos de ACL em um armazenamento habilitado para ACL na visualização de topologia. Para obter mais informações, consulte Como desativar ou ativar a ACL em um armazenamento habilitado para ACL.
  • Agora, você pode usar o GlusterFS,, um sistema de arquivos distribuídos escalonável, como um backend de armazenamento compatível com o MinIO. Para obter mais informações, consulte Configuração do armazenamento replicado GlusterFS com MinIO.
  • Agora você pode configurar qualquer armazenamento de objeto compatível com S3 em watsonx.data usando a opção Custom S3 Storage. Para obter mais informações, consulte Armazenamento personalizado em S3.
  • Agora você pode atualizar as credenciais para Azure Data Lake Storage (ADLS) e Google Cloud Storage.
  • Agora você pode optar por salvar os detalhes da conexão no banco de dados do console de instância ou no catálogo padrão dentro da plataforma de dados para as seguintes fontes de dados:
    • IBM Db2
    • IBM Netezza
    • MySQL
    • Oracle
    • PostgreSQL
    • Snowflake
    • SQL Server
Delta Lake catálogos agora disponíveis com a extensão de controle de acesso do Spark

Agora você pode usar os catálogos Delta Lake com a extensão de controle de acesso do Spark, permitindo maior segurança durante os envios de aplicativos Spark. O recurso traz autorização adicional, garantindo que somente usuários autorizados possam acessar e operar os catálogos do watsonx.data por meio de trabalhos do Spark. Para obter mais informações, consulte Aumentando o envio de aplicativos Spark usando a extensão de controle de acesso do Spark.

Personalize a carga útil de seu aplicativo Spark

Ao enviar um aplicativo Spark em watsonx.data, você pode personalizar o payload do aplicativo para incluir os seguintes recursos:

  • Chaves de idempotência: Garante que os envios de aplicativos sejam processados apenas uma vez, mesmo em casos de falhas de comunicação entre cliente e servidor.
  • Controles de tempo de execução máximo: Define um tempo máximo de execução para aplicativos Spark. Se o tempo limite não for especificado, os trabalhos continuarão a ser executados até a conclusão, independentemente do tempo que levarem.

Para obter mais informações, consulte Personalização de parâmetros para envio de aplicativos Spark.

Gateway de política comum (CPG)

O provisionamento do CPG (Common Policy Gateway) agora é opcional. Você pode criar uma instância do watsonx.data sem provisionar automaticamente o CPG, a menos que um mecanismo de política seja explicitamente necessário. Com esse recurso, o provisionamento de CPG agora é totalmente opcional e reversível. Se for necessário um mecanismo de política do cliente, como o Ranger ou o IKC, o CPG poderá ser provisionado posteriormente. Para obter mais informações, consulte Ativação ou desativação de mecanismos comuns de gateway de política.

Aprimoramentos da CLI do CPDCTL

Esta versão do watsonx.data apresenta os seguintes aprimoramentos na interface de linha de comando do IBM Cloud Pak for Data ( IBM cpdctl):

  • Use o novo grupo de comandos access-control para gerenciar as políticas de acesso aos recursos na instância watsonx.data, incluindo visualização, atualização e revogação de acesso para usuários e grupos. Para obter mais informações, consulte controle de acesso.
Aprimoramentos do gerenciador de dados

Os usuários agora podem criar esquemas com caminhos personalizados para visualizar e sincronizar dados em um nível mais granular. Com esse novo recurso, os usuários podem sincronizar apenas um diretório específico (por exemplo, /test1 ou /test1/schema1 ) para recuperar tabelas nesse caminho, em vez de sincronizar todo o catálogo. Esse recurso de sincronização direcionada melhora o desempenho e a precisão do gerenciamento de dados.

Aprimoramentos de integração

IBM watsonx.data agora oferece suporte ao rastreamento de linhagem em nível de coluna para Presto por meio da integração com o Manta. Com esse aprimoramento, os usuários agora podem explorar dependências detalhadas de colunas, relacionamentos e alterações de metadados, permitindo insights mais profundos sobre os fluxos de dados e melhorando a rastreabilidade nos pipelines.

Recursos descontinuados

O pacote IBM Client está obsoleto e a instalação e o suporte do pacote ibm-lh-client não estarão disponíveis a partir da versão 2.3.0 do watsonx.data. Os utilitários e comandos do pacote Client são substituídos pelo IBM CPDCTL CLI. Os usuários são incentivados a migrar e explorar o CPDCTL. Para obter mais informações sobre como usar IBM CPDCTL CLI, consulte IBM cpdctl.

Use as seguintes ferramentas disponíveis para obter funcionalidades equivalentes do pacote Client:

  • python-run / dev-sandbox- Use o ambiente padrão Python para desenvolver e executar scripts Spark.
  • presto-run / Presto CLI – Use o Presto CLI oficial para executar consultas SQL em watsonx.data.
  • cert-mgmt- Use o JVM keytool para gerenciar os certificados HTTPS.

23 de setembro de 2025 - Versão 2.2.1 Introdução de novas funcionalidades (NFI)

Notas de lançamento da versão 2.2.1 NFI do watsonx.data como serviço no IBM Cloud com a experiência de IA generativa, consulte IBMwatsonx.data como serviço versão 2.2.1 Novas funcionalidades introduzidas(NFI).

Aprimoramento do serviço de metadados
O Serviço de Metadados (MDS) em watsonx.data agora oferece suporte à emissão de credenciais fornecidas por meio das APIs REST do Iceberg e do Unity. Ao solicitar credenciais temporárias, os consumidores de metadados externos agora podem acessar com segurança os dados do armazenamento de objetos sem a necessidade de gerenciar chaves de acesso de longa duração.

O recurso de suporte a credenciais vendidas em watsonx.data está disponível apenas para armazenamentos como Amazon S3, Google Cloud Storage (GCS) e Azure Data Lake Storage (ADLS). Para habilitar o suporte a credenciais vendidas para Amazon S3 armazenamento, os consumidores de metadados precisam especificar o campo Role ARN (Amazon Resource Name) quando o S3 componente for registrado no watsonx.data. Para obter mais detalhes, consulte Adicionando Amazon S3 armazenamentos.

11 de setembro de 2025 - Versão 2.2.1

Aprimoramentos no motor e nos serviços

Esta versão do site watsonx.data apresenta os seguintes aprimoramentos de mecanismo e serviço:

  • Introduzida a versão v3 da API watsonx.data. Você pode continuar a usar a versão v2 até a versão watsonx.data 2.3. Consulte a documentação da API(v3 ).
  • Agora você pode provisionar o mecanismo watsonx.data Spark com o tempo de execução do Spark definido como Spark 4.0, o que permite executar aplicativos Spark no Spark 4.0. Para obter detalhes sobre as versões compatíveis do Spark, consulte Versão compatível do Spark.
  • O serviço Milvus em watsonx.data agora está atualizado para a versão 2.5.12.
  • Agora você pode usar a ferramenta de backup de código aberto Milvus para fazer backup e restaurar dados de Milvus em watsonx.data.
  • O mecanismo Spark acelerado pelo Gluten em watsonx.data agora pode executar aplicativos usando a versão do Spark 3.5. Para obter detalhes sobre as versões compatíveis do Spark, consulte Versão compatível do Spark.
  • Agora você pode usar o Vector Transport Service (VTS) com Milvus em watsonx.data para migrar ou gerenciar dados vetoriais entre sistemas. Para obter mais detalhes, consulte Uso do Vector Transport Service.
Aprimoramento do Query Optimizer

Agora você pode monitorar as melhorias no desempenho da consulta por meio do painel do otimizador. O otimizador está gerenciando ativamente os planos de consulta dos catálogos associados e melhorando o desempenho dos mecanismos Presto (C++). Para obter mais detalhes, consulte Gerenciamento de atualizações estatísticas do painel do Optimizer.

Aprimoramentos no gerenciamento de acesso

Esta versão do watsonx.data apresenta os seguintes aprimoramentos no gerenciamento de acesso:

  • O gerenciamento de privilégios de um serviço Milvus em watsonx.data agora inclui os seguintes privilégios globais:

    • DescribeDatabase- Fornece informações detalhadas sobre o banco de dados especificado.

    • AlterDatabase- Modifica as propriedades de um banco de dados existente.

Para obter mais detalhes sobre o gerenciamento do acesso de usuários em Milvus, consulte Funções e permissões predefinidas em watsonx.data.

Aprimoramentos da CLI do CPDCTL

Esta versão do watsonx.data apresenta os seguintes aprimoramentos na interface de linha de comando do IBM Cloud Pak for Data ( IBM cpdctl):

  • A partir da versão do CPDCTL 1.8.25, a compatibilidade é limitada à versão watsonx.data 2.2.1 e superior. Essa alteração se deve à descontinuidade do suporte à API v2 como parte da grande atualização para as APIs v3. Para usuários de versões anteriores do CPDCTL, consulte o arquivo de versões do CPDCTL.

    Alguns comandos podem ter sido alterados devido a atualizações na especificação da API. Use a opção --help para revisar e se adaptar à sintaxe de comando mais recente.

  • A partir da versão watsonx.data 2.2.1, você pode usar o HashiCorp Vault por meio do cpdctl para gerenciamento seguro de segredos e fluxos de trabalho de automação simplificados.

  • Uma nova opção no comando service wx-data service generate-engine-dump permite que você gere despejos para os nós de trabalho e de coordenação Presto em watsonx.data. Para obter detalhes sobre o comando service para operações relacionadas à capacidade de manutenção em watsonx.data, consulte service.

  • Use o novo comando component para recuperar detalhes de configuração e status de vários componentes em watsonx.data. Para obter detalhes sobre o comando component para obter os detalhes de configuração de vários componentes em watsonx.data, consulte Comandos e uso do wx-data.

  • A partir da versão do CPDCTL 1.8.5, os usuários não precisam mais definir instance ID como uma variável de ambiente. Este método está obsoleto e será removido em uma versão futura. Em vez disso, defina o instance ID diretamente usando o comando profile. Para obter detalhes sobre a configuração de instance ID como variável de ambiente, consulte comandos de configuração e uso.

Fontes de dados e aprimoramentos de armazenamento

Agora você pode importar catálogos e projetos da plataforma de dados para as seguintes fontes de dados:

  • IBM Db2
  • IBM Netezza
  • MySQL
  • Oracle
  • PostgreSQL
  • Snowflake
  • SQL Server
Automação semântica para enriquecimento de dados

watsonx.data agora suporta recursos de pesquisa semântica que permitem aos usuários consultar dados usando linguagem natural, tornando a exploração de dados mais intuitiva e eficiente. Para obter detalhes sobre os recursos de pesquisa semântica, consulte Realização de pesquisas semânticas em watsonx.data.

Aprimoramentos da visualização pública

Os recursos de visualização pública agora podem ser acessados na interface de usuário Configurações. Agora você pode acessar e gerenciar facilmente os recursos de visualização pública do watsonx.data na interface do usuário Configurations. Os recursos em visualização pública são destacados com uma tag Preview, facilitando sua identificação. Você pode ativar ou desativar os recursos para explorar a funcionalidade. Cada recurso de visualização pública inclui um link para sua documentação detalhada, permitindo que você saiba mais sobre ele. Para obter mais detalhes sobre os recursos de visualização pública, consulte O que há de novo em watsonx.data(visualização pública).

Recursos descontinuados

Os seguintes recursos foram descontinuados nesta versão:

  • watsonx.data A versão da API v2 está obsoleta

watsonx.data A versão da API v2 foi completamente removida da edição para desenvolvedores watsonx.data a partir da versão 2.2.1. Ele será completamente removido da edição do software watsonx.data na versão 2.3. Você deve migrar para a versão mais recente da API compatível ( v3 ) para garantir a compatibilidade contínua e o acesso a novos recursos.

05 de agosto de 2025 - Versão 2.2.0 Novo recurso 1 ( NF1 )

Suporte para tipos de dados BLOB e CLOB

O suporte aos tipos de dados BLOB e CLOB em watsonx.data agora está atualizado para se alinhar ao padrão SQL, que Presto segue como um mecanismo de consulta federado.

Leia o suporte: BLOBs e CLOBs podem ser lidos em sistemas federados baseados em JDBC. Quando lidos, eles são mapeados da seguinte forma:

  • BLOB para VARBINARY
  • CLOB para VARCHAR

Suporte à escrita: Também há suporte para a gravação de dados BLOB e CLOB, que são tratados da seguinte forma:

  • VARBINARY para dados binários
  • VARCHAR para dados de caracteres

Criar suporte de tabela: Você não pode usar BLOB ou CLOB como tipos de coluna ao criar novas tabelas. Somente VARBINARY e VARCHAR são compatíveis com esses casos de uso.

Atualização da versão do motor

Os mecanismos Presto ( Java ) e Presto (C++) agora estão atualizados para a versão 0.294.

Conectando-se ao watsonx BI

Agora você pode conectar o watsonx.data com o IBM watsonx BI para acessar diretamente os dados disponíveis em diferentes fontes de dados, facilitando o uso dos dados por cientistas e analistas de dados. Para obter informações sobre como se conectar ao watsonx BI, consulte Integração com o watsonx BI.

Aprimoramento do plano Lite

Esta versão do watsonx.data apresenta os seguintes aprimoramentos do plano Lite:

  • Mecanismo Spark sem servidor para o plano Lite: O mecanismo Spark na instância do plano watsonx.data Lite opera em um modelo sem servidor. Agora você pode executar trabalhos do Spark em uma plataforma sem servidor, eliminando a necessidade de nós dedicados para cada mecanismo do Spark. O Spark sem servidor permite um limite máximo de cota de recursos de 8 vCPU×32 GB, em que os usuários podem acessar um pool compartilhado de nós. Os tempos de execução do Spark são agendados em quaisquer nós disponíveis no plano de dados, em vez de em um nó dedicado. Para obter informações sobre como provisionar uma instância do plano Lite e criar um mecanismo Spark nela, consulte Provisionamento de um mecanismo Spark sem servidor para o plano Lite.

  • Uma nova configuração de tamanho Lite foi introduzida para o mecanismo Presto ( Java ), oferecendo uma configuração de implantação de nó único para fins de experimentação e desenvolvimento em estágio inicial. O mecanismo Lite Presto ( Java ) está disponível somente nas instâncias do plano watsonx.data Lite. Para obter mais informações, consulte Provisionamento de um mecanismo Presto(Java ).

Aumento da ingestão

Esta versão do watsonx.data inclui o seguinte aprimoramento de ingestão:

O formato de arquivo.txt agora é aceito para a ingestão de dados. Esse aprimoramento amplia a flexibilidade, permitindo que os usuários façam upload de arquivos de texto sem problemas, juntamente com os formatos suportados existentes.

Aprimoramentos de serviço

Agora você pode configurar o tempo limite da consulta usando duas configurações: Tempo máximo de execução da consulta e Tempo limite do cliente de consulta. Para obter mais informações, consulte Gerenciamento de configurações de usuário em watsonx.data: Tempo limite da sessão, Tempo limite da consulta e Configurações de mensagem de login

11 de julho de 2025

Uma nova versão do watsonx.data foi lançada em 11 de julho de 2025 com a seguinte alteração:

Disponibilidade de nova região
watsonx.data em AWS já está disponível na região de Mumbai.

07 de julho de 2025 - Versão 2.2.0 Hotfix 1

A versão 2.2 hotfix de watsonx.data foi lançada em 07 de julho de 2025. Essa versão inclui atualizações e correções de segurança.

11 de junho de 2025 - Versão 2.2.0

Aprimoramentos no motor e nos serviços

Esta versão do site watsonx.data apresenta os seguintes aprimoramentos de mecanismo e serviço:

  • Introduziu novas versões de API para conexão a um serviço Milvus usando uma rota de host proxy. Para obter mais informações, consulte Conexão com o serviço Milvus.
  • Para os mecanismos Presto (C++), os catálogos Hive e Iceberg agora estão ativados com a configuração de região. Para obter mais informações, consulte Provisionamento de um mecanismo Presto(C++).
  • Novo mecanismo Spark acelerado por Gluten: agora você pode provisionar o mecanismo Spark acelerado por Gluten e usá-lo para executar cargas de trabalho analíticas complexas, aproveitando a alta escalabilidade da estrutura Spark SQL e o alto desempenho das bibliotecas nativas. Para obter informações sobre como trabalhar com o novo mecanismo do Spark acelerado pelo Gluten, consulte Trabalho com o mecanismo do Spark acelerado pelo Gluten.
  • Execute consultas mais rápidas no espaço de trabalho usando um trabalho do Spark para transformar os dados da tabela Iceberg: Para acelerar a leitura das tabelas Iceberg, agora você pode usar um trabalho do Spark para transformar os dados da tabela Iceberg do formato Merge-on-Read (MOR) para o formato Copy-on-Write (COW). Para obter mais informações, consulte Envio de trabalhos do Spark para conversão de MoR para CoW.
  • Você pode usar a funcionalidade da API do Spark para configurar o limite de aplicativos que podem ser listados e os critérios de filtragem que você pode usar para filtrar os aplicativos do Spark.
Aprimoramentos da CLI do CPDCTL

Esta versão do watsonx.data apresenta os seguintes aprimoramentos na interface de linha de comando do IBM Cloud Pak for Data ( IBM cpdctl):

  • Você pode usar o comando tablemaint para executar diferentes operações de manutenção de tabelas do Iceberg em watsonx.data.

  • Você pode usar o comando wx-data service para executar várias operações relacionadas à capacidade de serviço, como listar tabelas, recuperar a lista de buckets habilitados para QHMM e monitorar estatísticas e consultas relacionadas ao QHMM.

Para obter mais informações, consulte IBM cpdctl.

Aprimoramentos de integração

Esta versão do watsonx.data apresenta a seguinte integração aprimorada com outros serviços:

  • Novo método de entrega: Entregar como uma tabela em watsonx.data

Os produtos de dados que usam fontes de dados compatíveis agora podem ser entregues em sua instância de tabelas watsonx.data usando o método entregar como uma tabela em watsonx.data. Esse método permite que os usuários com as permissões adequadas criem novas tabelas ou anexem tabelas existentes. Para obter mais informações, consulte Integração com Data Product Hub.

  • Novo método de entrega: Acesso em watsonx.data

Agora você pode se inscrever em um produto de dados criado a partir da instância watsonx.data usando o método de entrega access in watsonx.data. Esse método permite que os consumidores acessem diretamente os recursos do watsonx.data por meio do Data Product Hub. Após a entrega, os consumidores verão detalhes sobre como acessar a instância watsonx.data e os recursos específicos aos quais eles têm acesso. Para obter mais informações, consulte Integração com Data Product Hub.

  • Agora você pode se conectar ao servidor de consultas do Spark das seguintes maneiras e executar consultas para analisar seus dados.

    • Usando o DBeaver (clientes JDBC )
    • Usando o código Java ( JDBC Client)
    • Usando Python ( PyHive JDBC Client)

    Para obter mais informações, consulte Conexão ao servidor de consulta do Spark usando o Spark JDBC Driver.

Aprimoramentos de faturamento

Esta versão do site watsonx.data apresenta os seguintes aprimoramentos no recurso de faturamento:

  • Granularidade do faturamento: Os usuários agora poderão visualizar seus extratos de cobrança em um formato detalhado, oferecendo maior granularidade e transparência
  • Precisão do faturamento: O uso do faturamento do usuário agora será rastreado em um nível por minuto, substituindo o método anterior de marca d'água alta
Aprimoramento do monitoramento e gerenciamento do histórico de consultas (QHMM)

Esta versão do site watsonx.data apresenta o seguinte aprimoramento do QHMM:

A página de monitoramento de consultas foi removida da configuração do assistente de início rápido e foi consolidada com a página Configurar um bucket. Agora, você pode ativar, desativar e configurar os detalhes de armazenamento do QHMM diretamente na página atualizada Configure a bucket (Configurar um bucket) disponível no assistente de início rápido. Para obter informações sobre a configuração atualizada do assistente de início rápido, consulte Início rápido.

Fontes de dados e aprimoramentos de armazenamento

Esta versão do watsonx.data inclui o seguinte aprimoramento de armazenamento:

Agora você pode usar o site SQL Server com a autenticação NTLM (New Technology LAN Manager) e a autenticação Microsoft Entra. O NTLM é um método de autenticação baseado em desafio e resposta do Windows. Para obter mais informações, consulte SQL Server.

Agora você pode criar o seguinte armazenamento em um estado ativo por padrão:

  • IBM Cloud Object Storage
  • Amazon S3
  • IBM Storage Ceph
  • MinIO
  • Google Cloud Storage
  • Azure Data Lake Storage
  • Apache Ozone
Aprimoramentos no gerenciamento de acesso

Esta versão do watsonx.data apresenta os seguintes aprimoramentos no gerenciamento de acesso:

  • Você pode usar a funcionalidade de exportação para fazer o download das políticas de recursos existentes e importá-las para outro ambiente necessário. Isso garante a consistência e ajuda a facilitar a migração. Para obter informações sobre como usar a funcionalidade de importação e exportação, consulte Gerenciamento do acesso do usuário.
  • Agora, um administrador de catálogo ou um usuário que pertença a um grupo com função de administrador pode remover seu acesso ao catálogo. Para obter mais informações sobre como remover um usuário de um componente, consulte Gerenciamento do acesso do usuário.
  • Os usuários não administradores têm acesso somente de leitura e agora podem visualizar a página Driver Manager na seção Configurations (Configurações). Isso permite que eles vejam a lista de motoristas ativos e seus detalhes sem a necessidade de consultar um administrador. Para obter mais informações, consulte Gerenciador de drivers.
Aprimoramentos de auditoria e rastreamento

Esta versão do site watsonx.data apresenta os seguintes aprimoramentos de auditoria e rastreamento:

A lista de eventos rastreáveis agora inclui atividades detalhadas relacionadas ao servidor MDS Thrift e ao servidor MDS Rest, fornecendo informações sobre como os aplicativos e os usuários estão interagindo com esses componentes essenciais. Para obter informações, consulte Eventos do servidor MDS Thrift e Eventos do servidor MDS Rest.

Recursos descontinuados

Os seguintes recursos foram descontinuados nesta versão:

  • As APIs Milvus que usam o host REST (APIs com o prefixo /api/v1 ) estão obsoletas a partir de watsonx.data v2.2.

  • Azure O Data Lake Storage (ADLS) Gen1 está obsoleto e será removido em uma versão futura. Você deve fazer a transição para o ADLS Gen2 porque o ADLS Gen1 não está disponível.

  • O método de autenticação de usuário que usa ibmlhapikey e ibmlhtoken como nome de usuário está obsoleto e será removido em uma versão futura. Em vez disso, você pode usar ibmlhapikey_<username> e ibmlhtoken_<username>. Para obter mais informações, consulte Gerenciamento de acesso e governança em watsonx.data.

10 de abril de 2025 - Versão 2.1.2 Hotfix 1

Aprimoramentos no motor e nos serviços

Esta versão do site watsonx.data apresenta o seguinte aprimoramento de serviço:

Introduzimos o Tiny Milvus, uma implantação leve e de nó único do banco de dados de vetores Milvus, adaptado para experimentação e desenvolvimento em estágio inicial.

O Tiny Milvus fornece a experiência central do Milvus e foi projetado especificamente para uso na plataforma watsonx.ai. Ele serve como um ponto de entrada para a exploração de IA baseada em vetores com requisitos mínimos de recursos para ajudar a garantir o gerenciamento e a análise eficazes dos dados. Ele é diferente de outras configurações do Milvus disponíveis no watsonx.data, que oferecem suporte a escalabilidade mais ampla e recursos de nível empresarial.

O Tiny Milvus suporta até 10K vetores, o que o torna adequado para testes rápidos e experimentos iniciais sem infraestrutura pesada. Não se destina a cargas de trabalho de produção.

Para obter mais informações sobre o uso do Tiny Milvus, consulte Configuração de um armazenamento de vetores watsonx.data Milvus.

04 de abril de 2025 - Versão 2.1.2

Fontes de dados e aprimoramentos de armazenamento

Esta versão do watsonx.data inclui o seguinte aprimoramento de armazenamento:

Agora você pode se conectar à IBM Db2 for i fonte de dados. Para obter informações sobre IBM Db2 for i, consulte IBM Db2 for i.

Aprimoramentos de conectividade

Esta versão do site watsonx.data inclui os seguintes aprimoramentos de conectividade:

Agora você pode se conectar de forma segura e privada a uma instância do watsonx.data usando pontos de extremidade privados virtuais. Para obter informações sobre a configuração de pontos de extremidade de rede em watsonx.data, consulte Configuração de pontos de extremidade privados virtuais.

Aprimoramentos de integração

Esta versão do watsonx.data apresenta as seguintes integrações aprimoradas com outros serviços:

  • Agora, você pode definir as políticas de governança do IBM Knowledge Catalog para o mecanismo Presto (C++) ao fazer a integração com o watsonx.data. Para obter informações sobre a conexão com IBM Knowledge Catalog (IKC), consulte Conexão com IBM Knowledge Catalog(IKC).
  • Agora você pode exportar arquivos de configuração para o mecanismo Presto de destino, com base na seleção do driver ODBC (Simba ou CData), para estabelecer conexões mais facilmente com watsonx.data. Esse aprimoramento evita que você configure manualmente os detalhes do mecanismo Presto usando PowerBI. Para obter mais informações sobre como se conectar a Presto usando os arquivos de configuração, consulte Conexão a Presto usando os arquivos de configuração.
  • Integração com Data Product Hub: Você pode integrar watsonx.data com DPH para empacotar tabelas e consultas SQL em produtos de dados adaptados para casos de uso específicos. Para obter detalhes, consulte Integração com Data Product Hub.
Aumento da ingestão

Esta versão do watsonx.data inclui o seguinte aprimoramento de ingestão:

Os trabalhos de ingestão que usam um mecanismo Spark externo agora fornecem registros em watsonx.data. Esse aprimoramento permite que os usuários identifiquem e solucionem problemas de execução de trabalhos de forma eficaz diretamente na plataforma de nuvem watsonx.data (instância SaaS ). Os detalhes do procedimento de ingestão estão disponíveis em Ingestão de dados usando o Spark por meio do console da Web.

Aprimoramentos no motor e nos serviços

Esta versão do site watsonx.data apresenta os seguintes aprimoramentos de mecanismo e serviço:

Agora você pode usar o Azure Data Lake Storage Gen2 com AccessKey Authmode com o mecanismo Spark para armazenar seus dados enquanto envia aplicativos Spark. Para obter informações sobre Azure Data Lake Storage Gen2, consulte Azure Data Lake Storage.

Aprimoramentos do espaço de trabalho de consulta

Esta versão do site watsonx.data apresenta o seguinte aprimoramento do espaço de trabalho de consulta:

Agora você tem a opção de cancelar uma ou várias consultas em execução. Além disso, você pode remover as consultas da planilha depois que elas forem canceladas ou concluídas com êxito, facilitando a organização do seu espaço de trabalho. Para obter mais informações, consulte Execução de consultas SQL.

Aprimoramentos no gerenciamento de acesso

Esta versão do watsonx.data apresenta os seguintes aprimoramentos no gerenciamento de acesso:

  • Os administradores agora podem configurar o acesso para IBM Db2 e IBM Netezza. Eles podem atribuir funções aos usuários de watsonx.data para visualizar, editar e administrar os mecanismos IBM Netezza e IBM Db2. Para obter informações sobre as permissões em nível de recurso, consulte (Db2 e Netezza ).
  • Os administradores agora podem conceder ou revogar permissões específicas a usuários ou funções ao criar e visualizar seus próprios esquemas. Para obter informações sobre regras de política de dados, consulte Gerenciamento de regras de política de dados.
  • O fluxo de proxy DAS, que estava obsoleto anteriormente, foi removido e não está mais disponível em watsonx.data.
Aprimoramento do monitoramento e gerenciamento do histórico de consultas (QHMM)

Esta versão do site watsonx.data apresenta os seguintes aprimoramentos do QHMM:

  • Agora você pode selecionar o mecanismo Presto que está associado a um catálogo QHMM ao configurar o monitoramento de consultas em watsonx.data. Para obter informações sobre a configuração do QHMM, consulte Configuração do monitoramento de consultas.
  • Agora você pode usar o script de migração para transferir dados do QHMM do bucket de origem para o bucket de destino em watsonx.data. Para obter mais informações sobre o uso do script de migração, consulte Uso do QHMM Shell Script.
Aprimoramentos da CLI do CPDCTL

Esta versão do watsonx.data apresenta os seguintes aprimoramentos na interface de linha de comando do IBM Cloud Pak for Data ( IBM cpdctl):

  • A partir da versão 2.1.2, o comando wx-data está disponível por padrão, o que permite que você realize operações como ingestão, gerenciamento de mecanismos, etc., em watsonx.data.
  • Você pode usar os comandos wx-data engine create e wx-data engine delete para provisionar e excluir todos os mecanismos disponíveis em watsonx.data.
  • Você pode usar o comando sparkjob para enviar, listar e obter os detalhes de um aplicativo Spark.
  • INSTANCE_ID usado na configuração do ambiente da instância é substituído por WX_DATA_INSTANCE_ID.

Para obter mais informações, consulte IBM cpdctl.

28 de fevereiro de 2025 - Versão 2.1.1

Disponibilidade de nova região

watsonx.data já está disponível na região de Toronto para os planos Lite e Enterprise. Para provisionar, consulte o plano Provisioning watsonx.data Lite e o plano Provisioning watsonx.data Enterprise.

Fontes de dados e aprimoramentos de armazenamento

Esta versão do watsonx.data inclui os seguintes aprimoramentos de armazenamento:

  • Agora, você pode testar conexões para as seguintes fontes de dados e armazenamento:

    • Apache Phoenix
    • IBM Data Virtualization Manager
    • BigQuery
    • Google Cloud Storage

  • Agora é possível registrar e carregar tabelas Hudi e Delta pré-existentes externas em um armazenamento de objetos usando as APIs Register table e Load table metadata.

Aumento da ingestão

Após a conclusão de um trabalho de ingestão, agora é possível acessar os dados ingeridos diretamente na página Histórico de ingestão, o que agiliza o fluxo de trabalho e economiza tempo.

Aprimoramentos de integração

Esta versão do watsonx.data apresenta as seguintes integrações aprimoradas com outros serviços:

  • A página Informações sobre a conexão agora inclui:
    • Presto detalhes de configuração para a integração do DBT. Você pode copiar os detalhes de configuração do Presto que são necessários para a integração do DBT nessa página.
    • Opção para exportar o arquivo TDS, que inclui os detalhes de configuração do mecanismo Presto necessários para a integração do Tableau.

Para obter mais informações, consulte Obtenção de informações de conexão.

Aprimoramentos no motor e nos serviços

Esta versão do watsonx.data apresenta os seguintes aprimoramentos de mecanismo e serviço:

  • Agora você pode criar um aplicativo Spark na guia Aplicativos da página de detalhes do mecanismo Spark. Para obter mais informações, consulte Envio do aplicativo Spark a partir do Console.
  • Agora você pode usar a versão do Spark, 3.5.4, para executar os aplicativos em watsonx.data. Em watsonx.data, Apache Spark 3.4.4 e Apache Spark 3.5.4 estão as versões compatíveis.
  • Milvus permite o seguinte:
    • No site Milvus, agora você pode fazer uma pesquisa híbrida GroupBy com base em várias colunas de vetores e também personalizar o tamanho do grupo ao executar consultas de pesquisa. Para obter mais informações, consulte Conexão de watsonx Assistant a watsonx.data Milvus para pesquisa personalizada.
    • Milvus agora suporta tamanho personalizado com capacidade de 3 bilhões de vetores com um máximo de 1.024 dimensões.
    • Milvus agora permite aumentar ou diminuir a escala entre tamanhos de camiseta predefinidos (pequeno, médio e grande) ou tamanhos personalizados. Para obter mais informações, consulte Adição do serviço Milvus.
  • A partir da versão watsonx.data 2.1.1, há suporte para Milvus 2.5.0. Para obter mais informações, consulte Milvus.
Aprimoramentos no gerenciamento de acesso

Esta versão do watsonx.data apresenta os seguintes aprimoramentos no gerenciamento de acesso:

  • O Access Management Service (AMS) em watsonx.data agora pode usar a autenticação JSON Web Token (JWT) para solicitações de entrada de Presto, garantindo um controle de acesso seguro e eficiente. Para obter mais informações, consulte Conexão ao mecanismo Presto por meio da CLI(remota)do Presto.
  • Agora é possível atribuir usuários e funções a componentes de infraestrutura em lotes de vinte. Para obter mais informações, veja Gerenciando o acesso de usuário.
  • Agora você pode usar as políticas SQL do Apache Ranger Hadoop para controlar os dados com os mecanismos do Spark. É possível definir políticas Ranger quando o mecanismo Spark acessa dados de clusters Hadoop. A ativação da política Ranger garante segurança e governança robustas dos dados. Com a política do Ranger, você pode configurar a autorização de tabela ( L3 ), a filtragem em nível de linha e o mascaramento de colunas para os dados. Para obter mais informações, consulte Ativação da política do Apache Ranger para recursos.
Aprimoramentos da CLI do CPDCTL

IBM CPDCTL A CLI agora é usada para configurar e gerenciar diferentes operações em watsonx.data. Usando a CLI do CPDCTL, você pode gerenciar as definições de configuração, executar trabalhos de ingestão, gerenciar mecanismos, fontes de dados e armazenamentos. Os dois plug-ins a seguir são usados atualmente para executar essas operações:

  • config- Para configurar o ambiente e os usuários do serviço watsonx.data.

  • wx-data- Para executar outras operações, como ingestão, gerenciamento de mecanismos, etc., em watsonx.data. Para obter mais informações, consulte IBM cpdctl.

    watsonx.data A edição para desenvolvedores agora está habilitada na versão IBM v1.6.104 CPDCTL e posteriores.

Recursos descontinuados

Os seguintes recursos foram descontinuados nesta versão:

  • O recurso de proxy do Data Access Service (DAS) está obsoleto e será removido em uma versão futura. Não é possível usar o recurso de proxy do Serviço de Acesso a Dados (DAS) para acessar o armazenamento de objetos ( S3, ADLS e ABS). Se você usar o fluxo de proxy DAS e tiver algum problema, entre em contato com o suporte IBM. Para obter uma visão geral do recurso DAS, consulte Serviço de acesso a dados(DAS).

  • IBM O pacote Client está obsoleto e será removido em uma versão futura. Os utilitários e comandos do pacote Client são substituídos pelo IBM CPDCTL CLI. Para obter mais informações sobre como usar IBM CPDCTL CLI, consulte IBM cpdctl.

04 de fevereiro de 2025 - Versão 2.1.0 Hotfix 2

Aprimoramento do plano Lite
IBM® watsonx.data O plano Lite agora está disponível na região de Sydney. Para obter mais informações sobre como provisionar uma instância do plano Lite na região de Sydney, consulte Provisionamento do plano Lite.

10 de janeiro de 2025 - Versão 2.1.0 Hotfix 1

Aprimoramento do plano empresarial
Se você usar o IBM Cloud CLI para provisionar uma instância do plano Enterprise na região de Sydney, deverá usar o nome do plano lakehouse-enterprise-mcsp. Para obter mais informações, consulte Provisionamento de uma instância por meio da CLI.

13 de dezembro de 2024 - Versão 2.1.0

Fontes de dados e aprimoramentos de armazenamento

Esta versão inclui as seguintes novas fontes de dados e aprimoramentos de armazenamento:

  • Agora você pode se conectar a fontes de dados Apache Phoenix. Para obter mais informações, consulte Apache Phoenix

  • Se você trabalha com fontes de dados MySQL, agora pode gerenciar drivers na seção Gerenciador de drivers da página Configurações. Cada um desses drivers passa por uma série de etapas de validação. Você não pode mais testar as conexões MySQL. Para obter mais informações, consulte MySQL.

Quando você atualiza para a versão 2.1.0, qualquer catálogo MySQL existente não está mais vinculado ao mecanismo. Isso significa que você precisa restabelecer a conexão entre o MySQL catálogo e o mecanismo.

  • O recurso de conexão de teste agora está disponível para as seguintes fontes de dados compatíveis com o site Arrow Flight service:

    • Apache Derby
    • Salesforce
    • Greenplum
    • MariaDB

  • Agora você pode testar a conexão para o Azure Data Lake Storage (ADLS) e a fonte de dados do IBM Data Virtualization Manager for z/OS.

Aprimoramentos de integração

Esta versão do watsonx.data apresenta as seguintes integrações novas ou aprimoradas com outros serviços:

  • Agora você pode ativar a conexão Databand na página Configurações. Para obter mais informações, consulte Monitoramento de execuções de aplicativos Spark usando o Databand.

  • Agora você pode recuperar as informações de conexão Presto na instância watsonx.data > página Configurações > Informações de conexão para a seguinte integração:

    • Ferramentas de BI
    • DataBuildTool (dbt)

  • A partir da versão watsonx.data 2.1, você só pode fazer a integração com um dos seguintes mecanismos de política:

    • Apache Ranger
    • IBM Knowledge Catalog (IKC)

Para obter mais informações, consulte Informações sobre a conexão.

  • Agora você pode integrar o IBM Manta Data Lineage com watsonx.data para capturar e publicar trabalhos, execuções e eventos de conjunto de dados do Spark por meio da interface do usuário do Manta. Para obter mais informações, consulte IBM Manta Data Lineage.

  • Agora você pode usar todos os tipos de dados Presto com o adaptador dbt para o Presto. Especifique o tipo de dados como column_types no dbt_project.yml. Para obter mais informações, consulte Instalação e uso do watsonx.

Aprimoramentos no motor e nos serviços

Esta versão do watsonx.data apresenta os seguintes aprimoramentos de mecanismo e serviço:

Consultar informações de histórico usando o utilitário ibm-lh

Você pode obter as seguintes informações sobre o histórico de consultas usando o utilitário ibm-lh:

  • Informações básicas de consulta.
  • Informações básicas de erro de consultas com falha.
  • Consultar informações de estatísticas.
  • Consultar informações da memória.
  • Consultar informações sobre a coleta de lixo.
  • Consulta de tempo máximo.
  • Detalhes de uso de memória das consultas.
  • Informações após unir as duas tabelas.
  • Informações que contêm todas as colunas de uma tabela.
  • Informações sobre os erros na consulta.
  • Contagem de todos os códigos de erro.
  • Contagem de todas as mensagens de falha.
  • Contagem de todos os tipos de falha.

Para obter mais informações, consulte Recuperação de registros QHMM usando o utilitário ibm-lh.

Aprimoramentos de ingestão

Esta versão do watsonx.data apresenta os seguintes aprimoramentos de ingestão:

  • Visualização da tabela de destino: Antes de enviar um trabalho de ingestão, os usuários agora podem visualizar o esquema da tabela de destino e editar os cabeçalhos das colunas e os tipos de dados. Isso permite a validação e garante que os dados sejam ingeridos na estrutura correta da tabela. Para obter mais informações, consulte Ingestão de dados usando o Spark por meio do console da Web.

  • Ingestão Java para criação de tabelas: O Data Manager agora inclui uma opção para criar tabelas usando o fluxo de ingestão Java, navegando para Ingestão local, proporcionando flexibilidade e controle com base no tamanho do arquivo e em outros fatores. Para obter mais informações, consulte Criação de tabela e Ingestão de dados usando o Spark por meio do console da Web.

  • Suporte aprimorado ao armazenamento de origem:

    • Armazenamento do Lago de Dados Azure (ADLS): O suporte para ingestão de dados diretamente do ADLS já está disponível.
    • Google Cloud Storage (GCS): O suporte para ingestão de dados diretamente do GCS já está disponível.

  • Armazenamento temporário: Os usuários agora podem selecionar o bucket externo a ser usado como área de preparação para ingestões locais. Se nenhum armazenamento for especificado, watsonx.data poderá inferir e selecionar um bucket apropriado. Para obter mais informações, consulte Ingestão de dados usando o Spark por meio do console da Web.

Introdução ao serviço de metadados (MDS)

A partir da versão 2.1, watsonx.data usa o Metadata Service (MDS) em vez do Hive Metastore (HMS). O MDS é compatível com as APIs de catálogo modernas e abertas, a API de catálogo do Unity e a API de catálogo REST do Apache Iceberg, permitindo uma integração mais ampla de ferramentas e maior flexibilidade. Essa nova arquitetura oferece desempenho comparável e continua a oferecer suporte aos clientes Spark e Presto por meio da interface Thrift ou HMS existente. Para obter mais informações, consulte Visão geral do Serviço de Metadados(MDS).

Recomenda-se usar o MDS em seus ambientes de teste e depois passar a usá-lo na produção.

Recursos descontinuados

O recurso a seguir está obsoleto nesta versão:

  • O recurso da API REST para capturar alterações de DDL em watsonx.data por meio do ouvinte de eventos será descontinuado a partir da versão 2.1 de watsonx.data.

13 de novembro de 2024 - Versão 2.0.4 Hotfix

Aprimoramentos do plano Lite

Essa versão de hotfix inclui os seguintes aprimoramentos do plano Lite:

  • O plano Lite agora inclui um armazenamento IBM COS de amostra dedicado somente para leitura associado ao mecanismo Presto para oferecer suporte à consulta de dados de amostra e de benchmarking.

  • Agora você pode trabalhar com planilhas de amostra tpcds para casos de uso de alto desempenho e planilhas de amostra Gosales para casos de uso de engenharia de dados e GenAI.

  • O Query Optimizer agora é ativado automaticamente para casos de uso de BI de alto desempenho.

29 de outubro de 2024 - Versão 2.0.4

Aprimoramentos no motor e nos serviços

Essa versão inclui os seguintes aprimoramentos no mecanismo e no serviço:

  • O valor padrão da propriedade ' task.max-drivers-per-task para os trabalhadores PrestoJava) e Presto (C++) agora é definido com base no número de vCPUs.

  • Você pode ativar a funcionalidade de poda de arquivos no Query History Monitoring and Management (QHMM) na página de monitoramento de consultas. Você também pode configurar o tamanho máximo e a porcentagem de limite para o bucket de armazenamento QHMM. Quando o limite é atingido durante o upload do arquivo ou quando um agendador de limpeza é executado (padrão a cada 24 horas), os dados mais antigos são excluídos. Para obter mais informações, consulte Configuração do monitoramento de consultas.

  • O Query History Monitoring and Management (QHMM) não armazena mais os dados de diagnóstico no bucket de avaliação gerenciada padrão IBM (wxd-system). Para armazenar os dados de diagnóstico, agora você deve usar um tipo de armazenamento compatível com o QHMM. Para obter mais informações sobre como usar seu próprio armazenamento, consulte Configuração do monitoramento de consultas.

  • Agora você pode verificar o status de otimização da consulta verificando o parâmetro " wxdQueryOptimized no arquivo JSON. Para obter mais informações, consulte Execução de consultas na CLI do Presto(C++)ou no espaço de trabalho Query.

Aprimoramentos das fontes de dados

Esta versão inclui as seguintes fontes de dados e aprimoramentos de armazenamento:

  • O recurso de conexão de teste agora está disponível para as seguintes fontes de dados:

    • Apache Pinot
    • Cassandra
    • Prometheus

  • Nova fonte de dados SAP HANA já está disponível. Você pode usar o Gerenciador de drivers na página Configurações para gerenciar os drivers da fonte de dados SAP HANA. Cada um desses drivers passa por uma série de validações.

Plano Lite

Para melhorar a usabilidade, os catálogos do sistema (cmx e system) agora estão ocultos para os usuários do plano Lite. A instância do plano Lite com o mecanismo Presto (C++) inclui " tpch como o catálogo de benchmarking e a instância com o mecanismo PrestoJava) inclui " tpch e " tpcds como os catálogos de benchmarking.

Recursos descontinuados

Os seguintes recursos foram descontinuados nesta versão:

  • O recurso da API REST para capturar alterações DDL em watsonx.data por meio do ouvinte de eventos está obsoleto nesta versão e será removido de watsonx.data com a versão 2.1.

  • O suporte ao tempo de execução Apache Spark 3.3 foi descontinuado. Você deve atualizar para o Spark 3.4. Para atualizar a versão Apache Spark, consulte Edição dos detalhes do mecanismo do Spark.

25 de setembro de 2024 - Versão 2.0.3

Fontes de dados e aprimoramentos de armazenamento

Esta versão inclui as seguintes novas fontes de dados e aprimoramentos de armazenamento:

  • Agora você pode ativar o Azure Data Lake Storage Gen1 Blob e Google Cloud Storage para o Milvus. Para obter mais informações, consulte ADLS Gen1 Blob e Google Cloud Storage.

  • Você pode criar ou adicionar uma nova fonte de dados ao mecanismo sem anexar um catálogo a ela. Um catálogo pode ser anexado à fonte de dados em um estágio posterior.

  • Agora você pode usar o armazenamento Apache Ozone para o mecanismo Presto ( Java ). Para obter mais informações, consulte Apache Ozone.

  • Agora você pode configurar a fonte de dados Apache Kafka para usar o mecanismo de autenticação SCRAM (Salted Challenge Response Authentication Mechanism). Você pode carregar um certificado autoassinado. Para obter mais informações, consulte Apache Kafka.

Aprimoramentos de integração

Esta versão do watsonx.data apresenta as seguintes integrações novas ou aprimoradas com outros serviços:

  • Agora você pode integrar o watsonx.data com a ferramenta de criação de dados (dbt) para o mecanismo Spark para transformação de dados no local dentro do watsonx.data. Para obter mais informações, consulte Sobre a integração do dbt.

  • Você pode integrar o watsonx.data com o Databand. Essa integração pode aprimorar os recursos de monitoramento, fornecendo insights que vão além do Spark UI e do Spark History. Para obter mais informações, consulte Monitoramento de execuções de aplicativos Spark usando o Databand.

  • Você pode integrar watsonx.data com as seguintes ferramentas de visualização de Business Intelligence (BI) para acessar as fontes de dados conectadas e criar visualizações de dados atraentes e interativas:

    • Tableau
    • Looker
    • Domo
    • Qlik
    • PowerBI

    Para obter mais informações, consulte Sobre as ferramentas de visualização de BI.

Aprimoramentos no motor e nos serviços

Esta versão do watsonx.data apresenta os seguintes aprimoramentos de mecanismo e serviço:

  • As tabelas Iceberg são compatíveis com o Query Optimizer. Para obter mais informações, consulte Otimizador de consulta.

  • Agora você pode usar o adaptador da ferramenta de criação de dados (dbt-watsonx-presto) para criar, testar e documentar modelos de dados para o mecanismo Presto (Java). Para obter mais informações, consulte dbt-watsonx-presto.

  • Uma nova propriedade de personalização (file-column-names-read-as-lower-case) agora está disponível para o mecanismo Presto (C++) para evitar incompatibilidade entre maiúsculas e minúsculas nos nomes das colunas. Para obter mais informações, consulte Propriedades de catálogo para Presto(C++).

Aprimoramentos no gerenciamento de acesso

Esta versão do watsonx.data apresenta os seguintes aprimoramentos no gerenciamento de acesso:

  • Agora é possível adicionar usuários e grupos de usuários para definir regras de política de dados. Para obter mais informações, consulte Política de dados.

  • Os administradores agora podem selecionar os catálogos TPCDS e TPCH para criar políticas de controle de acesso. "Selecionar" é a única operação permitida para definir regras com esses catálogos. Para definir políticas de dados, consulte Política de dados.

  • Os administradores agora podem editar a configuração do grupo de recursos depois de criar o grupo de recursos. Para obter mais informações, consulte Configurando grupos de recursos do Presto.

Políticas de governança IBM Knowledge Catalog para fontes de dados

Agora você pode aplicar as políticas de governança do IBM Knowledge Catalog às seguintes fontes de dados no Presto:

  • Oracle
  • PostgreSQL
  • MySQL
  • SQL Server
  • Db2
Aprimoramentos de ingestão

Esta versão do watsonx.data inclui os seguintes aprimoramentos no fluxo de trabalho de ingestão:

Plano Lite

Você pode provisionar sua instância do plano Lite com base nos três casos de uso a seguir. Selecione um caso de uso da lista para prosseguir:

  • IA generativa: você pode explorar casos de uso de IA generativa usando essa opção. A instância provisionada inclui Presto, Milvus e o Spark.
  • BI de alto desempenho: você pode explorar as funcionalidades de visualização do BI usando essa opção. A instância provisionada inclui o Presto (C++) e o Spark.
  • Cargas de trabalho de engenharia de dados: você pode usar a carga de trabalho de engenharia de dados para explorar vários casos de uso orientados por carga de trabalho. A instância provisionada inclui o Presto (Java) e o Spark.

Para obter mais informações, consulte Plano Lite.

27 de agosto de 2024 - Versão 2.0.2

Fontes de dados e aprimoramentos de armazenamento

Esta versão inclui as seguintes novas fontes de dados e aprimoramentos de armazenamento:

  • O Content Aware Storage (CAS) agora é chamado de Data Access Service (DAS).

  • O Apache Hive foi atualizado para a versão 4.0.0.

  • Agora você pode visualizar o endpoint DAS na página Detalhes do armazenamento. Para obter mais informações, consulte Explorando objetos de armazenamento.

Aprimoramentos de integração

Esta versão do watsonx.data apresenta as seguintes integrações novas ou aprimoradas com outros serviços:

Melhorias no motor e nos serviços

Esta versão do watsonx.data apresenta os seguintes aprimoramentos de mecanismo e serviço:

  • Os administradores de instância agora podem configurar grupos de recursos no Presto. Para obter mais informações, consulte Grupos de recursos.

  • Agora você pode usar uma API para executar consultas e recuperar resultados. Para obter mais informações, consulte API.

  • Agora você pode configurar ou alterar o nível de registro do Presto (Java) por meio da personalização da API. Para obter mais informações, API.

  • Agora você pode gerar estatísticas de coluna Number of Distinct Values (NDV) com o procedimento Iceberg Spark Analyze para aprimorar o Spark Cost-Based Optimizer (CBO) e melhorar o planejamento de consultas.

  • Agora você pode usar a opção de fonte de dados personalizada para se conectar aos conectores Black Hole e Local File para o mecanismo Presto (Java). Para obter mais informações, consulte Fonte de dados personalizada.

  • Agora você pode gerar um snippet JSON para o mecanismo Presto e o serviço Milvus. Você pode copiá-lo/colá-lo na watsonx.data Na UI do conector Presto e Milvus no IBM Cloud Pak for Data e no watsonx para simplificar a criação da conexão. Para obter mais informações, consulte Obtenção de informações de conexão.

Aprimoramentos no gerenciamento de acesso

Esta versão do watsonx.data apresenta os seguintes aprimoramentos no gerenciamento de acesso:

  • Agora você pode controlar o acesso aos mecanismos Presto (C++). Para obter mais informações, consulte Engine(Presto(Java)ou Presto(C++)).

  • Agora é possível conceder acesso a componentes a usuários e grupos de usuários em lote. Para obter mais informações, veja Gerenciando o acesso de usuário.

  • Agora você pode ter logs de plug-in de Controle de Acesso ao Sistema (SAC) com informações de DEBUG no Presto. Para obter mais informações, consulte Personalização da API.

Aprimoramentos de ingestão

Esta versão do watsonx.data apresenta os seguintes aprimoramentos de ingestão:

01 de agosto de 2024 - Versão 2.0.1

Origens de dados

  • Agora você pode se conectar a fontes de dados Db2 usando a chave de API IBM como mecanismo de autenticação. Para obter mais informações, consulte IBM Db2.
  • Presto (C++) agora pode ser associado às fontes de dados do site Arrow Flight service. Há suporte para operações somente de leitura. As seguintes fontes de dados do site Arrow Flight service são compatíveis:
    • Salesforce
    • MariaDB
    • Greenplum
    • Apache Derby

Para obter mais informações, consulte Arrow Flight service.

  • Os novos bancos de dados a seguir estão disponíveis para o mecanismo Presto (Java):

Integrações

  • Ao integrar o IBM Knowledge Catalog com o IBM watsonx.data, é possível configurar regras de proteção de dados para linhas individuais em uma tabela, permitindo que os usuários acessem um subconjunto de linhas em uma tabela. Para obter mais informações, consulte Filtragem de linhas.

  • Agora você pode aplicar as seguintes políticas do Apache Ranger para mecanismos Presto (Java):

  • Agora você pode integrar o IBM watsonx.data com o IBM DataStage local. Você pode usar o serviço DataStage para carregar e ler dados da IBM watsonx.data. Para obter mais informações, Integrando com o DataStage.

Autenticação e autorização

  • A extensão de controle de acesso do Spark permite autorização adicional, aumentando a segurança no momento do envio do aplicativo. Se você ativar a extensão na configuração do Spark, somente usuários autorizados terão permissão para acessar e operar IBM watsonx.data catálogos por meio de trabalhos do Spark. Para obter mais informações, consulte Aumentando o envio de aplicativos Spark usando a extensão de controle de acesso do Spark.

  • IBM watsonx.data agora oferece suporte a proxy e assinatura de armazenamento de objetos para Azure Data Lake Storage e Azure Blob Storage. Para obter mais informações, consulte Usando o proxy DAS para acessar buckets compatíveis com ADLS e ABS.

  • O LDAP (Lightweight Directory Access Protocol) agora é fornecido para fontes de dados Teradata e Db2. O usuário precisa definir essa configuração no nível do servidor. Para Teradata, escolha explicitamente o tipo de mecanismo de autenticação como LDAP na interface do usuário. Para obter mais informações, Teradata.

O proxy DAS para acessar buckets ADLS e ABS e melhorias LDAP são pré-visualizações técnicas na versão 2.0.1.

  • Milvus agora oferece suporte ao isolamento em nível de partição para os usuários. Os administradores podem autorizar ações específicas de usuários em partições. Para obter mais informações, consulte Serviço(Milvus).

Armazenamento

  • Agora, você pode adicionar o seguinte armazenamento ao mecanismo Presto (Java) na IBM watsonx.data:
    • Azure Armazenamento em lago de dados Gen2
    • Azure Armazenamento em data lake Gen1 Blob

Para obter mais informações, consulte Azure Data Lake Storage Gen2 e Azure Data Lake Storage Gen1 Blob.

  • É possível modificar a chave de acesso e a chave secreta de um bucket registrado pelo usuário para um armazenamento. Esse recurso não é aplicável a buckets padrão, ADLS ou Google Cloud Storage. Esse recurso só pode ser usado se as novas credenciais forem aprovadas no teste de conexão.

Mecanismos

  • Agora você pode usar as instruções de coluna ALTER TABLE ADD, DROP e RENAME para a fonte de dados MongoDB.
  • Agora você pode configurar como o Presto lida com tipos de dados não suportados. Para obter mais informações, consulte ignore-unsupported-datatypes.

Catálogos

  • Agora você pode associar e desassociar catálogos a um mecanismo em massa por meio da interface do usuário em Gerenciar associações na página do Infrastructure Manager.

Personalização e propriedades da API

Gerenciador de infraestrutura

  • Você pode usar o recurso de pesquisa para os seguintes valores na página do Infrastructure Manager:
    • nome do banco de dados
    • nome de host registrado
    • criado pelo nome de usuário
  • Agora você pode usar o botão de alternância "Não perturbe" na seção Notificações, abaixo do ícone de sino, para ativar ou desativar as notificações pop-up.
  • Você pode encontrar as informações de conectividade no bloco Informações de conexão na página Configurações. Essas informações podem ser copiadas e baixadas em um snippet JSON.

Espaço de trabalho de consulta

  • Você pode executar consultas em todas as tabelas de um esquema por meio do espaço de trabalho de consulta SQL sem especificar o caminho <catalog>.<schema>, selecionando os catálogos e esquemas necessários na nova lista suspensa. Para obter mais informações, Executando consultas SQL.

watsonx.data planos de preços

  • Agora você pode excluir a instância do plano Lite existente antes de atingir o limite máximo da conta de 2.000 RUs, criar uma nova instância e consumir as unidades de recursos restantes disponíveis na conta. Para obter mais informações, consulte watsonx.data Lite plan.

03 de julho de 2024 - Versão2.0.0

Novos tipos de dados para fontes de dados

Os novos tipos de dados a seguir estão agora disponíveis para algumas fontes de dados. Você pode acessar esses tipos de dados na página Gerenciador de dados página sob o Adicionar coluna opção.

  • BLOB

    • Db2
    • Teradata
    • Oracle
    • MySQL
    • SingleStore

  • CLOB

    • Db2
    • Teradata
    • Oracle

  • BINARY

    • SQL Server
    • MySQL

Como o tipo de dados numérico não é suportado emwatsonx.data, você pode usar o tipo de dados decimal como uma alternativa equivalente ao tipo de dados numérico paraNetezza fonte de dados.

Agora você pode usar os tipos de dados BLOB e CLOB com a instrução SELECT no espaço de trabalho Consulta para criar e executar consultas em seus dados paraOracle eSingleStore fontes de dados.

Agora você pode usar os tipos de dados BLOB e CLOB paraMySQL ePostgreSQL fontes de dados como equivalentes a LONGTEXT, BYTEA e TEXT porque esses tipos de dados não são compatíveis comPresto (Java ). Esses tipos de dados são mapeados para CLOB e BLOB emPresto (Java ) se as fontes de dados tiverem tabelas existentes com tipos de dados LONGTEXT, TEXT e BYTEA.

  • MySQL (CLOB como equivalente a LONGTEXT)
  • PostgreSQL (CLOB como equivalente a TEXTO)
  • PostgreSQL (BLOB como equivalente a BYTEA)
  • Netezza (decimal como equivalente a numérico)
  • Oracle (BLOB e CLOB com a instrução SELECT)
  • SingleStore (BLOB e CLOB com a instrução SELECT)

Novas operações para fonte Db2 de dados

Você pode executar as seguintes operações para tipos de dados BLOB e CLOB paraDb2 fonte de dados:

  • INSERIR
  • CRIAR
  • CTAS
  • ALTER
  • DROP

Novas fontes de Arrow Flight service dados baseadas

Agora você pode usar as seguintes fontes de dados com Arrow Flight service:

  • Greenplum
  • Salesforce
  • MariaDB
  • Apache Derby

Para obter mais informações, consulte Arrow Flight service.

Novas origens de dados

Agora você pode usar as seguintes fontes de dados:

  • Cassandra
  • BigQuery
  • ClickHouse
  • Apache Pinot

Para mais informações, veja Adicionando um par banco de dados-catálogo.

Comando para recuperar o histórico de ingestão

Agora é possível recuperar o status de todas as tarefas de ingestão enviadas usando o comando ibm-lh get-status--all-jobs Comando CLI. Você pode recuperar o status de todos os trabalhos de ingestão enviados. Você obtém os registros históricos aos quais tem acesso. Para mais informações, veja Opções e parâmetros suportados na ferramenta ibm-lh.

Funções adicionais para a IBM Knowledge Catalog autorização S2S (IKC)

Além do acesso aos dados,IBM Knowledge CatalogS2S a autorização precisa de acesso a metadados e acesso à API do console para integração comwatsonx.data. As novas funções a seguir são criadas para configuração de acesso ao serviço IKC:

  • Visualizador
  • Visualizador de metastore

Apache Políticas dos guardas florestais

IBMwatsonx.data agora suportaApache Políticas de Ranger para permitir a integração comPresto motores. Para mais informações, veja Apache Política de guarda florestal.

Upgrade de versão

  • Presto (Java ) o mecanismo agora foi atualizado para a versão0.286.
  • O serviço Milvus agora está atualizado para a versão 2.4.0. Recursos importantes incluem:
    • Melhor desempenho (pouca utilização de memória)
    • Suporta dados esparsos
    • Motor SPLADE integrado para incorporação de vetores esparsos
    • BGEM3 Pesquisa híbrida (densa + esparsa)

Hive Acesso ao Metastore (HMS) em watsonx.data

Agora você pode buscar informações de metadados paraHive Metastore usando APIs REST em vez de obter as informações dos detalhes do mecanismo. Os detalhes do HMS são usados por entidades externas para integração comwatsonx.data. Você deve ter uma função Admin, Metastore Admin ou Metastore Viewer para executar a API.

Automação semântica para enriquecimento de dados

A automação semântica para enriquecimento de dados aproveita a IA generativa comIBM Knowledge Catalog para compreender seus dados em um nível mais profundo e aprimorá-los com enriquecimento automatizado para torná-los valiosos para análise. A integração da camada semântica está disponível para usuários do plano Lite apenas como uma versão de avaliação de 30 dias. Para mais informações, veja Automação semântica para enriquecimento de dados emwatsonx.data.

Query Optimizer para melhorar o desempenho da consulta

Agora você pode usar o Query Optimizer para melhorar o desempenho de consultas processadas peloPresto (C++) mecanismo. Se o Query Optimizer determinar que a otimização é viável, a consulta será reescrita; caso contrário, a otimização do mecanismo nativo terá precedência. Para mais informações, veja Visão geral do Otimizador de consulta.

Novo nome para Presto motor em watsonx.data

Presto é renomeado paraPresto (Java ).

Novo motor ( Presto C++) em watsonx.data

Você pode provisionar umPresto (C++) mecanismo (versão0.286 ) emwatsonx.data para executar consultas SQL em sua fonte de dados e buscar os dados consultados. Para mais informações, vejaPresto Visão geral (C++).

Usando proxy para acessar S3 e buckets S3 compatíveis

Aplicativos externos e mecanismos de consulta podem acessar oS3 eS3 buckets compatíveis gerenciados porwatsonx.data através de umS3 procuração. Para mais informações, veja UsandoS3 proxy para acessarS3 eS3 baldes compatíveis.

Sinalizador de recurso de maiúsculas e minúsculas para o mecanismo Presto ( Java )

O sinalizador de recurso misto de maiúsculas e minúsculas, que permite alternar entre comportamento com e sem distinção entre maiúsculas e minúsculas emPresto (Java ), está disponível. O sinalizador é definido como OFF por padrão e pode ser definido como ON durante a implantação dowatsonx.data. Para obter mais informações, consulte Presto(Java)visão geral do suporte a casos mistos.

Novo tipo de armazenamento Google Cloud Storage

Agora você pode usar o novo tipo de armazenamentoGoogle Cloud Storage. Para mais informações, veja Adicionando par de catálogo de armazenamento.

31 de maio de 2024-Versão 1.1.5.

Provisão do motor Spark no plano watsonx.data Lite

Agora é possível incluir um mecanismo do Spark de pequeno porte (nó único) na instância do plano Lite do watsonx.data. Para obter mais informações, consulte watsonx.data Lite plan.

Atualizações relacionadas aos laboratórios Spark

  • Trabalhando com blocos de notas do Jupyter de laboratórios do Spark

: Agora você pode instalar a extensão Jupyter do VS Code Marketplace em seu laboratório do Spark e trabalhar com Jupyter Notebooks. Para obter mais informações, consulte Criar Jupyter Notebooks.

  • Acesso à Spark UI k a partir dos laboratórios do Spark

Agora você pode acessar a interface de usuário (UI) do Spark nos laboratórios do Spark para monitorar vários aspectos da execução de um aplicativo Spark. Para obter mais informações, consulte Acesso a Spark UI dos laboratórios do Spark.

Nova região para provisionar a IBM Cloud instância

Agora é possível fornecer sua instância do IBM Cloud na região de Sydney.

30 de abril de 2024-Versão 1.1.4

Uma nova versão do watsonx.data foi lançada em abril de 2024.

Esta versão inclui os seguintes recursos e atualizações:

Kerberos autenticação para HDFS conexões

Agora é possível ativar a autenticação Kerberos para conexões seguras do Apache Hadoop Distributed File System (HDFS). Para obter mais informações, consulte HDFS..

Novas origens de dados

As novas origens de dados a seguir agora estão disponíveis:

  • Oracle
  • Amazon Redshift
  • Informix
  • Prometheus

Para obter mais informações, consulte Origens de Dados

Testar Conexões SSL

Agora é possível testar conexões SSL para as origens de dados MongoDB e SingleStore.

Carregando arquivos de descrição para a fonte Apache Kafka de dados

A origem de dados Apache Kafka armazena dados como mensagens de bytes que produtores e consumidores devem interpretar. Para consultar esses dados, os consumidores devem primeiro mapeá-los em colunas Agora, é possível fazer upload de arquivos de descrição de tópico que convertem dados brutos em um formato de tabela Cada arquivo deve ser um arquivo JSON que contém uma definição para uma tabela Para fazer upload desses arquivos JSON da IU, acesse a página de visão geral do banco de dados Apache Kafka que você registrou e selecione a opção Incluir tópico. Para obter mais informações, consulte Apache Kafka..

Planos de licença para watsonx.data

IBM® watsonx.data agora oferece os planos de licença a seguir.

  • Plano Lite
  • Plano Enterprise

Para obter mais informações sobre diferentes planos de licença, consulte IBM® watsonx.data planos de precificação.

Presto Atualização da versão do motor ( Java )

OPresto (Java ) o mecanismo agora foi atualizado para a versão0.285.1.

Pausar ou retomar Milvus

Agora você pode pausar ou retomar o serviço Milvus. Pausar seu serviço pode evitar encargos.

O Spark agora está disponível como um mecanismo nativo

Além de registrar mecanismos do Spark externos, agora é possível provisionar o mecanismo Spark nativo em sua instância do IBM watsonx.data. Com o mecanismo Spark nativo, é possível gerenciar totalmente a configuração do Spark Engine, gerenciar o acesso ao Spark Engines e visualizar aplicativos usando a IU do watsonx.data e os terminais da API REST. Para obter mais informações, consulte Provisioning Native Spark Engine.

Ingerir dados usando Mecanismos nativos do Spark

Agora é possível enviar tarefas de ingestão usando Spark Engines nativos. Para obter mais informações, consulte Trabalho com diferentes formatos de tabela.

27 de março de 2024-Versão 1.1.3.

Uma nova versão do watsonx.data foi lançada em março de 2024.

Esta versão inclui os seguintes recursos e atualizações:

Novo tipo de dados para algumas origens de dados

Agora é possível usar o tipo de dados BINARY com a instrução SELECT na área de trabalho Consulta para construir e executar consultas com relação a seus dados para as seguintes origens de dados:

  • Elasticsearch
  • SQL Server
  • MySQL

Novos tipos de dados: BLOB e CLOB estão disponíveis para as fontes de dados MySQL, PostgreSQL, Snowflake, SQL Server e Db2. É possível usar esses tipos de dados apenas com instruções SELECT na área de trabalho Consulta para construir e executar consultas com relação a seus dados

Excluir dados usando o recurso DELETE FROM para origens de dados Iceberg

Agora é possível excluir dados de tabelas nas origens de dados do Iceberg usando o recurso DELETE FROM.

É possível especificar o modo de exclusão da propriedade da tabela para novas tabelas usando o modo de cópia na gravação ou o modo de mesclagem na leitura (padrão)..

instrução ALTER VIEW para a origem de dados Iceberg

Agora é possível usar a instrução SQL a seguir na área de trabalho Consulta para construir e executar consultas com relação a seus dados para ALTER VIEW:

ALTER VIEW nome RENAME Para new_name

Carregar certificados SSL para Netezza Performance Server fontes de dados

Agora é possível procurar e fazer upload do certificado SSL para conexões SSL nas origens de dados do Netezza Performance Server Os formatos de arquivo válidos para certificado SSL são .pem, .crt e .cer. É possível fazer upload de certificados SSL usando a opção Incluindo um par de catálogo de banco de dados no Infrastructure Manager.

Consultar dados de Db2 e Watson Query

Agora é possível consultar apelidos que são criados em Db2 e tabelas virtualizadas de instâncias do Watson Query.

Conexão SSL para fonte IBMData Virtualization Manager for z/OS de dados

Agora é possível ativar a conexão SSL para a origem de dados IBM Data Virtualization Manager for z/OS usando a interface com o usuário Incluir banco de dados para proteger e criptografar a conexão com o banco de dados. Selecione Validar certificado para validar se o certificado SSL retornado pelo host é confiável. É possível optar por fornecer o nome do host no certificado SSL

Use os dados do Apache Hudi catálogo

Agora você pode se conectar e usar dados do catálogo Apache Hudi.

Adicionar Milvus como um serviço em watsonx.data

Agora você pode provisionar Milvus como um serviço em watsonx.data com os seguintes recursos:

  • Provisione diferentes variantes de armazenamento, como nós iniciais, médios e grandes.

  • Atribua funções de administrador ou usuário para os usuários Milvus: A política de acesso do usuário agora está disponível para os usuários Milvus. Usando a interface de controle de acesso, você pode atribuir funções de administrador ou usuário aos usuários Milvus e também conceder, revogar ou atualizar o privilégio.

  • Configure o armazenamento de objetos para que Milvus armazene dados. Você pode adicionar ou configurar um bucket personalizado e especificar o nome de usuário, a senha, a região e o URL do bucket.

Para obter mais informações, consulte Milvus.

Carregar dados em lote usando a ferramenta de ingestão ibm-Lh

Agora é possível usar a ferramenta de ingestão ibm-lh para executar procedimentos de ingestão em lote no modo não interativo (de fora do contêiner ibm-lh-tools) usando o pacote ibm-lh-client. Para obter mais informações, consulte comandos ibm-lh e uso..

Criando esquema usando a ingestão em massa no console da web

Agora é possível criar um esquema usando o processo de ingestão em massa no console da web, se o esquema não tiver sido criado anteriormente

Use consultas de viagem no tempo em Apache Iceberg tabelas

Agora você pode executar as seguintes consultas de viagem no tempo usando ramificações e tags nos instantâneos da tabela Apache Iceberg:

-SELECT *FROM <table name> FOR VERSION AS OF 'historical-tag'

-SELECT *FROM <table name> FOR VERSION AS OF 'test-branch'

Acesse Cloud Object Storage sem credenciais Agora você pode acessar seu bucket Cloud Object Storage sem credenciais, usando o endpoint do Serviço de Acesso a Dados (DAS).

28 de fevereiro de 2024-Versão 1.1.2

Uma nova versão do watsonx.data foi lançada em fevereiro de 2024.

Esta versão inclui os seguintes recursos e atualizações:

Conexão SSL para origens de dados

Agora é possível ativar a conexão SSL para as origens de dados a seguir usando a interface com o usuário Incluir banco de dados para proteger e criptografar a conexão com o banco de dados:

  • Db2

  • PostgreSQL

Para obter mais informações, consulte Incluindo um banco de dados

Histórico da tarefa de ingestão segura

Agora, os usuários podem visualizar apenas o seu próprio histórico de tarefas de ingestão Os administradores podem visualizar o histórico da tarefa de ingestão para todos os usuários

Aprimoramentos SQL

Agora é possível usar as seguintes instruções SQL na área de trabalho Consulta para construir e executar consultas com relação a seus dados:

  • Apache Iceberg fontes de dados
    • CREATE VIEW
    • DROP VIEW
  • Origens de dados do MongoDB
    • EXCLUIR

Novos tipos de dados BLOB e CLOB para fonte Teradata de dados

Novos tipos de dados BLOB e CLOB estão disponíveis para a origem de dados Teradata. É possível usar esses tipos de dados apenas com instruções SELECT na área de trabalho Consulta para construir e executar consultas com relação a seus dados

Criar uma nova tabela durante a ingestão de dados...

Anteriormente, era necessário ter uma tabela de destino em watsonx.data para alimentar dados. Agora, é possível criar uma nova tabela diretamente do arquivo de dados de origem (disponível no formato parquet ou CSV) usando a ingestão de dados do Data Manager. É possível criar a tabela usando os métodos de ingestão a seguir:

  • Alimentando dados usando o carregador de cópia do Iceberg

  • Alimentando dados usando Spark.

Executar operações ALTER TABLE em uma coluna

Com uma origem de dados Iceberg, agora é possível executar operações ALTER TABLE em uma coluna para as seguintes conversões de tipo de dados:

  • int para bigint

  • flutuar para dobrar

  • decimal (num1, dec_digits) em decimal (num2, dec_digits), em que num2>num1.

Melhor desempenho de consulta usando arquivos classificados

Com uma fonte de dados Apache Iceberg, você pode gerar arquivos classificados, o que reduz a latência do resultado da consulta e melhora o desempenho de Presto ( Java ). Os dados na tabela Iceberg são classificados durante o processo de gravação em cada arquivo.

É possível configurar a ordem para classificar os dados usando a propriedade da tabela sorted_by Ao criar a tabela, especifique uma matriz de uma ou mais colunas envolvidas na classificação.. Para desativar o recurso, configure a propriedade da sessão sorted_writing_enabled como false

31 de janeiro de 2024-Versão 1.1.1.

Uma nova versão do watsonx.data foi lançada em janeiro de 2024.

Esta versão inclui os seguintes recursos e atualizações:

Data Virtualization Manager for z/OS®IBM conector

Agora é possível usar o novo conector do IBM Data Virtualization Manager for z/OS® para ler e gravar o IBM Z® sem mover, replicar ou transformar os dados Para obter mais informações, consulte Conectando a uma origem de dados IBM Data Virtualization Manager(DVM).

Teradata O conector está habilitado para múltiplas ALTER TABLE instruções

O conector do Teradata agora suporta as instruções ALTER TABLE RENAME TO, ALTER TABLE DROP COLUMN e ALTER TABLE RENAME COLUMN column_name TO new_column_name

Suporte para consultas de viagem no tempo

Conector Iceberg paraPresto (Java ) agora oferece suporte a consultas de viagem no tempo.

A propriedade format_version agora mostra a versão atual

A propriedade format_version agora mostra o valor correto (versão atual) ao criar uma tabela Iceberg.

29 Nov 2023-Versão 1.1.0

Uma nova versão do watsonx.data foi lançada em novembro de 2023.

Esta versão inclui os seguintes recursos e atualizações:

Presto Comportamento sensível a maiúsculas e Java minúsculas

OPresto (Java ) o comportamento é alterado de não diferenciar maiúsculas de minúsculas para diferenciar maiúsculas de minúsculas. Agora é possível fornecer os nomes de objetos no formato de caso original, como no banco de dados Para mais informações, veja Configuração de pesquisa com distinção entre maiúsculas e minúsculas comPresto(Java).

Recurso de retrocesso

É possível usar o recurso de Retrocesso para retroceder ou retroceder para quaisquer capturas instantâneas para tabelas do Iceberg

Capturar mudanças de Data Definition Language (DDL)

Agora você pode capturar e rastrear as alterações de DDL em watsonx.data usando um ouvinte de eventos.

Ingerir dados usando o Spark

Agora você pode usar o IBM Analytics Engine que é alimentado pelo Apache Spark para executar trabalhos de ingestão em watsonx.data.

Para obter mais informações, consulte Ingesting de dados usando o Spark.

Integração com Db2 e Netezza Performance Server

Agora é possível registrar mecanismos do Db2 ou Netezza Performance Server no console do watsonx.data.

Para obter mais informações, consulte Registrando um mecanismo

Novos conectores

Agora é possível usar conectores no watsonx.data para estabelecer conexões com os tipos de bancos de dados a seguir:

  • Teradata
  • Delta Lake
  • Elasticsearch
  • SingleStoreDB
  • Snowflake

Para obter mais informações, consulte Incluindo um banco de dados

AWS EMR para Spark

Agora é possível executar aplicativos Spark por meio do Amazon Web Services Elastic MapReduce (AWS EMR) para alcançar os casos de uso do Spark watsonx.data:

  • Ingestão e
  • Consulta de dados.
  • Manutenção de tabela

Para obter mais informações, consulte Usando o AWS EMR for Spark use case.

7 de julho de 2023-Versão 1.0.0.

watsonx.data é uma nova arquitetura aberta que combina os elementos dos modelos de data warehouse e data lake. Os melhores recursos e otimizações disponíveis no watsonx.data o tornam uma opção ideal para a análise de dados e a automação da próxima geração. Na primeira liberação (watsonx.data 1.0.0), os recursos a seguir são suportados:

  • Criar, dimensionar, pausar, retomar e excluir oPresto (Java ) mecanismo de consulta
  • Associando e dissociando um catálogo com um mecanismo
  • Explorando objetos do catálogo
  • Incluindo e excluindo um par de catálogo de banco de dados
  • Atualizando credenciais do banco de dados
  • Incluindo e excluindo o par bucket-catalog
  • Explorando objetos do depósito
  • Carregando dados
  • explorando dados
  • Consultando dados
  • Histórico de consulta