Incluindo armazenamento

Em IBM® watsonx.data, os dados são armazenados em um armazenamento interno criado durante o provisionamento da instância ou em um armazenamento gerenciado externamente. Você pode associar um catálogo a um armazenamento. Um catálogo define os esquemas e metadados de um armazenamento.

Quando você adiciona seu próprio bucket de armazenamento ou fonte de dados, ou consulta os dados nessas fontes de dados por meio dos mecanismos de consulta de watsonx.data, podem ser aplicadas taxas de saída para extrair dados dessas fontes, dependendo do seu provedor de serviços. Se você estiver usando serviços gerenciados, consulte a documentação ou o suporte do provedor de serviços para obter detalhes sobre esses encargos.

Para reduzir os problemas de latência, recomenda-se colocar seus depósitos de armazenamento ou bancos de dados adicionais na região em que a instância do watsonx.data é provisionada..

Para adicionar um armazenamento, conclua as etapas a seguir:

  1. Efetue login no console do watsonx.data.
  2. No menu de navegação, selecione Infrastructure manager (Gerenciador de infraestrutura ).
  3. Para definir e conectar um armazenamento, clique em Adicionar componente.
  4. Na janela Adicionar componente, selecione um armazenamento na seção Armazenamento e forneça os detalhes para estabelecer a conexão.

Hadoop O Sistema de Arquivos Distribuídos ( HDFS ) não é compatível com o Milvus.

watsonx.data suporta as seguintes opções de armazenamento de dados:

Informações importantes

  • O nome do depósito de armazenamento deve ser exclusivo e deve conter apenas os caracteres A-Z, a-z, 0-9 e hypen (-).
  • Você deve usar uma credencial de serviço com a função Writer porque o esquema é gravado no depósito de armazenamento. Certifique-se de escolher o terminal que corresponde ao tipo de acesso que o depósito permite. Ou seja, se nenhum acesso público for permitido (Acesso público é Não) para o depósito, escolha o terminal Direct.

Informações adicionais sobre o conector

  • Para Iceberg conector:
    • Você pode excluir dados de tabelas usando DELETE FROM declaração para Iceberg conector.
    • Você pode especificar a propriedade de tabela delete_mode para novas tabelas usando o modo copy-on-write ou o modo merge-on-read (padrão).
  • Para DELETE FROM declaração para Iceberg conector:
    • As colunas filtradas suportam apenas operadores de comparação, como EQUALS, LESS THAN ou LESS THAN EQUALS.
    • As exclusões só devem ocorrer no snapshot mais recente.
    • Para tabelas V1, o conector Iceberg pode excluir dados somente em uma ou mais partições inteiras. Todas as colunas no filtro devem ser colunas de partição transformadas por identidade da tabela de destino.
  • Para CREATE TABLE,Iceberg suportes de conector sorted_by propriedade da tabela.
    • Ao criar a tabela, especifique uma matriz de uma ou mais colunas envolvidas.
  • Para Iceberg conector,ALTER TABLE operações em uma coluna suportam conversões de tipo de dados de:
    • INT a BIGINT
    • FLOAT a DOUBLE
    • DECIMAL(num1, dígitos_dec) para DECIMAL (num2, dígitos_dec), ondenum2>num1.

Limitações

  • Use contêineres e contas de armazenamento separados para o armazenamento do ADLS Gen1 e do ADLS Gen2 para sincronização completa de metadados, inclusive tabelas. Caso contrário, uma mensagem de SUCESSO PARCIAL será exibida nos registros de sincronização quando o SYNC for concluído.

Limitações para instruções SQL

  • Para o conector Iceberg, não há suporte para a consulta UPDATE com subconsulta.
  • Para o conector Iceberg, não há suporte para a consulta UPDATE com coluna em letras maiúsculas e minúsculas.
  • Para Iceberg,Memória e Hive conectores,DROP SCHEMA pode fazer RESTRICT por padrão.
  • Para catálogos baseados em banco de dados, o CREATE SCHEMA,CREATE TABLE,DROP SCHEMA,DROP TABLE,DELETE,DROP VIEW,ALTER TABLE, e ALTER SCHEMA declarações não estão disponíveis no Gerenciador de dados IU.

Limitações para tipos de dados

  • Para Iceberg conector, o número máximo de dígitos que podem ser acomodados em uma coluna do tipo de dados FLOAT e DOUBLE é 37. Tentar inserir algo maior resulta em um erro de estouro decimal.
  • Quando os campos do tipo de dados REAL possuem 6 dígitos ou mais na parte decimal sendo os dígitos predominantemente zero, os valores quando consultados são arredondados. Observa-se que o arredondamento ocorre de forma diferenciada conforme a precisão dos valores. Por exemplo, um número decimal1.654 quando arredondado para 3 dígitos após a vírgula decimal são iguais. Outro exemplo, é10.890009 e10.89000. Percebe-se que10.89000 é arredondado para10.89, enquanto10.89009 não é arredondado. Este é um problema inerente devido às limitações representacionais dos formatos binários de ponto flutuante. Isso pode ter um impacto significativo quando a consulta envolve classificação.

Para obter mais informações sobre o comportamento do sinalizador de recurso de maiúsculas e minúsculas, instruções SQL suportadas e matrizes de tipos de dados suportadas, consulte Conteúdo de suporte.

API relacionada

Para obter informações sobre a API relacionada, consulte