Adicionando o serviço Milvus

Milvus é um banco de dados de vetores que armazena, indexa e gerencia vetores de incorporação maciça desenvolvidos por redes neurais profundas e outros modelos de aprendizado de máquina (ML). Ele é desenvolvido para capacitar aplicativos de procura de similaridade e de IA. Milvus torna a pesquisa de dados não estruturados mais acessível e consistente em vários ambientes.

A versão 2.4.0 do site pymilvus é recomendada para o Milvus 2.4.x. Desinstale a versão anterior e instale a versão mais recente do pymilvus.

Conclua as etapas a seguir para adicionar Milvus como um serviço em IBM® watsonx.data.

1. Efetue login no console do watsonx.data.

2. No menu de navegação, selecione Infrastructure Manager.

3. Para definir e conectar-se a um serviço, clique em Add component (Adicionar componente ), selecione Milvus e clique em Next (Avançar ).

4. Na janela Adicionar componente - Milvus, forneça os seguintes detalhes.

   Adicionando o serviço Milvus

   Campo	Descrição
   Nome de exibição	Digite o nome do serviço Milvus a ser exibido na tela.
   Tamanho	Selecione o tamanho adequado.
   	Lite: Recomendado para 10K vetores, 64 parâmetros de índice, 1024 tamanhos de segmento e 384 dimensões. Observação: O componente Lite ou Tiny Milvus está disponível somente no plano watsonx.data Lite.
   	Iniciante: Recomendado para 1 milhão de vetores, 64 parâmetros de índice, tamanho de segmento de 1024 e 384 dimensões.
   	Pequeno: Recomendado para 10 milhões de vetores, 64 parâmetros de índice, 1024 tamanhos de segmento e 384 dimensões.
   	Médio: Recomendado para 50 milhões de vetores, 64 parâmetros de índice, 1024 tamanhos de segmento e 384 dimensões.
   	Grande: Recomendado para 100 milhões de vetores, 64 parâmetros de índice, 1024 tamanhos de segmento e 384 dimensões.
   	Personalizado: Recomendado para até 3 bilhões de vetores, 64 parâmetros de índice e 1024 segmentos. O número real de vetores e dimensões suportados depende do tipo de índice e da configuração máxima suportada no site vCPU. IVF_SQ8- Até 3 bilhões de vetores. IVF_FLAT - Até 1.3 bilhões de vetores. HNSW - Até 1 bilhão de vetores.
   Adicionar bucket de armazenamento	Associe um armazenamento externo para os tamanhos Pequeno, Médio ou Grande. Para o tamanho Starter, você também pode selecionar um IBM. Para associar um armazenamento externo, você deve ter o armazenamento configurado.
   Caminho	Para armazenamentos externos, especifique o caminho onde deseja armazenar os arquivos de dados vetorizados.

   A execução de várias instâncias do Milvus que compartilham o mesmo rootPath em um único bucket do MinIO não é recomendada, pois isso faz com que seus dados e metadados se sobreponham, levando a conflitos e a um alto risco de corrupção ou perda de dados. Para garantir a integridade e o isolamento dos dados, você deve configurar cada instância do Milvus com um valor minio.rootPath exclusivo em seu arquivo de configuração antes de iniciar, mesmo que usem o mesmo bucket.

   A partir da versão watsonx.data 2.2.2, o dimensionamento do Milvus está desativado para o tamanho da camiseta Starter. O redimensionamento para o Starter a partir de uma configuração maior também não é permitido. Você pode expandir o serviço Milvus entre tamanhos de camiseta predefinidos (pequeno, médio e grande) ou tamanhos personalizados. A redução de Milvus pode afetar o desempenho ao reduzir a partir de uma capacidade maior. Se as coleções não couberem mais na memória após a redução de escala, o serviço poderá ser afetado. No caso de um impacto no serviço, a única solução é abandonar a coleta ou aumentar a escala. Mesmo que o serviço não trave, as coleções que foram carregadas anteriormente, mas que agora excedem a memória disponível, podem apresentar problemas.

   A operação de dimensionamento normalmente introduz um atraso de serviço de 5 a 10 minutos e as operações em andamento podem ser interrompidas durante essas transições.

   Para obter mais informações sobre como adicionar armazenamentos externos, consulte Adicionar um par de catálogo de armazenamento.

   Se o esquema da coleção for alterado (um aumento no número de campos em uma coleção ou aumento no tamanho do varchar campo com mais de 256 caracteres ou se vários campos de vetor forem adicionados à coleção), o número de registros poderá diminuir.

   O serviço Milvus pode se conectar a um armazenamento sem um catálogo. Você pode executar as ações no Milvus mesmo depois de desativar o armazenamento.

   Você deve fornecer o endpoint para armazenamentos usados pelo Milvus com a região para armazenamentos específicos da região, como o S3, e sem barras à direita. Por exemplo: https://s3.<REGION>.amazonaws.com.

   As atualizações de credenciais de bucket para o bucket inicial de um mecanismo Milvus exigem uma pausa e retomada manual do mecanismo para entrar em vigor.

5. Clique em Criar.