Aggiunta del servizio Milvus

Milvus è un database vettoriale che memorizza, indicizza e gestisce vettori di incorporazione massiva sviluppati da reti neurali profonde e altri modelli di apprendimento automatico (ML). È stato sviluppato per potenziare la ricerca di similarità e le applicazioni AI. Milvus rende la ricerca di dati non strutturati più accessibile e coerente in diversi ambienti.

Per Milvus 2.4.x si raccomanda la versione 2.4.0 di pymilvus. Disinstallare la versione precedente e installare la versione più recente di pymilvus.

Completate i seguenti passaggi per aggiungere Milvus come servizio in IBM® watsonx.data.

1. Accedi alla console watsonx.data.

2. Dal menu di navigazione, seleziona Infrastructure Manager.

3. Per definire e connettersi a un servizio, fare clic su Aggiungi componente, selezionare Milvus e fare clic su Avanti.

4. Nella finestra Aggiungi componente - Milvus, fornire i seguenti dettagli.

   Aggiunta del servizio Milvus

   Campo	Descrizione
   Nome di visualizzazione	Inserire il nome del servizio Milvus da visualizzare sullo schermo.
   Dimensione	Selezionare la dimensione adatta.
   	Lite: Consigliato per 10K vettori, 64 parametri di indice, 1024 dimensioni di segmento e 384 dimensioni. Nota: il componente Lite o Tiny Milvus è disponibile solo nel piano watsonx.data Lite.
   	Starter: Consigliato per 1 milione di vettori, 64 parametri di indice, 1024 dimensioni di segmento e 384 dimensioni.
   	Piccolo: Consigliato per 10 milioni di vettori, 64 parametri di indice, 1024 dimensioni di segmento e 384 dimensioni.
   	Medio: Consigliato per 50 milioni di vettori, 64 parametri di indice, 1024 dimensioni di segmento e 384 dimensioni.
   	Grande: Consigliato per 100 milioni di vettori, 64 parametri di indice, 1024 dimensioni di segmento e 384 dimensioni.
   	Personalizzato: consigliato per un massimo di 3 miliardi di vettori, 64 parametri di indice e 1024 segmenti. Il numero effettivo di vettori e dimensioni supportati dipende dal tipo di indice e dalla configurazione massima dell' vCPU e supportata. IVF_SQ8- Fino a 3 miliardi di vettori. IVF_FLAT - Fino a 1.3 i di miliardi di vettori. HNSW - Fino a 1 miliardo di vettori.
   Aggiungi bucket di archiviazione	Associare una memoria esterna per i formati Piccolo, Medio o Grande. Per le dimensioni Starter, è possibile selezionare anche uno storage gestito da IBM. Per associare una memoria esterna, è necessario che la memoria sia configurata.
   Percorso	Per gli archivi esterni, specificare il percorso in cui si desidera memorizzare i file di dati vettoriali.

   L'esecuzione di più istanze di Milvus che condividono lo stesso rootPath all'interno di un singolo bucket di MinIO non è consigliata perché causa la sovrapposizione dei dati e dei metadati, con conseguenti conflitti e un elevato rischio di corruzione o perdita dei dati. Per garantire l'integrità e l'isolamento dei dati, è necessario configurare ogni istanza di Milvus con un valore unico di minio.rootPath nel suo file di configurazione prima dell'avvio, anche se utilizza lo stesso bucket.

   A partire dalla versione watsonx.data 2.2.2, il ridimensionamento di Milvus è disabilitato per la dimensione della maglietta Starter. Non è inoltre consentito il ritorno a Starter da una configurazione più grande. È possibile scalare il servizio Milvus tra le dimensioni predefinite delle magliette (piccole, medie e grandi) o le dimensioni personalizzate. Il ridimensionamento di Milvus potrebbe avere un impatto sulle prestazioni quando si riduce da una capacità superiore. Se le raccolte non si adattano più alla memoria dopo il ridimensionamento, il servizio potrebbe risentirne. In caso di impatto sul servizio, l'unica soluzione è quella di interrompere la raccolta o ridimensionarla. Anche se il servizio non va in crash, le raccolte che erano state caricate in precedenza ma che ora superano la memoria disponibile potrebbero riscontrare dei problemi.

   L'operazione di ridimensionamento introduce in genere un ritardo di servizio da 5 a 10 minuti e le operazioni in corso possono essere interrotte durante queste transizioni.

   Per ulteriori informazioni sull'aggiunta di archivi esterni, vedere Aggiungi una coppia archivio-catalogo.

   Se lo schema della raccolta cambia (un aumento del numero di campi in una raccolta o un aumento della dimensione del file varchar campo oltre i 256 caratteri o se nella raccolta vengono aggiunti più campi vettoriali), il numero di record potrebbe diminuire.

   Il servizio Milvus può collegarsi a un deposito senza catalogo. È possibile eseguire le azioni su Milvus anche dopo aver disabilitato la memorizzazione.

   È necessario fornire l'endpoint per gli archivi utilizzati da Milvus con la regione per gli archivi specifici della regione, come S3, e senza barre di separazione. Per esempio:https://s3.<REGION>.amazonaws.com.

   Gli aggiornamenti delle credenziali del bucket di origine di un motore Milvus richiedono una pausa e una ripresa manuale del motore per avere effetto.

5. Fai clic su Crea.