Ajout du service Milvus

Milvus est une base de données vectorielle qui stocke, indexe et gère des vecteurs d'intégration massifs développés par des réseaux neuronaux profonds et d'autres modèles d'apprentissage automatique. Il est développé pour permettre l'intégration de la recherche de similarité et des applications d'IA. Milvus rend la recherche de données non structurées plus accessible et plus cohérente dans différents environnements.

La version 2.4.0 de pymilvus est recommandée pour Milvus 2.4.x Désinstallez la version antérieure et installez la dernière version de pymilvus.

Effectuez les étapes suivantes pour ajouter Milvus en tant que service dans IBM® watsonx.data

1. Connectez vous à la console watsonx.data.

2. Dans le menu de navigation, sélectionnez Gestionnaire d'infrastructure.

3. Pour définir un service et s'y connecter, cliquer sur Ajouter un composant, sélectionner Milvus et cliquer sur Suivant.

4. Dans la fenêtre Ajouter un composant - Milvus, fournissez les informations suivantes.

   Ajout du service Milvus

   Zone	Description
   Nom d'affichage	Saisir le nom du service Milvus à afficher à l'écran.
   Taille	Sélectionnez la taille appropriée.
   	Lite: Recommandé pour 10K vecteurs, 64 paramètres d'index, 1024 taille de segment et 384 dimensions. Remarque: le composant Lite ou Tiny Milvus n'est disponible que dans le plan watsonx.data Lite.
   	Débutant: Recommandé pour 1 million de vecteurs, 64 paramètres d'index, 1024 segments et 384 dimensions.
   	Petit: Recommandé pour 10 millions de vecteurs, 64 paramètres d'index, 1024 segments et 384 dimensions.
   	Medium: Recommandé pour 50 millions de vecteurs, 64 paramètres d'index, 1024 segments et 384 dimensions.
   	Large: Recommandé pour 100 millions de vecteurs, 64 paramètres d'index, 1024 segments et 384 dimensions.
   	Personnalisé: recommandé pour jusqu'à 3 milliards de vecteurs, 64 paramètres d'indexation et 1024 segments. Le nombre réel de vecteurs et de dimensions pris en charge dépend du type d'index et de la configuration d' vCPU s maximale prise en charge. IVF_SQ8- Jusqu'à 3 milliards de vecteurs. IVF_FLAT - Jusqu'à 1.3 s de milliards de vecteurs. HNSW - Jusqu'à 1 milliard de vecteurs.
   Ajouter un compartiment de stockage	Associez un stockage externe pour les tailles Small, Medium, ou Large. Pour la taille Starter, vous pouvez également sélectionner un stockage géré par IBM. Pour associer un stockage externe, vous devez avoir configuré le stockage.
   Voie	Pour les stockages externes, indiquez le chemin où vous souhaitez stocker les fichiers de données vectorisées.

   Il n'est pas recommandé d'exécuter plusieurs instances Milvus partageant le même site rootPath dans un même panier MinIO, car cela entraîne un chevauchement de leurs données et métadonnées, ce qui provoque des conflits et un risque élevé de corruption ou de perte de données. Pour garantir l'intégrité et l'isolation des données, vous devez configurer chaque instance Milvus avec une valeur minio.rootPath unique dans son fichier de configuration avant de démarrer, même si elles utilisent le même seau.

   À partir de la version watsonx.data 2.2.2, Milvus la mise à l'échelle est désactivée pour la taille du T-shirt Starter. Il n'est pas non plus permis de revenir à Starter à partir d'une configuration plus large. Vous pouvez faire évoluer le service Milvus entre des tailles de t-shirts prédéfinies (petit, moyen et grand) ou des tailles personnalisées. La réduction de la capacité du site Milvus peut avoir un impact sur les performances lorsque la réduction se fait à partir d'une capacité plus élevée. Si les collections ne tiennent plus en mémoire après réduction, le service pourrait être affecté. En cas d'impact sur le service, la seule solution est d'abandonner la collecte ou de la réduire. Même si le service ne plante pas, les collections qui étaient précédemment chargées mais qui dépassent désormais la mémoire disponible peuvent rencontrer des problèmes.

   L'opération de mise à l'échelle introduit généralement un retard de service de 5 à 10 minutes et les opérations en cours peuvent être perturbées pendant ces transitions.

   Pour plus d'informations sur l'ajout de stockages externes, voir Ajouter une paire stockage-catalogue.

   Si le schéma de la collection change (augmentation du nombre de champs dans une collection ou augmentation de la taille du varchar champ au-delà de 256 caractères, ou si plusieurs champs vectoriels sont ajoutés à la collection), le nombre d'enregistrements peut diminuer.

   Le service Milvus peut se connecter à un stockage sans catalogue. Vous pouvez effectuer les actions sur Milvus même après avoir désactivé le stockage.

   Vous devez fournir le point de terminaison pour les stockages utilisés par Milvus avec la région pour les stockages spécifiques à la région comme S3 et sans les barres obliques de fin. Par exemple : https://s3.<REGION>.amazonaws.com.

   Les mises à jour des informations d'identification d'un godet pour le godet d'origine d'un moteur Milvus nécessitent une pause et une reprise manuelles du moteur pour être prises en compte.

5. Cliquez sur Créer.