Hinzufügen des Milvus

Milvus ist eine Vektordatenbank, die massive Einbettungsvektoren speichert, indiziert und verwaltet, die von tiefen neuronalen Netzen und anderen Modellen des maschinellen Lernens (ML) entwickelt werden. Es wurde entwickelt, um die Integration von Ähnlichkeitssuche und KI-Anwendungen zu ermöglichen. Milvus macht die Suche nach unstrukturierten Daten über verschiedene Umgebungen hinweg zugänglicher und konsistenter.

Die Version 2.4.0 von pymilvus wird für Milvus 2.4.x empfohlen. Deinstallieren Sie die frühere Version und installieren Sie die neueste Version von pymilvus.

Führen Sie die folgenden Schritte aus, um Milvus als Dienst in IBM® watsonx.data hinzuzufügen.

1. Melden Sie sich bei der watsonx.data-Konsole an.

2. Wählen Sie im Navigationsmenü die Option Infrastrukturmanager.

3. Um einen Dienst zu definieren und mit diesem zu verbinden, klicken Sie auf Komponente hinzufügen, wählen Milvus aus und klicken auf Weiter.

4. Machen Sie im Fenster Komponente hinzufügen - Milvus die folgenden Angaben.

   Hinzufügen des Milvus

   Feld	Beschreibung
   Anzeigename	Geben Sie den Namen des Milvus ein, der auf dem Bildschirm angezeigt werden soll.
   Größe	Wählen Sie die passende Größe.
   	Lite: Empfohlen für 10K Vektoren, 64 Indexparameter, 1024 Segmentgröße und 384 Dimensionen. Hinweis: Die Komponente Lite oder Tiny Milvus ist nur im Plan watsonx.data Lite verfügbar.
   	Starter: Empfohlen für 1 Million Vektoren, 64 Indexparameter, 1024 Segmentgröße und 384 Dimensionen.
   	Klein: Empfohlen für 10 Millionen Vektoren, 64 Indexparameter, 1024 Segmentgröße und 384 Dimensionen.
   	Medium: Empfohlen für 50 Millionen Vektoren, 64 Indexparameter, 1024 Segmentgröße und 384 Dimensionen.
   	Groß: Empfohlen für 100 Millionen Vektoren, 64 Indexparameter, 1024 Segmentgröße und 384 Dimensionen.
   	Benutzerdefiniert: Empfohlen für bis zu 3 Milliarden Vektoren, 64 Indexparameter und 1024 Segmente. Die tatsächliche Anzahl der unterstützten Vektoren und Dimensionen hängt vom Indextyp und der maximal unterstützten vCPU-Konfiguration ab. IVF_SQ8- Bis zu 3 Milliarden Vektoren. IVF_FLAT - Bis zu 1.3 Milliarden Vektoren. HNSW - Bis zu 1 Milliarde Vektoren.
   Speicher-Bucket hinzufügen	Ordnen Sie einen externen Speicher für die Größen Klein, Mittel oder Groß zu. Für die Starter-Größe können Sie auch einen IBM-verwalteten Speicher auswählen. Um ein externes Speichermedium zuzuordnen, müssen Sie das Speichermedium konfiguriert haben.
   Pfad	Für externe Speicher geben Sie den Pfad an, in dem Sie die vektorisierten Dateien speichern möchten.

   Es wird nicht empfohlen, mehrere Milvus-Instanzen, die dieselbe rootPath nutzen, in einem einzigen MinIO-Bucket auszuführen, da sich ihre Daten und Metadaten überschneiden, was zu Konflikten und einem hohen Risiko von Datenbeschädigung oder -verlust führt. Um die Datenintegrität und -isolierung zu gewährleisten, müssen Sie jede Milvus-Instanz vor dem Start mit einem eindeutigen minio.rootPath-Wert in ihrer Konfigurationsdatei konfigurieren, auch wenn sie denselben Bucket verwenden.

   Ab der Version watsonx.data 2.2.2 ist die Skalierung von Milvus für die T-Shirt-Größe Starter deaktiviert. Eine Rückführung von einer größeren Konfiguration auf Starter ist ebenfalls nicht zulässig. Sie können den Dienst Milvus zwischen vordefinierten T-Shirt-Größen (klein, mittel und groß) oder individuellen Größen skalieren. Die Verkleinerung von Milvus kann sich auf die Leistung auswirken, wenn sie von einer höheren Kapazität aus erfolgt. Wenn Sammlungen nach dem Verkleinern nicht mehr in den Speicher passen, kann dies den Dienst beeinträchtigen. Im Falle einer Beeinträchtigung des Dienstes besteht die einzige Lösung darin, entweder die Sammlung einzustellen oder sie zu reduzieren. Selbst wenn der Dienst nicht abstürzt, können bei Sammlungen, die zuvor geladen wurden, aber jetzt den verfügbaren Speicherplatz überschreiten, Probleme auftreten.

   Der Skalierungsvorgang führt in der Regel zu einer Verzögerung von 5 bis 10 Minuten, und der laufende Betrieb kann während dieser Übergänge unterbrochen werden.

   Weitere Informationen zum Hinzufügen externer Speicher finden Sie unter Hinzufügen eines Speicher-Katalog-Paares.

   Wenn sich das Schema der Sammlung ändert (eine Erhöhung der Anzahl der Felder in einer Sammlung oder eine Erhöhung der Größe der varchar Wenn das Feld mehr als 256 Zeichen enthält oder mehrere Vektorfelder zur Sammlung hinzugefügt werden), kann sich die Anzahl der Datensätze verringern.

   Der Milvus kann eine Verbindung zu einem Speicher ohne Katalog herstellen. Sie können die Aktionen auf Milvus auch nach der Deaktivierung des Speichers durchführen.

   Sie müssen den Endpunkt für von Milvus verwendete Speicher mit der Region für regionsspezifische Speicher wie S3 und ohne nachgestellte Schrägstriche angeben. Beispiel: https://s3.<REGION>.amazonaws.com.

   Aktualisierungen der Bucket-Berechtigungsnachweise für den Home-Bucket einer Milvus-Engine erfordern ein manuelles Anhalten und Fortsetzen der Engine, um wirksam zu werden.

5. Klicken Sie auf Erstellen.