Speicher hinzufügen

In IBM® watsonx.data werden die Daten entweder in einem internen Speicher, der bei der Bereitstellung der Instanz angelegt wird, oder in einem extern verwalteten Speicher gespeichert. Sie können einen Katalog mit einem Speicher verknüpfen. Ein Katalog definiert die Schemata und Metadaten für einen Speicher.

Wenn Sie Ihren eigenen Speicherbereich oder Ihre eigene Datenquelle hinzufügen oder die Daten in diesen Datenquellen über die Abfrage-Engines von watsonx.data abfragen, können je nach Dienstanbieter Gebühren für das Abrufen von Daten aus diesen Quellen anfallen. Wenn Sie verwaltete Services verwenden, ziehen Sie die Dokumentation oder den Support Ihres Service-Providers zu Rate, um Details zu diesen Gebühren zu erhalten.

Um die Latenzprobleme zu reduzieren, wird empfohlen, zusätzliche Speicherbuckets oder Datenbanken in der Region zu kolokieren, in der die watsonx.data-Instanz bereitgestellt wird.

Um einen Speicherplatz hinzuzufügen, führen Sie die folgenden Schritte aus:

  1. Melden Sie sich bei der watsonx.data-Konsole an.
  2. Wählen Sie im Navigationsmenü die Option Infrastrukturmanager.
  3. Um einen Speicher zu definieren und zu verbinden, klicken Sie auf Komponente hinzufügen.
  4. Wählen Sie im Fenster Komponente hinzufügen einen Speicher aus dem Abschnitt Speicher aus und geben Sie die Details an, um die Verbindung herzustellen.

Hadoop Distributed File System ( HDFS ) wird in Milvus nicht unterstützt.

watsonx.data unterstützt die folgenden Datenspeicheroptionen:

Wichtige Informationen

  • Der Speicherbucketname muss eindeutig sein und darf nur die Zeichen A-Z, a-z, 0-9 und Bindestriche (-) enthalten.
  • Sie müssen einen Serviceberechtigungsnachweis mit der Rolle Writer verwenden, da das Schema in das Speicherbucket geschrieben wird. Stellen Sie sicher, dass Sie den Endpunkt auswählen, der dem Zugriffstyp entspricht, den das Bucket zulässt. Wenn also kein öffentlicher Zugriff zulässig ist (Öffentlicher Zugriff ist Nein), wählen Sie den Endpunkt Direkt aus.

Zusätzliche Informationen zum Anschluss

  • Für Eisberg Verbinder:
    • Sie können Daten aus Tabellen löschen, indem Sie DELETE FROM Erklärung für Eisberg Verbinder.
    • Sie können die Tabelleneigenschaft „delete_mode“ für neue Tabellen angeben, indem Sie entweder den Modus „Copy-on-Write“ oder den Modus „Merge-on-Read“ (Standard) verwenden.
  • Für DELETE FROM Erklärung für Eisberg Verbinder:
    • Gefilterte Spalten unterstützen nur Vergleichsoperatoren wie GLEICH, WENIGER ALS oder WENIGER ALS GLEICH.
    • Löschungen dürfen nur im aktuellsten Snapshot erfolgen.
    • Bei V1-Tabellen kann der Iceberg-Connector Daten nur in einer oder mehreren ganzen Partitionen löschen. Alle Spalten im Filter müssen identitätstransformierte Partitionsspalten der Zieltabelle sein.
  • Für CREATE TABLE,Eisberg Anschlussunterstützung sorted_by Tabelleneigenschaft.
    • Geben Sie beim Erstellen der Tabelle ein Array aus einer oder mehreren beteiligten Spalten an.
  • Für Eisberg Verbinder,ALTER TABLE Operationen an einer Spalte unterstützen Datentypkonvertierungen von:
    • INT bis BIGINT
    • FLOAT bis DOUBLE
    • DECIMAL(num1, Dezimalstellen) bis DECIMAL (num2, Dezimalstellen), wobeinum2>num1.

Einschränkungen

  • Verwenden Sie separate Container und Speicherkonten für ADLS Gen1 und ADLS Gen2 für die vollständige Synchronisierung von Metadaten, einschließlich Tabellen. Andernfalls wird in den Synchronisierungsprotokollen eine Meldung PARTIAL SUCCESS angezeigt, wenn SYNC beendet ist.

Einschränkungen für SQL-Anweisungen

  • Für den Iceberg Connector wird die UPDATE Abfrage mit Unterabfrage nicht unterstützt.
  • Für den Iceberg-Konnektor wird die UPDATE-Abfrage mit einer Spalte mit gemischter Großschreibung nicht unterstützt.
  • Für Eisberg,Erinnerung Und Hive Anschlüsse,DROP SCHEMA tun können RESTRICT standardmäßig.
  • Für datenbankbasierte Kataloge CREATE SCHEMA,CREATE TABLE,DROP SCHEMA,DROP TABLE,DELETE,DROP VIEW,ALTER TABLE, Und ALTER SCHEMA sind nicht verfügbar in Datenmanager Benutzeroberfläche.

Einschränkungen für Datentypen

  • Für Eisberg Connector beträgt die maximale Anzahl von Ziffern, die in einer Spalte des Datentyps FLOAT und DOUBLE untergebracht werden können, 37. Der Versuch, etwas Größeres einzufügen, endet in einem Dezimalüberlauffehler.
  • Wenn die Felder vom Datentyp REAL haben 6 oder mehr Ziffern im Dezimalteil und die Ziffern bestehen überwiegend aus Nullen. Die Werte werden bei der Abfrage gerundet. Es ist zu beachten, dass die Rundung je nach Genauigkeit der Werte unterschiedlich erfolgt. Beispielsweise eine Dezimalzahl1.654 wenn sie auf 3 Stellen nach dem Komma gerundet werden, sind sie gleich. Ein weiteres Beispiel ist10.890009 Und10.89000. Es fällt auf, dass10.89000 wird gerundet auf10.89, wohingegen10.89009 wird nicht gerundet. Dies ist ein inhärentes Problem aufgrund der Darstellungsbeschränkungen binärer Gleitkommaformate. Dies kann erhebliche Auswirkungen haben, wenn die Abfrage eine Sortierung beinhaltet.

Weitere Informationen zum Feature-Flag-Verhalten bei gemischter Groß- und Kleinschreibung, zu unterstützten SQL-Anweisungen und zu unterstützten Datentypmatrizen finden Sie unter Support-Inhalte.

Zugehörige API

Informationen zu verwandten APIs finden Sie unter