Releaseinformationen für watsonx.data

Verwenden Sie diese Releaseinformationen, um sich über die neuesten Aktualisierungen von IBM® watsonx.data zu informieren, die hier nach Datum gruppiert sind.

Für watsonx.data as a Service auf IBM Cloud mit KI-Erfahrung siehe Release Notes für watsonx.data as a Service auf IBM Cloud mit KI-Erfahrung.

Die Neuerungen von watsonx.data on-prem finden Sie in den Versionshinweisen für watsonx.data.

Informationen zu den Neuerungen in watsonx.data Premium der Edition on-prem finden Sie in den Versionshinweisen für on-prem Premium.

Technologie-Vorschau-Funktionen: Wir bieten auch eine Technologievorschau an, die Funktionen enthält, die sich derzeit in der Vorschau befinden. Diese Funktionen sind noch nicht allgemein verfügbar und können sich bis zur Veröffentlichung noch ändern. Die Versionshinweise für die Elemente der Technologievorschau finden Sie unter Technologievorschau.

10. Dezember 2025 – Version 2.3

Verbesserungen bei der Bereitstellung von Instanzen

Diese Version von watsonx.data bietet die folgenden Verbesserungen:

Sie können jetzt Instanzen mit aktiviertem Virtual Private Endpoint watsonx.data (VPE) in den folgenden neuen Regionen bereitstellen: Dallas (us-south), Washington DC (us-east) und Frankfurt (eu-de). Um VPE während der Bereitstellung zu aktivieren, fügen Sie den Parameter "vpe_required":"true" zum CLI-Befehl hinzu. Informationen zum Bereitstellen einer VPE-fähigen Instanz finden Sie unter Bereitstellen einer VPE-fähigen Instanz(Virtual Private Endpoint).

Datenquellen und Speichererweiterungen

Mit dieser Version von watsonx.data werden die folgenden Datenquellen und Speichererweiterungen eingeführt:

  • Sie können nun Governance-Richtlinien auf die IBM Knowledge Catalog Datenquelle anwenden. MongoDB Weitere Informationen finden Sie unter Verbinden mit IBM Knowledge Catalog(IKC).

  • Sie können nun Data Lake Storage Gen2 mit Presto (C++) Azure mithilfe ServicePrincipal der Authentifizierung verknüpfen.

  • Sie können nun mehrere Kataloge vom Typ „Iceberg“ mit einem einzigen Objektspeicher-Bucket oder -Container verknüpfen. Jeder Katalog muss mit einem eindeutigen, nicht überlappenden Basispfad auf dem Speicher konfiguriert werden, um eine ordnungsgemäße Datenisolierung zu gewährleisten.

    Zum Beispiel:

    • Catalog1 kann in Verbindung gebracht werden mit s3a://mybucket/foo/bar
    • Catalog2 kann in Verbindung gebracht werden mit s3a://mybucket/lorem/ipsum

    Diese Verbesserung erleichtert die logische Trennung von Daten innerhalb desselben Speichers und deren Wiederverwendung in mehreren Katalogen, wodurch Flexibilität und Organisation verbessert werden. Dieses Verhalten gilt für alle neuen Lite-Plan-Instanzen, die nun auf Kontoebene gelten. Weitere Informationen finden Sie unter Hinzufügen mehrerer Apache Iceberg Kataloge zu einem einzigen Speicher.

    Diese Funktion ist nur für watsonx.data Lite-Instanzen verfügbar. Bisher konnte jeder Objektspeicher-Bucket oder -Container nur mit einem einzigen Katalog verknüpft werden.

Motor- und Serviceverbesserungen

Diese Version von watsonx.data führt die folgenden Verbesserungen an der Engine und den Diensten ein:

  • Prestissimo bietet jetzt eine verbesserte Leistung beim Schreiben Apache Iceberg von Tabellen im Vergleich zu Java Implementierungen. Die folgenden Funktionen sind verfügbar:

    • Unterstützung für partitionierte Tabellen – Prestissimo schreibt in partitionierte Iceberg-Tabellen und wendet Partitionstransformationen mithilfe von Batch-Auswertungen effizient an. Es unterstützt Identitäten, zeitliche Transformationen (Jahr, Monat, Tag, Stunde), Buckets und Trunkierungen und generiert Iceberg-konforme Partitionsverzeichnispfade.
    • Erfassung von Datenstatistiken – Während Schreibvorgängen erfasst Prestissimo wichtige Datenstatistiken und übermittelt diese an Iceberg-Manifestdateien, darunter die Anzahl der Datensätze, die Dateigröße und Details zu Partitionen.
    • Unterstützung für das Schreiben sortierter Tabellen – Prestissimo unterstützt das Schreiben sortierter Iceberg-Tabellen, um eine optimierte Abfrageleistung für Workloads zu ermöglichen, die von sortierten Daten profitieren.

  • Serverloses Spark mit flexibler Kapazität für den Enterprise-Plan

    On-Demand-Kapazität

    • Im watsonx.data Enterprise-Plan unterstützt die Spark-Engine ein serverloses Modell und bietet dennoch die Flexibilität, bei Bedarf dedizierte Kapazitäten zuzuweisen.
    • Durch die Ausführung von Spark-Jobs auf einer serverlosen Plattform sind keine dedizierten Knoten für jede Spark-Engine mehr erforderlich.
    • Die serverlose Spark-Umgebung bietet einen gemeinsamen Pool von Knoten mit einer maximalen Ressourcenquote von 8 vCPUs und 32 GB Arbeitsspeicher.

    Dieses Verhalten gilt für alle neuen watsonx.data Instanzen, die nun auf das Konto beschränkt sind.

    Dedizierte Kapazität

    • Für Workloads, die eine höhere Kapazität erfordern, können Sie dedizierte Knoten mit anpassbaren Speicherkonfigurationen bereitstellen. Weitere Informationen zu serverlosen und On-Demand-Kapazitäten finden Sie unter Verwalten der Spark-Kapazität.
    • Der Erstellungsprozess für Spark-Engines wurde vereinfacht, indem nur noch die wesentlichen Details – Name der Engine, Spark-Version, Home-Bucket und zugehörige Kataloge – berücksichtigt werden, während die Aufgaben zur Kapazitätsreservierung auf eine neue Registerkarte „Kapazitätsverwaltung“ auf der Seite mit den Engine-Details verschoben wurden. Mit diesem Update wird die Kapazitätskonfiguration aus dem Erstellungsablauf entfernt, wodurch die Einrichtung der Engine schneller und weniger komplex wird.
    • Nachdem Sie eine Engine erstellt haben, können Sie unter der Registerkarte „Kapazität“ VM-Varianten verwalten, Knotenpools konfigurieren und On-Demand-Fallback-Schwellenwerte festlegen.

    Dieses Verhalten gilt für alle neuen watsonx.data Instanzen, die nun auf das Konto beschränkt sind.

    Die maximale Ressourcenquote für den Enterprise-Tarif beträgt 256 vCPUs und 1024 GB Arbeitsspeicher. Um dieses Limit zu erhöhen, müssen Sie sich an IBM den Support wenden.

    Weitere Informationen zu serverlosen und On-Demand-Kapazitäten finden Sie unter Verwalten der Spark-Kapazität.

Komponentenpersistenz auf Kontoebene für Lite-Plan-Instanz

Sie können nun Komponenten auf Kontoebene wie Kataloge, Datenbanken, Buckets und deren Metadateneigenschaften unabhängig von einzelnen Instanzen beibehalten. Wenn eine Instanz gelöscht wird, bleiben diese Komponenten von jeder anderen Instanz innerhalb desselben Kontos und derselben Region aus zugänglich. Dieses Verhalten gilt für alle neuen Lite-Plan-Instanzen, die nun auf Kontoebene gelten.

Wiederverwendung von Schemanamen über Iceberg-Kataloge hinweg für Lite Plan-Instanzen

Bisher mussten Schemanamen bei der Referenzierung einer Tabelle mit einem dreiteiligen Namen (<catalog>.<schema>.<table>) in allen Katalogen innerhalb einer watsonx.data Instanz eindeutig sein. Diese Einschränkung verhinderte die Erstellung von Schemata mit demselben Namen in verschiedenen Katalogen. Diese Einschränkung gilt nicht für Iceberg-Kataloge. Sie können nun Schemanamen in mehreren Iceberg-Katalogen wiederverwenden. Zum Beispiel:

  • myiceberg_catalog1.abcschema.mytable
  • myiceberg_catalog2.abcschema.mytable

Dieses Verhalten gilt für alle neuen Lite-Plan-Instanzen, die nun auf Kontoebene gelten.

Schemanamen müssen weiterhin über andere Katalogtypen wie Delta und Hudi hinweg Hive eindeutig sein.

Erweiterungen der Zugangsverwaltung

Diese Version von watsonx.data führt die folgenden Verbesserungen in der Zugangsverwaltung ein:

  • Administratoren können kontextbasierte Einschränkungsrichtlinien erstellen und vertrauenswürdige IP-Adressen definieren. Sie können nun vertrauenswürdige IP-Adressen konfigurieren, um bestimmten Benutzern einen sicheren Zugriff auf watsonx.data (UI und API) zu ermöglichen. Diese Funktion bietet zusätzlichen Schutz, indem sie sicherstellt, dass nur Datenverkehr von zugelassenen IP-Adressen auf die Benutzeroberfläche und die API zugreifen kann. Alle Versuche, von IPs außerhalb des definierten Bereichs aus watsonx.data darauf zuzugreifen, werden blockiert. Weitere Informationen finden Sie unter „ Sichern des UI-Zugriffs mit IP-basierten Kontrollen “.

  • Ein neues leichtgewichtiges CPG ist jetzt als herunterladbares Plugin verfügbar und ermöglicht eine nahtlose Integration in jede Policy-Engine (z. B. ApacheIBM Knowledge Catalog Ranger, Collibra). Weitere Informationen finden Sie unter Common Policy Gateway(CPG)-Connector.

Verbesserungen bei der Rechnungsstellung

Mit dieser Version von watsonx.data werden die folgenden Verbesserungen an der Abrechnungsfunktion eingeführt:

  • Die Messung von watsonx.data Komponenten erfolgt nun auf Laufzeitebene, wobei Start-, Stopp- und Pausenereignisse für jede mit einer Engine verknüpfte Laufzeit erfasst werden. Es bietet einen klaren Überblick über den Verbrauch und die Ressourcennutzung des Motors. Bei Engines wie bleibt dies eine Presto Eins-zu-Eins-Zuordnung, während Spark mehrere Laufzeit-Untertypen einführt (z. B. Kernel, HistoryServer, Application), die jeweils einzeln hinsichtlich aktiver und inaktiver Stunden verfolgt werden. Die Benutzeroberfläche spiegelt diese Änderungen wider, indem sie Aktivitätsbalken auf Laufzeitebene und Links zum Ereignisverlauf für jede Laufzeit anzeigt, wodurch Klarheit und Präzision gewährleistet werden. Weitere Informationen finden Sie unter Messung und Nutzungserfahrung. Dieses Verhalten gilt für alle neuen watsonx.data Instanzen, die nun auf das Konto beschränkt sind.
Verbesserungen des Lite-Tarifs:

Diese Version von watsonx.data führt die folgenden Verbesserungen für den Lite-Tarif ein:

Die Bereitstellung des Lite-Plans in watsonx.data wurde vereinfacht, indem die Unterstützung für mehrere Anwendungsfälle entfernt wurde. Alle neuen Instanzen werden mit dem Generative AI Standard-Anwendungsfall bereitgestellt. Die Anwendungsfälle für Power BI Data Engineering und sind veraltet und nicht mehr verfügbar. Die CLI-Bereitstellungsmethode erlaubt nun nur noch den Generative AI Standard-Anwendungsfall, wodurch eine konsistente und optimierte Benutzererfahrung gewährleistet wird.

OpenTelemetry Verbesserung

Diese Version von watsonx.data führt die folgenden Verbesserungen hinsichtlich der Beobachtbarkeit und Überwachung für Presto die ( Java )-Engine ein.

  • Sie können nun die Integration OpenTelemetry mit der Presto ( Java ) Engine vornehmen, um die Ausführung von Abfragen und die Systemleistung zu überwachen. OpenTelemetry ermöglicht die Erfassung von Telemetriedaten wie Traces und Metriken, die mit Tools wie Instana, Prometheus und visualisiert und Grafana analysiert werden können. Weitere Informationen finden Sie unter OpenTelemetry.

  • Neue Instana- und Grafana Dashboards – Sie können nun die Instana- und Grafana Dashboards verwenden, um die Leistung zu überwachen und einen umfassenderen Überblick über den Systemzustand und die Leistung zu erhalten. Weitere Informationen finden Sie unter Dashboards unterstützen.

Verbesserung des Abfrageoptimierers

Diese Version von watsonx.data führt die folgenden Verbesserungen für den Abfrageoptimierer ein.

  • Die Standard-Zeitüberschreitung für die Umschreibung von Abfragen für den Abfrageoptimierer ist jetzt konfigurierbar. Ab Version können Sie diesen 2.3 Zeitüberschreitungswert mithilfe der PATCH-API ändern, indem Sie die Eigenschaft aktualisieren optplus.query-timeout-seconds. Weitere Informationen finden Sie unter Aktualisieren der Zeitüberschreitung für die Umschreibung von Abfragen für den Abfrageoptimierer.

  • Unterstützung für Hive und Iceberg-Metastore-Registrierung im Query Optimizer für Lite-Instanzen von watsonx.data.

    Der Query Optimizer unterstützt unterschiedliche Metaspeichertypen für Hive und Iceberg-Kataloge.

    Benutzer können sich jetzt registrieren:

    • Hive kataloge, die den Metaspeichertyp watsonx-data-hive verwenden.
    • Iceberg-Kataloge, die den Metaspeichertyp iceberg-rest verwenden.

    Diese Verbesserung ermöglicht eine genauere Steuerung und Kompatibilität mit sich entwickelnden Metaspeicher-Architekturen. Die Registrierung erfolgt mithilfe des REGISTER_EXT_METASTORE Verfahrens mit aktualisierter Syntax und Eigenschaften.

    Ab dieser Version wird die Legacy-Unterstützung für den einheitlichen watsonx-data Metastore-Typ in der Enterprise-Version weiterhin unterstützt, während sie für Lite-Instanzen nicht mehr verfügbar ist. Weitere Informationen finden Sie unter Manuelle Synchronisierung von Query Optimizer mit dem Metaspeicher.

Sparsamkeit gegenüber HTTP Protokollunterstützung im watsonx.data Lite-Tarif

Der Metadaten-Dienst (MDS) in führt den watsonx.data Thrift-Dienst nun über das HTTP Protokoll statt über das bisherige Binärprotokoll aus. Diese Änderung betrifft Service-Endpunkte und Verbindungskonfigurationen.

Wichtige Änderungen:

  • Das MDS-Thrift-Protokoll (thrift://) wird zu Thrift Over HTTP (https://) geändert.
  • Die account_id ist für alle Thrift-API-Aufrufe obligatorisch, die über an den MDS Thrift Service HTTP gesendet werden.
  • Der catalog Abfrageparameter ist erforderlich, wenn APIs aufgerufen werden, die den Iceberg-Katalog betreffen.

Für Spark und Presto Engines innerhalb watsonx.data von werden diese Updates automatisch sowohl für neue als auch für migrierte Kataloge angewendet. Bei externen Engines wie Spark, Db2 und müssen Benutzer die Verbindungseinstellungen manuell aktualisieren, um das neue Netezza Protokoll, den neuen Port und den neuen Abfrageparameter zu berücksichtigen.

Verbesserungen am Multi-Tenant-Metadaten-Dienst (MDS)

Diese Version von watsonx.data führt die folgenden Verbesserungen für MDS ein.

  • AccountId ist nun für alle direkten Aufrufe des MDS REST-Dienstes (Iceberg Catalog und Unity Catalog) erforderlich. Anfragen, die diesen Header nicht enthalten, schlagen fehl.
  • Der Endpunkt für Iceberg-Operationen wurde nun von /mds/iceberg auf /api/v1/iceberg aktualisiert.

Weitere Informationen finden Sie in der API-Dokumentation.

CPDCTL CLI-Erweiterungen

Diese Version von watsonx.data führt die folgenden Verbesserungen an der IBM Cloud Pak for Data Befehlszeilenschnittstelle ( IBM cpdctl) ein:

  • Die Abwärtskompatibilität wurde für die bucket Befehle, service engine, ingestion component, und in CPDCTL aktiviert.

Ab CPDCTL-Version können diese Befehle nun eine 1.8.85 Verbindung zu watsonx.data Versionen vor Version herstellen, wodurch eine reibungslosere Integration und 2.2.1 Kompatibilität zwischen verschiedenen Umgebungen gewährleistet wird.

  • Eine neue Option unter dem bucket Befehl wx-data bucket list-objects listet die Objekte in einem Bucket auf, die in hinzugefügt watsonx.data wurden. Weitere Informationen zu den bucket Befehlsoperationen in finden Sie unter watsonx.data bucket.

  • Als Workaround --en-apikey steht nun ein verstecktes Flag zur Verfügung, um Randfälle zu behandeln, in denen das --api-key Flag die Validierung in den sparkjob create Befehlen tablemaint und nicht besteht. Weitere Informationen finden Sie unter „ Zusätzliche Informationen zur Verwendung des Befehls cpdctl wx-data und Beispiele “.

Gen KI-gestützte Chat-Schnittstelle in watsonx.data

Sie können jetzt mit einer KI-gestützten Chat-Schnittstelle chatten, watsonx.data dem Assistenten, um Fragen zu stellen IBM® watsonx.data. Der Assistent beantwortet Ihre Fragen zu watsonx.data auf der Grundlage seines Wissens über IBM die Produktdokumentation. Es hilft dabei, das Produkt einfacher und schneller zu erkunden und kennenzulernen. Um die Funktion zu aktivieren und zu verwenden, siehe watsonx.data Assistent – genAI gestützte Chat-Schnittstelle.

Abrufservice

Diese Version von watsonx.data bietet die folgenden Verbesserungen des Abrufdienstes:

  • Sie können jetzt das KI-Modell für den Abrufdienst auf gpt-oss-120b Instanzebene in der watsonx.data Konsole konfigurieren. Informationen zum Konfigurieren des KI-Modells für den Abrufdienst finden Sie unter Konfigurieren des KI-Modells für den Abrufdienst.
Verbesserung der Aufnahme

Diese Version von watsonx.data bietet die folgenden Verbesserungen bei der Datenerfassung:

  • Im Zielbereich des Erfassungsbildschirms steht eine neue Umschaltfunktion zur Verfügung, mit der der Löschmodus für erfasste Tabellen im Iceberg-Format gesteuert werden kann, wobei Copy-on-Write (COW) als Standardmodus festgelegt ist. Durch Umschalten in den Modus „Merge-on-Read“ wird das Löschen auf Zeilenebene während der Erfassung aktiviert.
Veraltete Funktionen

Die folgenden Funktionen sind in dieser Version veraltet:

  • Die für die Benutzerauthentifizierung verwendeten ibmlhtoken Benutzernamen ibmlhapikey und wurden ab Version als veraltet 2.2.0 angekündigt und zur Entfernung vorgemerkt. Nun wurde 2.3.0 die Unterstützung vollständig entfernt.

Zur Authentifizierung müssen Sie das neue Format verwenden:

ibmlhapikey_<username>

ibmlhtoken_<username>

Weitere Informationen finden Sie unter Zugriffsverwaltung und Governance in watsonx.data.

Technologie-Vorschau-Funktionen

Für diese Version sind zusätzliche Aktualisierungen und Verbesserungen unter Technologievorschau-Funktionen verfügbar. Um die Technologievorschau-Updates für diese Version zu überprüfen, siehe Technologievorschau 2.3.

13. November 2025 - Version 2.2.2 Neue Funktion 1 ( NF1 )

NF12.2.2watsonx.data Die Version wird schrittweise in verschiedenen geografischen Regionen veröffentlicht und ist nicht in allen Regionen verfügbar. Um zu erfahren, ob die 2.2.2NF1 Version in Ihrer Region verfügbar ist, wenden Sie sich bitte an IBM den Support.

Technologie-Vorschau-Funktionen
Für diese Version sind zusätzliche Aktualisierungen und Verbesserungen unter Technologievorschau-Funktionen verfügbar. Informationen zu den Technologievorschau-Updates für diese Version finden Sie unter Technologievorschau 2.2.2 NF1.
Veraltete Funktionen
Die Anwendungsfälle "High Performance BI" und " Data Engineering" sind bei der Erstellung einer watsonx.data Lite-Instanz über die Benutzeroberfläche veraltet. Sie können eine watsonx.data Lite-Instanz mit diesen Anwendungsfällen immer noch über die CLI erstellen. Diese Anwendungsfälle werden jedoch in der Version 2.3.1 aus der CLI entfernt.

31. Oktober 2025 - Fassung 2.2.2

Motor- und Serviceverbesserungen

Diese Version von watsonx.data führt die folgenden Verbesserungen an der Engine und den Diensten ein:

  • Milvus in watsonx.data unterstützt jetzt die folgenden externen Speichertypen für die Speicherung von Vektordaten, Indexdateien und binären Protokollen: Google Cloud Storage (GCS), Azure Data Lake Storage (ADLS) Gen1 und S3-compatible Speicherarten.
  • Milvus die Skalierungsfunktion ist jetzt für die T-Shirt-Größe Starter deaktiviert. Sie können nicht mehr von der Größe des Milvus Starter-T-Shirts auf eine andere Größe skalieren. Eine Rückführung von einer größeren Konfiguration auf Starter ist ebenfalls nicht zulässig.
Datenquellen und Speichererweiterungen

Mit dieser Version von watsonx.data werden die folgenden Datenquellen und Speichererweiterungen eingeführt:

  • Sie können nun IBM Knowledge Catalog Governance-Richtlinien auf die Datenquelle anwenden, Teradata. Weitere Informationen finden Sie unter Verbinden mit IBM Knowledge Catalog(IKC).
  • Sie können jetzt einen Speicher in einem aktiven Zustand erstellen, ohne ihn mit einem Katalog zu verknüpfen. Durch diese Verbesserung entfällt die Notwendigkeit einer manuellen Aktivierung.
  • Sie können jetzt ACL-Funktionen auf einem ACL-aktivierten Speicher in der Topologieansicht aktivieren und deaktivieren. Weitere Informationen finden Sie unter Deaktivieren oder Aktivieren von ACL auf einem ACL-aktivierten Speicher.
  • Sie können jetzt GlusterFS,, ein skalierbares verteiltes Dateisystem, als unterstütztes Speicher-Backend für MinIO verwenden. Weitere Informationen finden Sie unter Einrichten von GlusterFS repliziertem Speicher mit MinIO.
  • Sie können jetzt jeden S3 kompatiblen Objektspeicher in watsonx.data konfigurieren, indem Sie die Option Custom S3 Storage verwenden. Weitere Informationen finden Sie unter Benutzerdefinierte Speicherung S3.
  • Sie können jetzt Anmeldeinformationen für Azure Data Lake Storage (ADLS) und Google Cloud Storage aktualisieren.
  • Sie können nun für die folgenden Datenquellen wählen, ob Sie die Verbindungsdetails in der Datenbank der Instanzkonsole oder im Standardkatalog innerhalb der Datenplattform speichern möchten:
    • IBM Db2
    • IBM Netezza
    • MySQL
    • Oracle
    • PostgreSQL
    • Snowflake
    • SQL Server
Delta Lake kataloge jetzt mit Spark-Zugangskontrollerweiterung verfügbar

Sie können jetzt Delta Lake Kataloge mit der Spark-Zugriffskontrollerweiterung verwenden, um die Sicherheit bei der Einreichung von Spark-Anwendungen zu erhöhen. Die Funktion bringt eine zusätzliche Autorisierung mit sich, die sicherstellt, dass nur autorisierte Benutzer auf watsonx.data Kataloge zugreifen und diese über Spark-Jobs bedienen können. Weitere Informationen finden Sie unter Verbesserung der Spark-Anwendungseinreichung mit der Spark-Zugriffskontrollerweiterung.

Anpassen der Nutzlast Ihrer Spark-Anwendung

Wenn Sie eine Spark-Anwendung in watsonx.data einreichen, können Sie die Nutzlast der Anwendung so anpassen, dass sie die folgenden Funktionen enthält:

  • Idempotenz-Schlüssel: Stellt sicher, dass Anwendungsübermittlungen nur einmal verarbeitet werden, selbst wenn die Kommunikation zwischen Client und Server fehlschlägt.
  • Maximale Laufzeitkontrollen: Legt eine maximale Ausführungszeit für Spark-Anwendungen fest. Wird die Zeitüberschreitung nicht angegeben, werden die Aufträge bis zum Abschluss ausgeführt, unabhängig davon, wie lange sie dauern.

Weitere Informationen finden Sie unter Anpassen der Parameter für die Einreichung von Spark-Anwendungen.

Gemeinsames politisches Portal (CPG)

Die Bereitstellung des Common Policy Gateway (CPG) ist jetzt optional. Sie können eine Instanz von watsonx.data ohne automatische Bereitstellung von CPG erstellen, es sei denn, eine Policy Engine ist ausdrücklich erforderlich. Mit dieser Funktion ist die CPG-Bereitstellung nun vollständig optional und reversibel. Wenn eine Kundenrichtlinien-Engine wie Ranger oder IKC benötigt wird, kann CPG später bereitgestellt werden. Weitere Informationen finden Sie unter Aktivieren oder Deaktivieren von gemeinsamen Richtlinien-Gateway-Engines.

CPDCTL CLI-Erweiterungen

Diese Version von watsonx.data führt die folgenden Verbesserungen an der IBM Cloud Pak for Data Befehlszeilenschnittstelle ( IBM cpdctl) ein:

  • Verwenden Sie die neue Befehlsgruppe access-control, um Zugriffsrichtlinien für Ressourcen in Ihrer Instanz watsonx.data zu verwalten, einschließlich der Anzeige, Aktualisierung und des Entzugs des Zugriffs für Benutzer und Gruppen. Weitere Informationen finden Sie unter Zugriffskontrolle.
Erweiterungen des Datenmanagers

Benutzer können jetzt Schemata mit benutzerdefinierten Pfaden erstellen, um Daten auf einer detaillierteren Ebene anzuzeigen und zu synchronisieren. Mit dieser neuen Funktion können Benutzer nur ein bestimmtes Verzeichnis synchronisieren (z. B. /test1 oder /test1/schema1 ), um Tabellen unter diesem Pfad abzurufen, anstatt den gesamten Katalog zu synchronisieren. Diese gezielte Synchronisierungsfunktion verbessert die Leistung und Präzision der Datenverwaltung.

Integrationserweiterungen

IBM watsonx.data unterstützt jetzt die Verfolgung der Abstammung auf Spaltenebene für Presto durch die Integration mit Manta. Mit dieser Erweiterung können Benutzer jetzt detaillierte Spaltenabhängigkeiten, Beziehungen und Metadatenänderungen untersuchen, was tiefere Einblicke in Datenflüsse ermöglicht und die Nachvollziehbarkeit über Pipelines hinweg verbessert.

Veraltete Funktionen

Das Paket IBM Client ist veraltet und die Installation und Unterstützung des Pakets ibm-lh-client wird ab der Version 2.3.0 von watsonx.data nicht mehr verfügbar sein. Die Dienstprogramme und Befehle im Client-Paket werden durch IBM CPDCTL CLI ersetzt. Die Benutzer werden ermutigt, zu migrieren und CPDCTL zu erkunden. Weitere Informationen über die Verwendung von IBM CPDCTL CLI finden Sie unter IBM cpdctl.

Verwenden Sie die folgenden verfügbaren Tools für gleichwertige Funktionalitäten des Client-Pakets:

  • python-run / dev-sandbox- Verwenden Sie die Standardumgebung Python, um Spark-Skripte zu entwickeln und auszuführen.
  • presto-run / Presto CLI - Verwenden Sie die offizielle Presto CLI, um SQL-Abfragen gegen watsonx.data auszuführen.
  • cert-mgmt- Verwenden Sie das JVM keytool, um HTTPS Zertifikate zu verwalten.

23. September 2025 - Version 2.2.1 Neue Funktionalitäten eingeführt (NFI)

Versionshinweise für 2.2.1 die NFI-Version von watsonx.data as a Service auf IBM Cloud mit generativer KI-Erfahrung, siehe IBMwatsonx.data as a Service-Version 2.2.1 Neue Funktionen(NFI).

Erweiterung des Metadatendienstes
Der Metadatendienst (MDS) in watsonx.data unterstützt jetzt die Ausstellung von Vended Credentials über die Iceberg und Unity REST APIs. Durch die Anforderung temporärer Anmeldeinformationen können externe Metadatenkonsumenten nun sicher auf die Daten aus dem Objektspeicher zugreifen, ohne dass sie langlebige Zugriffsschlüssel verwalten müssen.

Die Funktion zur Unterstützung von verkauften Anmeldeinformationen in watsonx.data ist nur für Speicher wie Amazon S3, Google Cloud Storage (GCS) und Azure Data Lake Storage (ADLS) verfügbar. Um die Unterstützung von verkauften Anmeldeinformationen für Amazon S3 den Speicher zu aktivieren, müssen Metadatenverbraucher das Feld „Role ARN“ (Amazon Resource Name) angeben, wenn die S3watsonx.data Komponente in registriert wird. Weitere Informationen finden Sie unter Hinzufügen von Amazon S3 Speichern.

11. September 2025 - Fassung 2.2.1

Motor- und Serviceverbesserungen

Mit dieser Version von watsonx.data werden die folgenden Motor- und Serviceverbesserungen eingeführt:

  • Einführung der Version v3 der watsonx.data API. Sie können die Version v2 bis zur Version watsonx.data 2.3 weiter verwenden. Siehe API-Dokumentation(v3 ).
  • Sie können jetzt watsonx.data Spark-Engine mit der Spark-Laufzeit auf Spark 4.0 bereitstellen, wodurch Sie Spark-Anwendungen auf Spark 4.0 ausführen können. Einzelheiten zu den unterstützten Spark-Versionen finden Sie unter Unterstützte Spark-Version.
  • Der Dienst Milvus in watsonx.data ist jetzt auf die Version 2.5.12 aktualisiert worden.
  • Sie können jetzt das Open-Source-Backup-Tool Milvus verwenden, um Daten von Milvus innerhalb von watsonx.data zu sichern und wiederherzustellen.
  • Die glutenbeschleunigte Spark-Engine in watsonx.data ist jetzt in der Lage, Anwendungen mit der Spark-Version 3.5 auszuführen. Einzelheiten zu den unterstützten Spark-Versionen finden Sie unter Unterstützte Spark-Version.
  • Sie können jetzt den Vector Transport Service (VTS) mit Milvus in watsonx.data verwenden, um Vektordaten systemübergreifend zu migrieren oder zu verwalten. Weitere Einzelheiten finden Sie unter Verwendung des Vector Transport Service.
Verbesserung des Abfrageoptimierers

Sie können jetzt Verbesserungen der Abfrageleistung über das Optimierer-Dashboard überwachen. Der Optimierer verwaltet aktiv die Abfragepläne für die zugehörigen Kataloge und verbessert die Leistung für Presto (C++) Engines. Weitere Einzelheiten finden Sie unter Verwalten von Statistik-Updates über das Optimizer-Dashboard.

Erweiterungen der Zugangsverwaltung

Diese Version von watsonx.data führt die folgenden Verbesserungen in der Zugangsverwaltung ein:

  • Die Verwaltung von Berechtigungen für einen Milvus-Dienst in watsonx.data umfasst jetzt die folgenden globalen Berechtigungen:

    • DescribeDatabase- Liefert detaillierte Informationen über die angegebene Datenbank.

    • AlterDatabase- Ändert die Eigenschaften einer bestehenden Datenbank.

Weitere Einzelheiten zur Verwaltung des Benutzerzugriffs in Milvus finden Sie unter Vordefinierte Rollen und Berechtigungen in watsonx.data.

CPDCTL CLI-Erweiterungen

Diese Version von watsonx.data führt die folgenden Verbesserungen an der IBM Cloud Pak for Data Befehlszeilenschnittstelle ( IBM cpdctl) ein:

  • Ab der CPDCTL-Version 1.8.25 ist die Kompatibilität auf watsonx.data Version 2.2.1 und höher beschränkt. Diese Änderung ist auf die Abschaffung der v2 API-Unterstützung als Teil des großen Upgrades auf v3 APIs zurückzuführen. Für Benutzer älterer CPDCTL-Versionen siehe das CPDCTL-Release-Archiv.

    Einige Befehle können sich aufgrund von Aktualisierungen der API-Spezifikation geändert haben. Verwenden Sie die Option --help, um die neueste Befehlssyntax zu überprüfen und anzupassen.

  • Ab der Version watsonx.data 2.2.1 können Sie HashiCorp Vault über cpdctl für die sichere Verwaltung von Geheimnissen und optimierte Automatisierungsabläufe verwenden.

  • Eine neue Option unter dem Befehl service wx-data service generate-engine-dump ermöglicht es Ihnen, Dumps für Presto Worker- und Coordinator-Knoten in watsonx.data zu erzeugen. Einzelheiten zu den service Befehl für wartungsbezogene Vorgänge in watsonx.data, siehe Service.

  • Verwenden Sie den neuen Befehl component, um Konfigurationsdetails und den Status verschiedener Komponenten in watsonx.data abzurufen. Einzelheiten über den Befehl component zum Abrufen der Konfigurationsdetails für verschiedene Komponenten in watsonx.data finden Sie unter wx-data-Befehle und -Verwendung.

  • Ab der CPDCTL-Version 1.8.5 müssen die Benutzer die instance ID nicht mehr als Umgebungsvariable setzen. Diese Methode ist veraltet und wird in einer zukünftigen Version entfernt werden. Setzen Sie stattdessen die instance ID direkt mit dem Befehl profile. Einzelheiten zum Setzen der Umgebungsvariablen instance ID finden Sie unter Konfigurationsbefehle und Verwendung.

Datenquellen und Speichererweiterungen

Sie können jetzt Kataloge und Projekte aus der Datenplattform für die folgenden Datenquellen importieren:

  • IBM Db2
  • IBM Netezza
  • MySQL
  • Oracle
  • PostgreSQL
  • Snowflake
  • SQL Server
Semantische Automatisierung zur Datenanreicherung

watsonx.data unterstützt jetzt semantische Suchfunktionen, mit denen Benutzer Daten in natürlicher Sprache abfragen können, was die Datenexploration intuitiver und effizienter macht. Einzelheiten zu den semantischen Suchfunktionen finden Sie unter Durchführen von semantischen Suchen in watsonx.data.

Erweiterungen für die öffentliche Vorschau

Öffentliche Vorschaufunktionen sind jetzt über die Benutzeroberfläche für Konfigurationen zugänglich. Sie können jetzt einfach auf die Funktionen der öffentlichen Vorschau von watsonx.data über die Benutzeroberfläche für Konfigurationen zugreifen und diese verwalten. Funktionen in der öffentlichen Vorschau werden mit einem Vorschau-Tag hervorgehoben, so dass sie leicht zu erkennen sind. Sie können die Funktionen aktivieren oder deaktivieren, um die Funktionalität zu erkunden. Jede öffentliche Vorschaufunktion enthält einen Link zu ihrer ausführlichen Dokumentation, in der Sie mehr über sie erfahren können. Weitere Einzelheiten zu den Funktionen der öffentlichen Vorschau finden Sie unter Was ist neu in watsonx.data(öffentliche Vorschau).

Veraltete Funktionen

Die folgenden Funktionen sind in dieser Version veraltet:

  • watsonx.data Die API-Version v2 ist jetzt veraltet

watsonx.data Die API-Version v2 wird ab der Version 2.2.1 vollständig aus der Developer Edition watsonx.data entfernt. Sie wird in der Version 2.3 vollständig aus der Software-Edition watsonx.data entfernt werden. Sie müssen auf die neueste unterstützte API-Version ( v3 ) migrieren, um die Kompatibilität und den Zugang zu neuen Funktionen zu gewährleisten.

  • Die Option, externe Spark-Engines in watsonx.data zu registrieren, ist in dieser Version veraltet und wird in Version 2.3 entfernt. watsonx.data enthält bereits integrierte Spark-Engines, die Sie direkt bereitstellen und verwenden können, einschließlich der Gluten-beschleunigten Spark-Engine (Bereitstellung der Gluten-beschleunigten Spark-Engine ) und der nativen watsonx.data Spark-Engine (Bereitstellung einer Spark-Engine ).

05. August 2025 - Version 2.2.0 Neues Feature 1 ( NF1 )

Unterstützung für BLOB- und CLOB-Datentypen

Die Unterstützung von BLOB- und CLOB-Datentypen in watsonx.data wurde aktualisiert, um sie an den SQL-Standard anzupassen, dem Presto als Abfragemaschine im Verbund folgt.

Unterstützung lesen: BLOBs und CLOBs können von JDBC-basierten Verbundsystemen gelesen werden. Wenn sie gelesen werden, werden sie wie folgt abgebildet:

  • BLOB zu VARBINARY
  • CLOB zu VARCHAR

Schreibunterstützung: Das Schreiben von BLOB- und CLOB-Daten wird ebenfalls unterstützt und wird wie folgt behandelt:

  • VARBINARY für binäre Daten
  • VARCHAR für Zeichendaten

Erstellen Sie eine Tabellenunterstützung: Sie können BLOB oder CLOB nicht als Spaltentypen verwenden, wenn Sie neue Tabellen erstellen. Für solche Anwendungsfälle werden nur VARBINARY und VARCHAR unterstützt.

Upgrade der Motorversion

Die Engines Presto ( Java ) und Presto (C++) sind jetzt auf die Version 0.294 aktualisiert worden.

Verbindung zu watsonx BI

Sie können nun watsonx.data mit IBM watsonx BI verbinden, um direkt auf Daten aus verschiedenen Datenquellen zuzugreifen, was die Nutzung der Daten für Data Scientists und Datenanalysten erleichtert. Informationen zur Verbindung mit watsonx BI finden Sie unter Integration mit watsonx BI.

Verbesserung des Lite-Tarifs

Mit dieser Version von watsonx.data werden die folgenden Erweiterungen für den Lite-Plan eingeführt:

  • Serverlose Spark-Engine für den Lite-Plan: Die Spark-Engine in der Planinstanz watsonx.data Lite arbeitet in einem serverlosen Modell. Sie können nun Spark-Aufträge auf einer serverlosen Plattform ausführen, wodurch die Notwendigkeit dedizierter Knoten für jede Spark-Engine entfällt. Das serverlose Spark erlaubt ein maximales Ressourcenkontingent von 8 vCPU×32 GB, wobei die Benutzer auf einen gemeinsamen Pool von Knoten zugreifen können. Die Spark-Laufzeiten werden auf allen verfügbaren Knoten in der Datenebene geplant und nicht auf einem speziellen Knoten. Informationen zum Bereitstellen einer Lite-Plan-Instanz und zum Erstellen einer Spark-Engine darin finden Sie unter Bereitstellen einer serverlosen Spark-Engine für Lite-Plan.

  • Für die Engine Presto ( Java ) wurde eine neue Lite-Konfiguration eingeführt, die eine Ein-Knoten-Einrichtung für Experimente und frühe Entwicklungsphasen bietet. Die Lite Presto ( Java )-Engine ist nur in watsonx.data Lite-Tarifinstanzen verfügbar. Weitere Informationen finden Sie unter Bereitstellen einer Presto(Java)Engine.

Verbesserung der Aufnahme

Diese Version von watsonx.data enthält die folgenden Verbesserungen im Bereich Ingestion:

Das.txt-Dateiformat wird jetzt für die Dateneingabe akzeptiert. Mit dieser Verbesserung wird die Flexibilität erweitert, so dass die Benutzer neben den bereits unterstützten Formaten auch einfache Textdateien hochladen können.

Serviceerweiterungen

Sie können jetzt die Abfragezeitüberschreitung mit zwei Einstellungen konfigurieren: Maximale Abfrageausführungszeit und Zeitüberschreitung des Abfrageclients. Weitere Informationen finden Sie unter Verwalten von Benutzereinstellungen in watsonx.data: Einstellungen für Sitzungszeitlimit, Abfragezeitlimit und Anmeldenachricht

11. Juli 2025

Eine neue Version von watsonx.data wurde am 11. Juli 2025 mit den folgenden Änderungen veröffentlicht:

Verfügbarkeit der neuen Region
watsonx.data auf AWS ist jetzt in der Region Mumbai verfügbar.

07. Juli 2025 - Version 2.2.0 Hotfix 1

Version 2.2 hotfix von watsonx.data wurde am 07. Juli 2025 veröffentlicht. Diese Version enthält Sicherheitsaktualisierungen und -korrekturen.

11. Juni 2025 - Fassung 2.2.0

Motor- und Serviceverbesserungen

Mit dieser Version von watsonx.data werden die folgenden Motor- und Serviceverbesserungen eingeführt:

  • Einführung neuer API-Versionen für die Verbindung zu einem Milvus-Dienst unter Verwendung einer Proxy-Host-Route. Weitere Informationen finden Sie unter Verbinden mit dem Dienst Milvus.
  • Für die Engines Presto (C++) sind die Kataloge Hive und Iceberg jetzt mit der Regionskonfiguration aktiviert. Weitere Informationen finden Sie unter Bereitstellen einer Presto(C++)Engine.
  • Neue glutenbeschleunigte Spark-Engine: Sie können jetzt eine glutenbeschleunigte Spark-Engine bereitstellen und sie zur Ausführung komplexer analytischer Arbeitslasten verwenden, indem Sie die hohe Skalierbarkeit des Spark-SQL-Frameworks und die hohe Leistung der nativen Bibliotheken nutzen. Informationen zur Arbeit mit der neuen beschleunigten Spark-Engine von Gluten finden Sie unter Arbeiten mit der beschleunigten Spark-Engine von Gluten.
  • Führen Sie schnellere Arbeitsbereichsabfragen aus, indem Sie einen Spark-Auftrag zur Umwandlung von Iceberg-Tabellendaten verwenden: Um das Lesen von Iceberg-Tabellen zu beschleunigen, können Sie jetzt einen Spark-Job verwenden, um Iceberg-Tabellendaten vom Merge-on-Read-Format (MOR) in das Copy-on-Write-Format (COW) zu transformieren. Weitere Informationen finden Sie unter Übermittlung von Spark-Aufträgen für die Konvertierung von MoR zu CoW.
  • Sie können die Spark-API-Funktionalität verwenden, um die Höchstzahl der Anwendungen, die aufgelistet werden können, und die Filterkriterien zu konfigurieren, die Sie zum Filtern der Spark-Anwendungen verwenden können.
CPDCTL CLI-Erweiterungen

Diese Version von watsonx.data führt die folgenden Verbesserungen an der IBM Cloud Pak for Data Befehlszeilenschnittstelle ( IBM cpdctl) ein:

  • Sie können den Befehl tablemaint verwenden, um verschiedene Iceberg-Tabellenpflegeoperationen in watsonx.data auszuführen.

  • Mit dem Befehl wx-data service können Sie verschiedene Operationen im Zusammenhang mit der Dienstfähigkeit durchführen, z. B. Tabellen auflisten, die Liste der QHMM-aktivierten Buckets abrufen und QHMM-bezogene Statistiken und Abfragen überwachen.

Weitere Informationen finden Sie unter IBM cpdctl.

Integrationserweiterungen

Diese Version von watsonx.data führt die folgende verbesserte Integration mit anderen Diensten ein:

  • Neue Liefermethode: Lieferung als Tabelle in watsonx.data

Datenprodukte, die unterstützte Datenquellen verwenden, können jetzt mit der Methode deliver as a table in watsonx.data an Ihre Instanz von watsonx.data tables geliefert werden. Mit dieser Methode können Benutzer, die über die entsprechenden Berechtigungen verfügen, neue Tabellen erstellen oder an bestehende Tabellen anhängen. Weitere Informationen finden Sie unter Integration mit Data Product Hub.

  • Neue Liefermethode: Zugang in watsonx.data

Sie können jetzt ein Datenprodukt abonnieren, das von der Instanz watsonx.data aus erstellt wurde, indem Sie die Liefermethode access in watsonx.data verwenden. Mit dieser Methode können die Verbraucher über Data Product Hub direkt auf die Ressourcen von watsonx.data zugreifen. Nach der Auslieferung erhalten die Kunden Informationen darüber, wie sie auf die Instanz watsonx.data zugreifen können und auf welche spezifischen Ressourcen sie Zugriff haben. Weitere Informationen finden Sie unter Integration mit Data Product Hub.

  • Sie können sich nun auf folgende Weise mit dem Spark-Abfrageserver verbinden und Abfragen zur Analyse Ihrer Daten ausführen.

    • Verwendung von DBeaver ( JDBC clients)
    • Verwendung des Codes Java ( JDBC Client)
    • Verwendung von Python ( PyHive JDBC Client)

    Weitere Informationen finden Sie unter Verbinden mit dem Spark-Abfrageserver mithilfe des Spark JDBC-Treibers.

Verbesserungen bei der Rechnungsstellung

Mit dieser Version von watsonx.data werden die folgenden Verbesserungen an der Abrechnungsfunktion eingeführt:

  • Granularität der Abrechnung: Die Nutzer können ihre Rechnungen jetzt in einem aufgeschlüsselten Format einsehen, was eine größere Granularität und Transparenz bietet
  • Genauigkeit bei der Abrechnung: Die Abrechnungsnutzung der Nutzer wird jetzt auf Minutenbasis verfolgt und ersetzt die bisherige Methode der Hochwassermarke
Erweiterung der Überwachung und Verwaltung der Abfragehistorie (QHMM)

Mit dieser Version von watsonx.data wird die folgende QHMM-Erweiterung eingeführt:

Die Abfrageüberwachungsseite wurde aus der Einrichtung des Schnellstart-Assistenten entfernt und mit der Seite "Einen Bereich konfigurieren" zusammengelegt. Sie können jetzt die QHMM-Speicherdetails direkt auf der aktualisierten Seite "Bucket konfigurieren" im Schnellstart-Assistenten aktivieren, deaktivieren und konfigurieren. Informationen über das aktualisierte Setup des Schnellstart-Assistenten finden Sie unter Schnellstart.

Datenquellen und Speichererweiterungen

Diese Version von watsonx.data enthält die folgenden Speicherverbesserungen:

Sie können die SQL Server jetzt mit New Technology LAN Manager (NTLM)-Authentifizierung und Microsoft Entra-Authentifizierung verwenden. NTLM ist eine auf Windows basierende Authentifizierungsmethode, bei der Herausforderung und Antwort aufeinander folgen. Für weitere Informationen siehe SQL Server.

Sie können nun die folgenden Speicher standardmäßig in einem aktiven Zustand erstellen:

  • IBM Cloud Object Storage
  • Amazon S3
  • IBM Storage Ceph
  • MinIO
  • Google Cloud Storage
  • Azure Data Lake Storage
  • Apache Ozone
Erweiterungen der Zugangsverwaltung

Diese Version von watsonx.data führt die folgenden Verbesserungen in der Zugangsverwaltung ein:

  • Sie können die Exportfunktion verwenden, um die vorhandenen Ressourcenrichtlinien herunterzuladen und sie in eine andere erforderliche Umgebung zu importieren. Dies gewährleistet Konsistenz und trägt zu einer reibungslosen Migration bei. Informationen über die Verwendung der Import-Export-Funktionalität finden Sie unter Verwalten des Benutzerzugriffs.
  • Ein Katalogadministrator oder ein Benutzer, der einer Gruppe mit der Rolle eines Administrators angehört, kann jetzt seinen Zugriff auf den Katalog löschen. Weitere Informationen über das Entfernen eines Benutzers für eine Komponente finden Sie unter Verwalten des Benutzerzugriffs.
  • Nicht-Administrator-Benutzer haben nur Lesezugriff und können nun die Seite Treiber-Manager im Abschnitt Konfigurationen anzeigen. Auf diese Weise können sie die Liste der aktiven Fahrer und deren Details einsehen, ohne einen Administrator konsultieren zu müssen. Weitere Informationen finden Sie unter Treibermanager.
Verbesserungen bei der Rechnungsprüfung und Nachverfolgung

Mit dieser Version von watsonx.data wird die folgende Verbesserung für Auditing und Tracking eingeführt:

Die Liste der nachverfolgbaren Ereignisse enthält jetzt detaillierte Aktivitäten im Zusammenhang mit dem MDS-Thrift-Server und dem MDS-Rest-Server, die Aufschluss darüber geben, wie Anwendungen und Benutzer mit diesen wichtigen Komponenten interagieren. Weitere Informationen finden Sie unter MDS Thrift-Server-Ereignisse und MDS Rest-Server-Ereignisse.

Veraltete Funktionen

Die folgenden Funktionen sind in dieser Version veraltet:

  • Die Milvus APIs, die den REST-Host verwenden (APIs mit dem Präfix /api/v1 ), sind ab watsonx.data v2.2 veraltet.

  • Azure Data Lake Storage (ADLS) Gen1 ist jetzt veraltet und wird in einer der nächsten Versionen entfernt werden. Sie müssen zu ADLS Gen2 wechseln, da ADLS Gen1 nicht verfügbar ist.

  • Die Methode der Benutzerauthentifizierung mit ibmlhapikey und ibmlhtoken als Benutzername ist nun veraltet und soll in einer zukünftigen Version entfernt werden. Sie können stattdessen ibmlhapikey_<username> und ibmlhtoken_<username> verwenden. Weitere Informationen finden Sie unter Zugriffsverwaltung und Governance in watsonx.data.

10. April 2025 - Version 2.1.2 Hotfix 1

Motor- und Serviceverbesserungen

Mit dieser Version von watsonx.data wird die folgende Serviceerweiterung eingeführt:

Einführung von Tiny Milvus, einer leichtgewichtigen Einzelknotenimplementierung der Milvus Vektordatenbank, die für Experimente und frühe Entwicklungsstadien geeignet ist.

Tiny Milvus ist das Herzstück von Milvus und wurde speziell für die Verwendung auf der Plattform watsonx.ai entwickelt. Es dient als Einstiegspunkt für die vektorbasierte KI-Exploration mit minimalen Ressourcenanforderungen, um eine effektive Datenverwaltung und -analyse zu gewährleisten. Sie unterscheidet sich von anderen Milvus Konfigurationen, die unter watsonx.data verfügbar sind und eine breitere Skalierbarkeit und Funktionen für Unternehmen unterstützen.

Tiny Milvus unterstützt bis zu 10K Vektoren und eignet sich damit für schnelle Versuche und frühe Experimente ohne große Infrastruktur. Es ist nicht für Produktions-Workloads vorgesehen.

Weitere Informationen zur Verwendung von Tiny Milvus finden Sie unter Einrichten eines watsonx.data Milvus Vektorspeichers.

04 April 2025 - Fassung 2.1.2

Datenquellen und Speichererweiterungen

Diese Version von watsonx.data enthält die folgenden Speicherverbesserungen:

Jetzt können Sie eine Verbindung zur IBM Db2 for i datenquelle. Für Informationen über IBM Db2 for i, siehe IBM Db2 for i.

Verbesserungen bei der Konnektivität

Diese Version von watsonx.data enthält die folgende Verbesserung der Konnektivität:

Sie können jetzt eine sichere und private Verbindung zu einer watsonx.data-Instanz herstellen, indem Sie virtuelle private Endpunkte verwenden. Informationen zur Konfiguration von Netzwerkendpunkten in watsonx.data finden Sie unter Einrichten von virtuellen privaten Endpunkten.

Integrationserweiterungen

Diese Version von watsonx.data führt die folgenden verbesserten Integrationen mit anderen Diensten ein:

  • Jetzt können Sie IBM Knowledge Catalog Governance-Richtlinien für Presto (C++) Engine definieren, wenn Sie mit watsonx.data integrieren. Informationen zur Verbindung mit IBM Knowledge Catalog (IKC) finden Sie unter Verbindung mit IBM Knowledge Catalog(IKC).
  • Sie können nun Konfigurationsdateien für die Ziel-Engine Presto exportieren, basierend auf der Auswahl des Treibers ODBC (Simba oder CData), um Verbindungen mit watsonx.data einfacher herzustellen. Diese Verbesserung erspart Ihnen die manuelle Konfiguration der Presto Engine-Details mit Hilfe von PowerBI. Weitere Informationen zum Herstellen einer Verbindung zu Presto mit Hilfe der Config-Dateien finden Sie unter Herstellen einer Verbindung zu Presto mit Hilfe der Config-Dateien.
  • Integration mit Data Product Hub: Sie können watsonx.data mit DPH integrieren, um SQL-Tabellen und Abfragen in Datenprodukte zu verpacken, die auf bestimmte Anwendungsfälle zugeschnitten sind. Weitere Informationen finden Sie unter Integration mit Data Product Hub.
Verbesserung der Aufnahme

Diese Version von watsonx.data enthält die folgenden Verbesserungen im Bereich Ingestion:

Ingestion-Jobs, die eine externe Spark-Engine verwenden, liefern jetzt Protokolle innerhalb von watsonx.data. Diese Erweiterung ermöglicht es den Benutzern, die Ausführung von Aufträgen direkt auf der Cloud-Plattform watsonx.data ( SaaS ) zu identifizieren und zu beheben. Die Einzelheiten des Ingestionsverfahrens finden Sie unter Ingesting von Daten mit Spark über die Webkonsole.

Motor- und Serviceverbesserungen

Mit dieser Version von watsonx.data werden die folgenden Motor- und Serviceverbesserungen eingeführt:

Sie können jetzt den Azure Data Lake Storage Gen2 mit AccessKey Authmode mit Spark-Engine verwenden, um Ihre Daten zu speichern, während Sie Spark-Anwendungen einreichen. Informationen über Azure Data Lake Storage Gen2 finden Sie unter Azure Data Lake Storage.

Erweiterungen des Arbeitsbereichs für Abfragen

Mit dieser Version von watsonx.data wird die folgende Verbesserung des Abfragearbeitsbereichs eingeführt:

Sie haben nun die Möglichkeit, eine oder mehrere laufende Abfragen abzubrechen. Außerdem können Sie Abfragen aus dem Arbeitsblatt entfernen, nachdem sie abgebrochen oder erfolgreich abgeschlossen wurden, was die Organisation Ihres Arbeitsbereichs erleichtert. Weitere Informationen finden Sie unter Ausführen von SQL-Abfragen.

Erweiterungen der Zugangsverwaltung

Diese Version von watsonx.data führt die folgenden Verbesserungen in der Zugangsverwaltung ein:

  • Administratoren können jetzt den Zugang für IBM Db2 und IBM Netezza konfigurieren. Sie können den Benutzern von watsonx.data Rollen zuweisen, um die Engines IBM Netezza und IBM Db2 anzuzeigen, zu bearbeiten und zu verwalten. Informationen zu den Berechtigungen auf Ressourcenebene finden Sie unter (Db2 und Netezza ).
  • Administratoren können jetzt Benutzern oder Rollen beim Erstellen und Anzeigen ihrer eigenen Schemata bestimmte Rechte gewähren oder entziehen. Informationen zu Datenrichtlinienregeln finden Sie unter Verwalten von Datenrichtlinienregeln.
  • Der DAS-Proxy-Flow, der zuvor veraltet war, wurde nun entfernt und ist in watsonx.data nicht mehr verfügbar.
Erweiterung der Überwachung und Verwaltung der Abfragehistorie (QHMM)

Mit dieser Version von watsonx.data werden die folgenden QHMM-Verbesserungen eingeführt:

  • Sie können jetzt die Presto Engine auswählen, die mit einem QHMM-Katalog verbunden ist, wenn Sie die Abfrageüberwachung in watsonx.data konfigurieren. Informationen zum Konfigurieren von QHMM finden Sie unter Konfigurieren der Abfrageüberwachung.
  • Sie können nun das Migrationsskript verwenden, um QHMM-Daten aus dem Quellbereich in den Zielbereich in watsonx.data zu übertragen. Weitere Informationen zur Verwendung des Migrationsskripts finden Sie unter Verwendung des QHMM-Shell-Skripts.
CPDCTL CLI-Erweiterungen

Diese Version von watsonx.data führt die folgenden Verbesserungen an der IBM Cloud Pak for Data Befehlszeilenschnittstelle ( IBM cpdctl) ein:

  • Ab der Version 2.1.2 ist der Befehl wx-data standardmäßig verfügbar, mit dem Sie Operationen wie Ingesting, Verwaltung von Engines usw. in watsonx.data durchführen können.
  • Sie können die Befehle wx-data engine create und wx-data engine delete verwenden, um alle verfügbaren Motoren in watsonx.data bereitzustellen und zu löschen.
  • Sie können den Befehl sparkjob verwenden, um die Details einer Spark-Anwendung zu übermitteln, aufzulisten und abzurufen.
  • INSTANCE_ID die bei der Einstellung der Instanzumgebung verwendet wird, wird durch WX_DATA_INSTANCE_ID ersetzt.

Weitere Informationen finden Sie unter IBM cpdctl.

28. Februar 2025 – Version 2.1.1

Verfügbarkeit der neuen Region

watsonx.data ist jetzt in der Region Toronto für die Tarife Lite und Enterprise verfügbar. Informationen zur Bereitstellung finden Sie unter Bereitstellung watsonx.data Lite-Plans und Bereitstellung watsonx.data Enterprise-Plans.

Datenquellen und Speichererweiterungen

Diese Version von watsonx.data enthält die folgenden Speichererweiterungen:

  • Jetzt können Sie Verbindungen für die folgenden Datenquellen und Speicher testen:

    • Apache Phoenix
    • IBM Data Virtualization Manager
    • BigQuery
    • Google Cloud Storage

  • Sie können sich jetzt registrieren und externe, bereits vorhandene Hudi- und Delta-Tabellen auf einem Objektspeicher laden, indem Sie die APIs "Register table" und "Load table metadata" verwenden.

Verbesserung der Aufnahme

Nach Abschluss eines Erfassungsvorgangs können Sie nun direkt über die Seite "Erfassungshistorie" auf die erfassten Daten zugreifen, was Ihren Arbeitsablauf optimiert und Zeit spart.

Integrationserweiterungen

Diese Version von watsonx.data führt die folgenden verbesserten Integrationen mit anderen Diensten ein:

  • Die Seite "Verbindungsinformationen " enthält jetzt:
    • Presto konfigurationsdetails für die DBT-Integration. Sie können die für die DBT-Integration erforderlichen Konfigurationsdetails von Presto von dieser Seite kopieren.
    • Option zum Exportieren der TDS-Datei, die die für die Tableau-Integration erforderlichen Details der Presto-Motorkonfiguration enthält.

Weitere Informationen finden Sie unter Erhalten von Verbindungsinformationen.

Motor- und Serviceverbesserungen

Diese Version von watsonx.data führt die folgenden Verbesserungen an der Engine und den Diensten ein:

  • Sie können jetzt eine Spark-Anwendung über die Registerkarte "Anwendungen" auf der Detailseite der Spark-Engine erstellen. Weitere Informationen finden Sie unter "Spark-Antrag über die Konsole einreichen ".
  • Sie können jetzt Spark Version, 3.5.4 verwenden, um die Anwendungen in watsonx.data auszuführen. In watsonx.data, Apache Spark 3.4.4 und Apache Spark 3.5.4 sind die unterstützten Versionen.
  • Milvus erlaubt Folgendes:
    • In Milvus können Sie jetzt eine hybride GroupBy-Suche basierend auf mehreren Vektorspalten durchführen und auch die Gruppengröße anpassen, wenn Sie Suchanfragen ausführen. Weitere Informationen finden Sie unter "Verbinden von watsonx Assistant mit watsonx.data Milvus " für eine benutzerdefinierte Suche.
    • Milvus unterstützt jetzt benutzerdefinierte Größen mit einer Kapazität von 3 Milliarden Vektoren mit maximal 1.024 Dimensionen.
    • Milvus ermöglicht jetzt die Anpassung an vordefinierte T-Shirt-Größen (S, M und L) oder individuelle Größen. Weitere Informationen finden Sie unter Hinzufügen des Milvus-Dienstes.
  • Ab der Version watsonx.data 2.1.1 wird Milvus 2.5.0 unterstützt. Weitere Informationen finden Sie unter Milvus.
Erweiterungen der Zugangsverwaltung

Diese Version von watsonx.data führt die folgenden Verbesserungen in der Zugangsverwaltung ein:

  • Der Access Management Service (AMS) in watsonx.data kann nun die JSON Web Token (JWT)-Authentifizierung für eingehende Anfragen von Presto verwenden und so eine sichere und effiziente Zugriffskontrolle gewährleisten. Weitere Informationen finden Sie unter "Verbindung zur Presto-Engine über Presto CLI(Remote )".
  • Sie können jetzt Benutzern und Rollen Infrastrukturkomponenten in 20er-Batches zuweisen. Weitere Informationen finden Sie in Benutzerzugriff verwalten.
  • Sie können jetzt Apache Ranger Hadoop SQL-Richtlinien verwenden, um Daten mit Spark-Engines zu verwalten. Sie können Ranger-Richtlinien definieren, wenn die Spark-Engine auf Daten von Hadoop-Clustern zugreift. Die "Enabling Ranger"-Richtlinie gewährleistet eine robuste Datensicherheit und -verwaltung. Mit der Ranger-Richtlinie können Sie Tabellenberechtigungen ( L3 ), Filterung auf Zeilenebene und Spaltenmaskierung für Daten konfigurieren. Weitere Informationen finden Sie unter "Enabling Apache Ranger policy for resources ".
CPDCTL CLI-Erweiterungen

IBM CPDCTL CLI wird nun zur Konfiguration und Verwaltung verschiedener Vorgänge in watsonx.data verwendet. Mit dem CLI CPDCTL können Sie Konfigurationseinstellungen verwalten, Erfassungsaufträge ausführen, Engines, Datenquellen und Speicher verwalten. Die folgenden zwei Plugins werden derzeit zur Ausführung dieser Vorgänge verwendet:

  • config- Konfiguration der watsonx.data-Serviceumgebung und der Benutzer.

  • wx-data- Um andere Vorgänge wie das Aufnehmen, Verwalten von Motoren usw. durchzuführen, gehen Sie zu watsonx.data. Weitere Informationen erhalten Sie unter IBM cpdctl.

    watsonx.data Die Entwicklerausgabe ist jetzt in der IBM CPDCTL-Version v1.6.104 und höher aktiviert.

Veraltete Funktionen

Die folgenden Funktionen sind in dieser Version veraltet:

  • Die DAS-Proxy-Funktion (Data Access Service) ist veraltet und wird in einer zukünftigen Version entfernt. Sie können die Proxy-Funktion des Data Access Service (DAS) nicht verwenden, um auf Objektspeicher ( S3, ADLS und ABS) zuzugreifen. Wenn Sie DAS-Proxy-Flow verwenden und Probleme auftreten, wenden Sie sich an den IBM-Support. Einen Überblick über die DAS-Funktion finden Sie unter "Data Access Service(DAS )".

  • IBM Das Client-Paket ist veraltet und wird in einer zukünftigen Version entfernt. Die Dienstprogramme und Befehle im Client-Paket werden durch IBM CPDCTL CLI ersetzt. Weitere Informationen über die Verwendung von IBM CPDCTL CLI finden Sie unter IBM cpdctl.

04. Februar 2025 – Version 2.1.0 Hotfix 2

Verbesserung des Lite-Tarifs
IBM® watsonx.data Der Lite-Plan ist jetzt in der Region Sydney verfügbar. Weitere Informationen zur Bereitstellung einer Lite-Plan-Instanz in der Region Sydney finden Sie unter Bereitstellung des Lite-Plans.

10. Januar 2025 – Version 2.1.0 Hotfix 1

Erweiterung des Enterprise-Plans
Wenn Sie IBM Cloud verwenden, um eine Enterprise-Planinstanz in der Region Sydney bereitzustellen, müssen Sie den Plannamen lakehouse-enterprise-mcsp verwenden. Weitere Informationen finden Sie unter Bereitstellung einer Instanz über die Befehlszeilenschnittstelle.

13. Dezember 2024 - Version 2.1.0

Datenquellen und Speichererweiterungen

Diese Version enthält die folgenden neuen Datenquellen und Speichererweiterungen:

  • Jetzt können Sie eine Verbindung zu Apache Phoenix-Datenquellen herstellen. Weitere Informationen finden Sie unter Apache Phoenix

  • Wenn Sie mit MySQL arbeiten, können Sie jetzt Treiber im Abschnitt Treibermanager auf der Seite Konfigurationen verwalten. Jeder dieser Treiber durchläuft eine Reihe von Validierungsschritten. Sie können keine MySQL mehr testen. Weitere Informationen finden Sie unter MySQL.

Wenn Sie ein Upgrade auf Version durchführen 2.1.0, wird kein vorhandener MySQL Katalog mehr mit der Engine verknüpft. Das bedeutet, dass Sie die Verbindung zwischen dem MySQL Katalog und der Engine wiederherstellen müssen.

  • Die Funktion "Testverbindung" ist jetzt für die folgenden von Arrow Flight service unterstützten Datenquellen verfügbar:

    • Apache Derby
    • Salesforce
    • Greenplum
    • MariaDB

  • Jetzt können Sie die Verbindung für Azure Data Lake Storage (ADLS) und die Datenquelle IBM Data Virtualization Manager for z/OS testen.

Integrationserweiterungen

Diese Version von watsonx.data führt die folgenden neuen oder erweiterten Integrationen mit anderen Diensten ein:

  • Sie können die Databand-Verbindung jetzt auf der Seite Konfigurationen aktivieren. Weitere Informationen finden Sie unter Überwachung von Spark-Anwendungsläufen mithilfe von Databand.

  • Sie können jetzt die Presto von der Instanz watsonx.data > Konfigurationen > Verbindungsinformationsseite für die folgende Integration abrufen:

    • BI-Werkzeuge
    • DataBuildTool (dbt)

  • Ab der Version watsonx.data 2.1 können Sie nur mit einer der folgenden Policy Engines integrieren:

    • Apache Ranger
    • IBM Knowledge Catalog (IKC)

Weitere Informationen finden Sie unter Verbindungsinformationen.

  • Sie können jetzt IBM Manta Data Lineage mit watsonx.data integrieren, um Jobs, Läufe und Datensatzereignisse von Spark über die Manta-Oberfläche zu erfassen und zu veröffentlichen. Weitere Informationen finden Sie unter IBM Manta Data Lineage.

  • Sie können nun alle Presto mit dem dbt-Adapter für Presto verwenden. Geben Sie den Datentyp als column_types in der Datei dbt_project.yml an. Weitere Informationen finden Sie unter Installieren und Verwenden von watsonx.

Motor- und Serviceverbesserungen

Diese Version von watsonx.data führt die folgenden Verbesserungen an der Engine und den Diensten ein:

Abfrage von Verlaufsinformationen mit dem Dienstprogramm ibm-lh

Mit dem Dienstprogramm ibm-lh können Sie die folgenden Informationen zum Abfrageverlauf abrufen:

  • Grundlegende Abfrageinformationen.
  • Grundlegende Fehlerinformationen zu fehlgeschlagenen Abfragen.
  • Abfrage der Statistikinformationen.
  • Abfrage von Speicherinformationen.
  • Abfrage von Garbage-Collection-Informationen.
  • Abfrage der Spitzenzeit.
  • Details zur Speichernutzung von Abfragen.
  • Informationen nach dem Zusammenführen der beiden Tabellen.
  • Informationen, die alle Spalten einer Tabelle enthalten.
  • Informationen über die Fehler in der Abfrage.
  • Anzahl aller Fehlercodes.
  • Anzahl aller Fehlermeldungen.
  • Anzahl aller Fehlerarten.

Weitere Informationen finden Sie unter Abrufen von QHMM-Protokollen mit dem Dienstprogramm ibm-lh.

Verbesserungen bei der Einnahme

Diese Version von watsonx.data führt die folgenden Ingestion-Verbesserungen ein:

  • Vorschau der Zieltabelle: Vor der Übermittlung eines Ingestion-Auftrags können Benutzer jetzt eine Vorschau des Schemas der Zieltabelle anzeigen und die Spaltenüberschriften und Datentypen bearbeiten. Dies ermöglicht eine Validierung und stellt sicher, dass die Daten in die richtige Tabellenstruktur aufgenommen werden. Weitere Informationen finden Sie unter Ingesting von Daten mit Spark über die Webkonsole.

  • Java Aufnahme für die Tabellenerstellung: Der Datenmanager enthält jetzt eine Option zum Erstellen von Tabellen mit dem Java Ingestion-Flow, der zu Local Ingestion navigiert und Flexibilität und Kontrolle auf der Grundlage der Dateigröße und anderer Faktoren bietet. Weitere Informationen finden Sie unter Erstellen von Tabellen und Ingesting von Daten mit Spark über die Webkonsole.

  • Verbesserte Unterstützung der Quellenspeicherung:

    • Azure Data Lake Storage (ADLS): Unterstützung für das Ingesting von Daten direkt aus ADLS ist jetzt verfügbar.
    • Google Cloud Storage (GCS): Unterstützung für das Einlesen von Daten direkt aus GCS ist jetzt verfügbar.

  • Vorübergehende Speicherung: Benutzer können jetzt den externen Bucket auswählen, der als Staging-Bereich für lokale Ingests verwendet werden soll. Wenn kein Speicherplatz angegeben wird, kann watsonx.data einen geeigneten Eimer ableiten und auswählen. Weitere Informationen finden Sie unter Ingesting von Daten mit Spark über die Webkonsole.

Einführung in den Metadatendienst (MDS)

Ab der Version 2.1 verwendet watsonx.data den Metadata Service (MDS) anstelle von Hive Metastore (HMS). MDS ist mit modernen, offenen Katalog-APIs, der Unity Catalog API und der Apache Iceberg REST Catalog API kompatibel und ermöglicht so eine breitere Tool-Integration und höhere Flexibilität. Diese neue Architektur bietet eine vergleichbare Leistung und unterstützt Spark- und Presto weiterhin über die bestehende Thrift- oder HMS-Schnittstelle. Weitere Informationen finden Sie unter Überblick über den Metadatendienst(MDS).

Es wird empfohlen, MDS in Ihren Testumgebungen zu verwenden und dann zur Verwendung in der Produktion überzugehen.

Veraltete Funktionen

Die folgende Funktion ist in dieser Version veraltet:

  • Die REST-API-Funktion zur Erfassung von DDL-Änderungen in watsonx.data über den Event-Listener wird ab Version 2.1 von watsonx.data veraltet sein.

13. November 2024 - Version 2.0.4 Hotfix

Erweiterungen des Lite-Plans

Diese Hotfix-Version enthält die folgenden Erweiterungen für den Lite-Plan:

  • Der Lite-Plan enthält jetzt einen dedizierten IBM COS-Lesespeicher, der mit der Presto verbunden ist, um die Abfrage von Beispiel- und Benchmarking-Daten zu unterstützen.

  • Sie können jetzt mit tpcds-Beispiel-Arbeitsblättern für Hochleistungs-Anwendungsfälle und Gosales-Beispiel-Arbeitsblättern für Data Engineering und GenAI arbeiten.

  • Der Query Optimizer wird jetzt automatisch für High Performance BI-Anwendungsfälle aktiviert.

29. Oktober 2024 - Version 2.0.4

Motor- und Serviceverbesserungen

Diese Version enthält die folgenden Motor- und Serviceverbesserungen:

  • Der Standardwert der Eigenschaft " task.max-drivers-per-task für PrestoJava)- und Presto (C++)-Arbeiter wird jetzt auf der Grundlage der Anzahl der vCPUs festgelegt.

  • Sie können die Dateibeschneidungsfunktion in der Abfrageverlaufsüberwachung und -verwaltung (QHMM) auf der Seite Abfrageüberwachung aktivieren. Sie können auch die maximale Größe und den prozentualen Schwellenwert für den QHMM-Speicherkorb konfigurieren. Wenn der Schwellenwert beim Hochladen von Dateien erreicht wird oder wenn ein Bereinigungsplan ausgeführt wird (standardmäßig alle 24 Stunden), werden ältere Daten gelöscht. Weitere Informationen finden Sie unter Konfigurieren der Abfrageüberwachung.

  • Query History Monitoring and Management (QHMM) speichert die Diagnosedaten nicht mehr im standardmäßigen IBM Managed Trial Bucket (wxd-system). Um die Diagnosedaten zu speichern, müssen Sie jetzt einen für QHMM unterstützten Speichertyp verwenden. Weitere Informationen zur Verwendung Ihres eigenen Speichers finden Sie unter Konfigurieren der Abfrageüberwachung.

  • Sie können nun den Status der Abfrageoptimierung überprüfen, indem Sie den Parameter " wxdQueryOptimized in der JSON-Datei überprüfen. Weitere Informationen finden Sie unter Ausführen von Abfragen über die Presto(C++)CLI oder den Abfragearbeitsbereich.

Erweiterungen der Datenquellen

Diese Version enthält die folgenden Datenquellen und Speichererweiterungen:

  • Die Funktion "Testverbindung" ist jetzt für die folgenden Datenquellen verfügbar:

    • Apache Pinot
    • Cassandra
    • Prometheus

  • Neue Datenquelle SAP HANA ist jetzt verfügbar. Sie können den Treibermanager auf der Seite Konfigurationen verwenden, um die Treiber für die Datenquelle SAP HANA zu verwalten. Jeder dieser Treiber wird einer Reihe von Validierungen unterzogen.

Lite-Plan

Um die Benutzerfreundlichkeit zu verbessern, sind die Systemkataloge (cmx und system) jetzt für Lite-Plan-Benutzer ausgeblendet. Die Lite-Plan-Instanz mit Presto (C++)-Engine enthält " tpch als Benchmarking-Katalog und die Instanz mit PrestoJava)-Engine enthält " tpch und " tpcds als Benchmarking-Kataloge.

Veraltete Funktionen

Die folgenden Funktionen sind in dieser Version veraltet:

  • Die REST-API-Funktion zur Erfassung von DDL-Änderungen in watsonx.data durch Ereignis-Listener ist in dieser Version veraltet und wird mit Version 2.1 aus watsonx.data entfernt.

  • Die Unterstützung für die Apache Spark 3.3 ist veraltet. Sie müssen auf Spark 3.4 aktualisieren. Um die Apache Spark zu aktualisieren, siehe Bearbeiten der Spark-Engine-Details.

25. September 2024 - Version 2.0.3

Datenquellen und Speichererweiterungen

Diese Version enthält die folgenden neuen Datenquellen und Speichererweiterungen:

  • Sie können jetzt Azure Data Lake Storage Gen1 Blob und Google Cloud Storage für Milvus aktivieren. Weitere Informationen finden Sie unter ADLS Gen1 Blob und Google Cloud Storage.

  • Sie können eine neue Datenquelle erstellen oder der Engine hinzufügen, ohne ihr einen Katalog zuzuordnen. Ein Katalog kann der Datenquelle zu einem späteren Zeitpunkt hinzugefügt werden.

  • Sie können jetzt Apache Ozone für den Presto ( Java ) Motor verwenden. Für weitere Informationen siehe Apache Ozone.

  • Sie können nun die Datenquelle Apache Kafka so konfigurieren, dass sie den Authentifizierungsmechanismus Salted Challenge Response Authentication Mechanism (SCRAM) verwendet. Sie können ein selbstsigniertes Zertifikat hochladen. Weitere Informationen finden Sie unter Apache Kafka.

Integrationserweiterungen

Diese Version von watsonx.data führt die folgenden neuen oder erweiterten Integrationen mit anderen Diensten ein:

  • Sie können jetzt watsonx.data mit dem Datenerstellungstool (dbt) für die Spark-Engine integrieren, um Daten innerhalb von watsonx.data an Ort und Stelle zu transformieren. Weitere Informationen finden Sie unter Über die dbt-Integration.

  • Sie können watsonx.data mit Databand integrieren. Diese Integration kann die Überwachungsfunktionen verbessern, indem sie Erkenntnisse liefert, die über Spark UI und Spark History hinausgehen. Weitere Informationen finden Sie unter Überwachung der Spark-Anwendungsläufe mithilfe von Databand.

  • Sie können watsonx.data mit den folgenden Business Intelligence (BI)-Visualisierungstools integrieren, um auf die verbundenen Datenquellen zuzugreifen und ansprechende und interaktive Datenvisualisierungen zu erstellen:

    • Tableau
    • Looker
    • Domo
    • Qlik
    • PowerBI

    Weitere Informationen finden Sie unter Über die BI-Visualisierungswerkzeuge.

Motor- und Serviceverbesserungen

Diese Version von watsonx.data führt die folgenden Verbesserungen an der Engine und den Diensten ein:

  • Iceberg-Tabellen werden von Query Optimizer unterstützt. Weitere Informationen finden Sie unter Query Optimizer.

  • Sie können jetzt das Datenerstellungstool (dbt-watsonx-presto) Adapter verwenden, um Datenmodelle für die Presto (Java) Engine zu erstellen, zu testen und zu dokumentieren. Weitere Informationen finden Sie unter dbt-watsonx-presto.

  • Eine neue Anpassungseigenschaft (file-column-names-read-as-lower-case) ist jetzt für die Presto (C++)-Engine verfügbar, um eine Abweichung zwischen Groß- und Kleinschreibung bei Spaltennamen zu vermeiden. Für weitere Informationen siehe Katalogeigenschaften für Presto(C++).

Erweiterungen der Zugangsverwaltung

Diese Version von watsonx.data führt die folgenden Verbesserungen in der Zugangsverwaltung ein:

  • Sie können nun Benutzer und Benutzergruppen hinzufügen, um Regeln für die Datenpolitik zu definieren. Weitere Informationen finden Sie unter Datenpolitik.

  • Administratoren können jetzt TPCDS- und TPCH-Kataloge auswählen, um Zugriffskontrollrichtlinien zu erstellen. Auswählen' ist die einzige erlaubte Operation, um Regeln mit diesen Katalogen zu definieren. Um Datenrichtlinien zu definieren, siehe Datenrichtlinie.

  • Administratoren können jetzt die Konfiguration der Ressourcengruppe bearbeiten, nachdem sie die Ressourcengruppe erstellt haben. Weitere Informationen finden Sie unter Konfiguration von Presto Ressourcengruppen.

IBM Knowledge Catalog Governance-Richtlinien für Datenquellen

Sie können nun IBM Knowledge Catalog Governance-Richtlinien auf die folgenden Datenquellen in Presto anwenden:

  • Oracle
  • PostgreSQL
  • MySQL
  • SQL Server
  • Db2
Verbesserungen bei der Einnahme

Diese Version von watsonx.data enthält die folgenden Verbesserungen des Ingestion-Workflows:

Lite-Plan

Sie können Ihre Lite-Plan-Instanz auf der Grundlage der folgenden drei Anwendungsfälle bereitstellen. Wählen Sie einen Anwendungsfall aus der Liste aus, um fortzufahren:

  • Generative KI: Mit dieser Option können Sie Anwendungsfälle der generativen KI untersuchen. Die bereitgestellte Instanz umfasst Presto, Milvus und Spark.
  • High Performance BI: Mit dieser Option können Sie die BI-Visualisierungsfunktionen erkunden. Die bereitgestellte Instanz umfasst Presto (C++) und Spark.
  • Data-Engineering-Workloads: Sie können Data-Engineering-Workloads verwenden, um verschiedene Workload-gesteuerte Anwendungsfälle zu untersuchen. Die bereitgestellte Instanz umfasst Presto (Java) und Spark.

Weitere Informationen finden Sie unter Lite-Plan.

27. August 2024 - Version 2.0.2

Erweiterungen der Datenquellen und -speicher

Diese Version enthält die folgenden neuen Datenquellen und Speichererweiterungen:

  • Content Aware Storage (CAS) wird jetzt Data Access Service (DAS) genannt.

  • Apache Hive wird auf Version 4.0.0 aktualisiert.

  • Sie können nun den DAS-Endpunkt auf der Seite Speicherdetails einsehen. Weitere Informationen finden Sie unter Untersuchung von Speicherobjekten.

Integrationserweiterungen

Diese Version von watsonx.data führt die folgenden neuen oder erweiterten Integrationen mit anderen Diensten ein:

  • Sie können jetzt die Governance-Funktionen von IBM Knowledge Catalog für SQL-Ansichten innerhalb der watsonx.data-Plattform nutzen. Weitere Informationen finden Sie unter Integration mit IBM Knowledge Catalog(IKC).

  • IBM watsonx.data unterstützt jetzt Apache Ranger-Richtlinien zur Verwaltung von Daten mit Presto (C++) Engines. Weitere Informationen finden Sie unter Apache Ranger-Richtlinie.

Maschinen- und Serviceverbesserungen

Diese Version von watsonx.data führt die folgenden Verbesserungen an der Engine und den Diensten ein:

  • Instanzadministratoren können jetzt Ressourcengruppen in Presto konfigurieren. Weitere Informationen finden Sie unter Ressourcengruppen.

  • Sie können jetzt eine API verwenden, um Abfragen auszuführen und Ergebnisse abzurufen. Weitere Informationen finden Sie unter API.

  • Sie können jetzt den Log-Level von Presto (Java) durch API-Anpassung konfigurieren oder ändern. Für weitere Informationen, API.

  • Sie können jetzt NDV-Spaltenstatistiken (Number of Distinct Values) mit der Iceberg Spark Analyze-Prozedur erzeugen, um den Spark Cost-Based Optimizer (CBO) für eine verbesserte Abfrageplanung zu verbessern.

  • Sie können jetzt die benutzerdefinierte Datenquellenoption verwenden, um sich mit Black Hole- und Local File-Konnektoren für die Presto (Java) Engine zu verbinden. Weitere Informationen finden Sie unter Benutzerdefinierte Datenquelle.

  • Sie können jetzt JSON-Snippets für die Presto und den Milvus generieren. Sie können es in die watsonx.data kopieren/einfügen Presto und Milvus Connector UI in IBM Cloud Pak for Data und watsonx einfügen, um die Verbindungserstellung zu vereinfachen. Weitere Informationen finden Sie unter Erhalten von Verbindungsinformationen.

Erweiterungen der Zugangsverwaltung

Diese Version von watsonx.data führt die folgenden Verbesserungen in der Zugangsverwaltung ein:

  • Sie können jetzt den Zugriff auf Presto (C++) Engines kontrollieren. Für weitere Informationen siehe Engine(Presto(Java)oder Presto(C++)).

  • Sie können jetzt Benutzern und Benutzergruppen im Batch Zugriff auf Komponenten gewähren. Weitere Informationen finden Sie in Benutzerzugriff verwalten.

  • Sie können jetzt in Presto System Access Control (SAC) Plug-in Protokolle mit DEBUG Informationen haben. Weitere Informationen finden Sie unter API-Anpassung.

Verbesserungen bei der Aufnahme

Diese Version von watsonx.data führt die folgenden Ingestion-Verbesserungen ein:

01. August 2024 - Version 2.0.1

Datenquellen

  • Sie können jetzt eine Verbindung zu Db2-Datenquellen herstellen, indem Sie IBM API-Schlüssel als Authentifizierungsmechanismus verwenden. Für weitere Informationen siehe IBM Db2.
  • Presto (C++) Engine kann nun mit Arrow Flight service Datenquellen verbunden werden. Es werden nur Lesevorgänge unterstützt. Die folgenden Arrow Flight service Datenquellen werden unterstützt:
    • Salesforce
    • MariaDB
    • Greenplum
    • Apache Derby

Für weitere Informationen siehe Arrow Flight service.

  • Die folgenden neuen Datenbanken sind für die Presto (Java) Engine verfügbar:

Integrationen

  • Bei der Integration von IBM Knowledge Catalog mit IBM watsonx.data können Sie Datenschutzregeln für einzelne Zeilen in einer Tabelle konfigurieren, die den Benutzern den Zugriff auf eine Teilmenge von Zeilen in einer Tabelle ermöglichen. Weitere Informationen finden Sie unter Filtern von Zeilen.

  • Sie können nun die folgenden Apache Ranger-Richtlinien für Presto (Java) Engines anwenden:

  • Sie können jetzt IBM watsonx.data mit On-Premises IBM DataStage integrieren. Sie können den DataStage-Dienst verwenden, um Daten von IBM watsonx.data zu laden und zu lesen. Weitere Informationen finden Sie unter Integration mit DataStage.

Authentifizierung und Berechtigung

  • Die Spark-Zugangskontrollerweiterung ermöglicht eine zusätzliche Autorisierung, die die Sicherheit zum Zeitpunkt der Antragstellung erhöht. Wenn Sie die Erweiterung in der Spark-Konfiguration aktivieren, können nur autorisierte Benutzer auf IBM watsonx.data Kataloge über Spark-Jobs zugreifen und diese bedienen. Weitere Informationen finden Sie unter Verbesserung der Spark-Anwendungseinreichung mit der Spark-Zugriffskontrollerweiterung.

  • IBM watsonx.data unterstützt jetzt Object Storage Proxy und Signatur für Azure Data Lake Storage und Azure Blob Storage. Weitere Informationen finden Sie unter Verwendung von DAS-Proxy für den Zugriff auf ADLS- und ABS-kompatible Buckets.

  • Lightweight Directory Access Protocol (LDAP) ist jetzt für Teradata und Db2 Datenquellen verfügbar. Der Benutzer muss diese Konfiguration auf der Serverebene einrichten. Für Teradata wählen Sie in der Benutzeroberfläche explizit LDAP als Authentifizierungsmechanismus. Weitere Informationen finden Sie unter Teradata.

Der DAS-Proxy für den Zugriff auf ADLS- und ABS-Buckets sowie LDAP-Erweiterungen sind in Version als Tech Preview 2.0.1 verfügbar.

  • Milvus unterstützt jetzt die Isolierung auf Partitionsebene für Benutzer. Administratoren können bestimmte Benutzeraktionen auf Partitionen zulassen. Weitere Informationen finden Sie unter Service(Milvus).

Speicher

  • Sie können nun die folgende Speicherung zur Presto (Java) Engine in IBM watsonx.data hinzufügen:
    • Azure Datenspeicher Gen2
    • Azure Datensee-Speicher Gen1 Blob

Weitere Informationen finden Sie unter Azure Data Lake Storage Gen2 und Azure Data Lake Storage Gen1 Blob.

  • Sie können den Zugriffsschlüssel und den geheimen Schlüssel eines benutzerregistrierten Bereichs für einen Speicher ändern. Diese Funktion gilt nicht für Standard-Buckets, ADLS oder Google Cloud Storage. Diese Funktion kann nur genutzt werden, wenn die neuen Anmeldedaten die Testverbindung erfolgreich bestehen.

Engines

  • Sie können jetzt die ALTER TABLE ADD-, DROP- und RENAME-Spaltenanweisungen für die MongoDB-Datenquelle verwenden.
  • Sie können nun konfigurieren, wie Presto mit nicht unterstützten Datentypen umgeht. Weitere Informationen finden Sie unter ignore-unsupported-datatypes.

Kataloge

  • Sie können jetzt Kataloge über die Benutzeroberfläche unter "Zuordnungen verwalten" auf der Seite "Infrastrukturmanager" einer Engine zuordnen und die Zuordnung aufheben.

API-Anpassung und Eigenschaften

Infrastrukturmanager

  • Sie können die Suchfunktion für die folgenden Werte auf der Seite Infrastrukturmanager verwenden:
    • Datenbankname
    • registrierter Hostname
    • erstellt von username
  • Sie können jetzt den Kippschalter "Nicht stören" im Abschnitt "Benachrichtigungen" unter dem Glockensymbol verwenden, um Popup-Benachrichtigungen zu aktivieren oder zu deaktivieren.
  • Sie finden die Verbindungsinformationen unter der Kachel Verbindungsinformationen auf der Seite Konfigurationen. Diese Informationen können kopiert und in ein JSON-Snippet heruntergeladen werden.

Arbeitsbereich für Abfragen

  • Sie können Abfragen für alle Tabellen unter einem Schema über den SQL-Abfragearbeitsbereich ausführen, ohne den Pfad <catalog>.<schema> anzugeben, indem Sie die erforderlichen Kataloge und Schemata aus der neuen Dropdown-Liste auswählen. Weitere Informationen finden Sie unter Ausführen von SQL-Abfragen.

watsonx.data Preispläne

  • Sie können nun die vorhandene Lite-Plan-Instanz löschen, bevor die Kontobeschränkung von 2000 RUs erreicht ist, und eine neue Instanz erstellen und die verbleibenden Ressourceneinheiten des Kontos verbrauchen. Weitere Informationen finden Sie unter watsonx.data Lite plan.

03. Juli 2024 - Version2.0.0

Neue Datentypen für Datenquellen

Für einige Datenquellen stehen nun folgende neue Datentypen zur Verfügung. Sie können auf diese Datentypen zugreifen über die Datenmanager Seite unter dem Spalte hinzufügen Möglichkeit.

  • BLOB

    • Db2
    • Teradata
    • Oracle
    • MySQL
    • SingleStore

  • CLOB

    • Db2
    • Teradata
    • Oracle

  • BINÄR

    • SQL Server
    • MySQL

Da der numerische Datentyp nicht unterstützt wird inwatsonx.data können Sie den Dezimaldatentyp als gleichwertige Alternative zum numerischen Datentyp verwenden fürNetezza Datenquelle.

Sie können jetzt die Datentypen BLOB und CLOB mit der SELECT-Anweisung im Abfrage-Arbeitsbereich verwenden, um Abfragen für Ihre Daten zu erstellen und auszuführen fürOracle UndSingleStore Datenquellen.

Sie können jetzt die Datentypen BLOB und CLOB verwenden fürMySQL UndPostgreSQL Datenquellen als Äquivalente zu LONGTEXT, BYTEA und TEXT, da diese Datentypen nicht kompatibel sind mitPresto (Java ). Diese Datentypen werden auf CLOB und BLOB abgebildet inPresto (Java ), wenn Datenquellen vorhandene Tabellen mit den Datentypen LONGTEXT, TEXT und BYTEA haben.

  • MySQL (CLOB als Äquivalent zu LONGTEXT)
  • PostgreSQL (CLOB als Äquivalent zu TEXT)
  • PostgreSQL (BLOB als Äquivalent zu BYTEA)
  • Netezza (Dezimalzahl als Äquivalent zu Numerisch)
  • Oracle (BLOB und CLOB mit der SELECT-Anweisung)
  • SingleStore (BLOB und CLOB mit der SELECT-Anweisung)

Neue Vorgänge für Db2 Datenquelle

Sie können die folgenden Operationen für BLOB- und CLOB-Datentypen durchführen fürDb2 Datenquelle:

  • EINFÜGEN
  • ERSTELLEN
  • CTAS
  • ALTER
  • FREIGEBEN

Neue Arrow Flight service basierte Datenquellen

Sie können jetzt die folgenden Datenquellen mit Arrow Flight service verwenden:

  • Greenplum
  • Salesforce
  • MariaDB
  • Apache Derby

Für weitere Informationen siehe Arrow Flight service.

Neue Datenquellen

Sie können nun die folgenden Datenquellen verwenden:

  • Cassandra
  • BigQuery
  • ClickHouse
  • Apache Pinot

Weitere Informationen finden Sie unter Hinzufügen eines Datenbank-Katalog-Paares.

Befehl zum Abrufen des Aufnahmeverlaufs

Sie können nun den Status aller übermittelten Aufnahmeaufträge mit dem Befehl ibm-lh get-status abrufen.--all-jobs CLI-Befehl. Sie können den Status aller übermittelten Aufnahmeaufträge abrufen. Sie erhalten die Verlaufsdatensätze, auf die Sie Zugriff haben. Weitere Informationen finden Sie unter Im Tool „ibm-lh“ unterstützte Optionen und Parameter.

Zusätzliche Rollen für IBM Knowledge Catalog die (IKC) S2S Autorisierung

Neben dem DatenzugriffIBM Knowledge CatalogS2S Die Autorisierung erfordert Metadatenzugriff und Konsolen-API-Zugriff zur Integration mitwatsonx.data. Für die IKC-Dienstzugriffskonfiguration werden die folgenden neuen Rollen erstellt:

  • Anzeigeberechtigter
  • Metastore-Viewer

Apache Ranger-Richtlinien

IBMwatsonx.data unterstützt jetztApache Ranger-Richtlinien zur Integration mitPresto Motoren. Weitere Informationen finden Sie unter Apache Ranger-Richtlinie.

Versionsupgrade

  • Presto (Java ) Engine wurde jetzt auf Version aktualisiert0.286.
  • Der Milvus ist jetzt auf die Version 2.4.0 aktualisiert worden. Wichtige Funktionen sind:
    • Bessere Leistung (geringe Speicherauslastung)
    • Unterstützung spärlicher Daten
    • Eingebaute SPLADE-Engine für Sparse Vector Embedding
    • BGEM3 Hybride (dichte und spärliche) Suche

Hive Metastore (HMS)-Zugriff in watsonx.data

Sie können nun Metadateninformationen abrufen fürHive Metastore durch Verwendung von REST-APIs, anstatt die Informationen aus den Engine-Details abzurufen. HMS-Details werden von externen Einheiten zur Integration mitwatsonx.data. Sie müssen über die Rolle „Administrator“, „Metastore-Administrator“ oder „Metastore-Viewer“ verfügen, um die API auszuführen.

Semantische Automatisierung zur Datenanreicherung

Die semantische Automatisierung zur Datenanreicherung nutzt generative KI mitIBM Knowledge Catalog um Ihre Daten auf einer tieferen Ebene zu verstehen und sie durch automatische Anreicherung zu verbessern, damit sie für die Analyse wertvoll werden. Die Integration der semantischen Ebene ist für Benutzer des Lite-Plans nur als 30-tägige Testversion verfügbar. Weitere Informationen finden Sie unter Semantische Automatisierung zur Datenanreicherung inwatsonx.data.

Abfrageoptimierer zur Verbesserung der Abfrageleistung

Sie können jetzt den Abfrageoptimierer verwenden, um die Leistung von Abfragen zu verbessern, die vomPresto (C++)-Engine. Wenn der Abfrageoptimierer feststellt, dass eine Optimierung möglich ist, wird die Abfrage neu geschrieben. Andernfalls hat die native Engine-Optimierung Vorrang. Weitere Informationen finden Sie unter Übersicht über den Abfrageoptimierer.

Neuer Name für Presto Motor in watsonx.data

Presto wird umbenannt inPresto (Java ).

Neuer Motor ( Presto C++) in watsonx.data

Sie können einPresto (C++) Engine (Version0.286 ) Inwatsonx.data um SQL-Abfragen auf Ihrer Datenquelle auszuführen und die abgefragten Daten abzurufen. Weitere Informationen finden Sie unterPresto (C++) Übersicht.

Verwendung eines Proxys für den Zugriff auf S3 und S3 kompatible Buckets

Externe Anwendungen und Abfrage-Engines können auf dieS3 UndS3 kompatible Buckets verwaltet vonwatsonx.data durch eineS3 Proxy. Weitere Informationen finden Sie unter Verwenden vonS3 Proxy für den ZugriffS3 UndS3 kompatible Eimer.

Feature-Flag für Groß-/Kleinschreibung für Presto ( Java )-Engine

Das Feature-Flag „Mixed Case“, das es ermöglicht, zwischen Groß- und Kleinschreibung zu wechseln inPresto (Java ), ist verfügbar. Das Flag ist standardmäßig auf OFF gesetzt und kann während der Bereitstellung vonwatsonx.data. Weitere Informationen finden Sie unter Presto(Java)Überblick über die Unterstützung von Groß- und Kleinschreibung.

Neuer Speichertyp Google Cloud Storage

Sie können jetzt den neuen Speichertyp verwendenGoogle Cloud Storage. Weitere Informationen finden Sie unter Hinzufügen eines Speicherkatalogpaars.

31. Mai 2024-Version 1.1.5

Bereitstellung Spark-Engine im watsonx.data Lite-Tarif

Sie können jetzt eine kleine Spark-Engine (einzelner Knoten) in der Instanz des Lite-Plans watsonx.data hinzufügen. Weitere Informationen finden Sie unter watsonx.data Lite plan.

Aktualisierungen für Spark Labs

  • Mit Jupyter Notebooks aus Spark Labs arbeiten

: Sie können jetzt die Jupyter-Erweiterung aus dem VS Code Marketplace in Ihrem Spark-Labor installieren und mit Jupyter-Notebooks arbeiten. Weitere Informationen finden Sie unter Erstellen von Jupyter-Notebooks.

  • Zugriff auf Spark UI von Spark-Laboren aus

Sie können jetzt von Spark Labs aus auf die Spark-Benutzeroberfläche (UI) zugreifen, um verschiedene Aspekte der Ausführung einer Spark-Anwendung zu überwachen. Weitere Informationen finden Sie unter Zugriff auf Spark UI von Spark Labs aus.

Neue Region für die Bereitstellung von IBM Cloud Instanzen

Sie können jetzt Ihre IBM Cloud-Instanz in der Region Sydney bereitstellen.

30. April 2024-Version 1.1.4

Eine neue Version von watsonx.data wurde im April 2024 veröffentlicht.

Diese Version enthält die folgenden Funktionen und Aktualisierungen:

Kerberos Authentifizierung für HDFS Verbindungen

Sie können jetzt die Kerberos-Authentifizierung für sichere Apache Hadoop Distributed File System-Verbindungen (HDFS) aktivieren. Weitere Informationen finden Sie unter HDFS.

Neue Datenquellen

Die folgenden neuen Datenquellen sind jetzt verfügbar:

  • Oracle
  • Amazon Redshift
  • Informix
  • Prometheus

Weitere Informationen finden Sie unter Datenquellen.

SSL-Verbindungen testen

Sie können jetzt SSL-Verbindungen für die Datenquellen MongoDB und SingleStore testen.

Beschreibungsdateien für Apache Kafka Datenquelle hochladen

Die Datenquelle Apache Kafka speichert Daten als Bytenachrichten, die Erzeuger und Konsumenten interpretieren müssen. Um diese Daten abzufragen, müssen Konsumenten sie zuerst Spalten zuordnen. Jetzt können Sie Themenbeschreibungsdateien hochladen, die Rohdaten in ein Tabellenformat konvertieren. Jede Datei muss eine JSON-Datei sein, die eine Definition für eine Tabelle enthält. Um diese JSON-Dateien über die Benutzerschnittstelle hochzuladen, rufen Sie die Übersichtsseite der von Ihnen registrierten Apache Kafka-Datenbank auf und wählen Sie die Option Thema hinzufügen aus. Weitere Informationen finden Sie unter Apache Kafka.

Lizenzpläne für watsonx.data

IBM® watsonx.data bietet jetzt die folgenden Lizenzpläne.

  • Lite-Plan
  • Enterprise-Plan

Weitere Informationen zu den verschiedenen Lizenzplänen finden Sie unter Preisstrukturpläne fürIBM® watsonx.data.

Presto ( Java ) Motor-Versions-Upgrade

DerPresto (Java ) Engine wurde jetzt auf Version aktualisiert0.285.1.

Pause oder Fortsetzen Milvus

Sie können nun den Milvus unterbrechen oder fortsetzen. Das Anhalten Ihres Service kann Gebühren vermeiden.

Spark ist jetzt als native Engine verfügbar.

Neben der Registrierung externer Spark-Engines können Sie jetzt die native Spark-Engine in Ihrer IBM-Instanz watsonx.data bereitstellen. Mit der nativen Spark-Engine können Sie die Spark-Engine-Konfiguration vollständig verwalten, den Zugriff auf Spark-Engines verwalten und Anwendungen über die Benutzerschnittstelle watsonx.data und REST-API-Endpunkte anzeigen. Weitere Informationen finden Sie unter Native Spark-Engine bereitstellen.

Daten mit nativen Spark-Engines aufnehmen

Sie können jetzt Aufnahmejobs mit nativen Spark-Engines übergeben. Weitere Informationen finden Sie unter Arbeiten mit verschiedenen Tabellenformaten.

27. März 2024-Version 1.1.3

Eine neue Version von watsonx.data wurde im März 2024 veröffentlicht.

Diese Version enthält die folgenden Funktionen und Aktualisierungen:

Neuer Datentyp für einige Datenquellen

Sie können jetzt den Datentyp BINARY mit der Anweisung SELECT im Arbeitsbereich 'Abfrage' verwenden, um Abfragen für Ihre Daten für die folgenden Datenquellen zu erstellen und auszuführen:

  • Elasticsearch
  • SQL Server
  • MySQL

Neue Datentypen: BLOB und CLOB sind für die Datenquellen MySQL,, PostgreSQL,, Snowflake, SQL Server und Db2 verfügbar. Sie können diese Datentypen nur mit SELECT-Anweisungen im Abfragearbeitsbereich verwenden, um Abfragen für Ihre Daten zu erstellen und auszuführen.

Daten mit der Funktion DELETE FROM für Iceberg-Datenquellen löschen

Sie können jetzt Daten aus Tabellen in Iceberg-Datenquellen mithilfe der Funktion DELETE FROM löschen.

Sie können den Löschmodus für Tabelleneigenschaften für neue Tabellen angeben, indem Sie entweder den Modus 'Kopieren beim Schreiben' oder den Modus 'Zusammenführen beim Lesen' verwenden (Standardeinstellung).

Anweisung ALTER VIEW für Iceberg-Datenquelle

Sie können nun die folgende SQL-Anweisung im Arbeitsbereich 'Abfrage' verwenden, um Abfragen für Ihre Daten für ALTER VIEW zu erstellen und auszuführen:

ALTER VIEW name RENAME TO neuer_name

SSL-Zertifikate für Netezza Performance Server Datenquellen hochladen

Sie können jetzt das SSL-Zertifikat für SSL-Verbindungen in Datenquellen von Netezza Performance Server durchsuchen und hochladen. Gültige Dateiformate für SSL-Zertifikate sind .pem, .crt und .cer. Sie können SSL-Zertifikate mithilfe der Option 'Datenbank-Katalog-Paar hinzufügen' in Infrastructure Manager hochladen.

Daten abfragen von Db2 und Watson Query

Sie können jetzt Kurznamen, die in Db2 erstellt wurden, und virtualisierte Tabellen aus Watson Query-Instanzen abfragen.

SSL-Verbindung für IBMData Virtualization Manager for z/OS Datenquelle

Sie können jetzt die SSL-Verbindung für die Datenquelle IBM Data Virtualization Manager for z/OS aktivieren, indem Sie die Datenbankbenutzerschnittstelle zum Hinzufügen verwenden, um die Datenbankverbindung zu schützen und zu verschlüsseln. Wählen Sie Zertifikat prüfen aus, um zu prüfen, ob das SSL-Zertifikat, das vom Host zurückgegeben wird, vertrauenswürdig ist. Sie können den Hostnamen im Zertifikat angeben.

Daten aus Apache Hudi dem Katalog verwenden

Sie können jetzt Daten aus dem Katalog Apache Hudi verwenden.

Als Dienst Milvus hinzufügen in watsonx.data

Sie können Milvus jetzt als Dienst in watsonx.data mit den folgenden Funktionen bereitstellen:

  • Stellen Sie verschiedene Speichervarianten bereit, z. B. Starterknoten, mittlere Knoten und große Knoten.

  • Weisen Sie Milvus Admin- oder Benutzerrollen zu: Für Milvus ist jetzt eine Benutzerzugangsrichtlinie verfügbar. Mit der Benutzeroberfläche für die Zugriffskontrolle können Sie Milvus Admin- oder Benutzerrollen zuweisen und die Berechtigung gewähren, entziehen oder aktualisieren.

  • Konfigurieren Sie den Objektspeicher für Milvus zum Speichern von Daten. Sie können einen benutzerdefinierten Bucket hinzufügen oder konfigurieren und den Benutzernamen, das Passwort, die Region und die URL angeben.

Weitere Informationen finden Sie unter Milvus.

Daten im Stapelbetrieb mithilfe des Einpflegetools 'ibm-lh' laden

Sie können jetzt das Einpflegetool ibm-lh verwenden, um Einpflegeprozeduren im nicht interaktiven Modus (außerhalb des Containers ibm-lh-tools) auszuführen, indem Sie das Paket ibm-lh-client verwenden. Weitere Informationen finden Sie unter ibm-lh commands and usage.

Schema mit Massenaufnahme in Webkonsole erstellen

Sie können jetzt ein Schema erstellen, indem Sie den Massenaufnahmeprozess in der Webkonsole verwenden, wenn das Schema noch nicht erstellt wurde.

Verwenden Sie Zeitreiseabfragen in Apache Iceberg Tabellen

Sie können jetzt die folgenden Zeitreiseabfragen ausführen, indem Sie Zweige und Tags in Apache Iceberg Tabellen-Snapshots verwenden:

-SELECT *FROM <table name> FOR VERSION AB 'historical-tag'

-SELECT *FROM <table name> FOR VERSION AB 'test-branch'

Zugriff auf Cloud Object Storage ohne Anmeldeinformationen Sie können jetzt auf Ihren Cloud Object Storage Bucket ohne Anmeldeinformationen zugreifen, indem Sie den Data Access Service (DAS) Endpunkt verwenden.

28. Februar 2024-Version 1.1.2

Eine neue Version von watsonx.data wurde im Februar 2024 veröffentlicht.

Diese Version enthält die folgenden Funktionen und Aktualisierungen:

SSL-Verbindung für Datenquellen

Sie können jetzt die SSL-Verbindung für die folgenden Datenquellen aktivieren, indem Sie die Benutzerschnittstelle Datenbank hinzufügen zum Sichern und Verschlüsseln der Datenbankverbindung verwenden:

  • Db2

  • PostgreSQL

Weitere Informationen finden Sie unter Datenbank hinzufügen.

Jobverlauf für sicheres Einpflegen

Jetzt können Benutzer nur ihren eigenen Aufnahmejobverlauf anzeigen. Administratoren können den Aufnahmejobverlauf für alle Benutzer anzeigen.

SQL-Erweiterungen

Sie können jetzt die folgenden SQL-Anweisungen im Arbeitsbereich 'Abfrage' verwenden, um Abfragen für Ihre Daten zu erstellen und auszuführen:

  • Apache Iceberg datenquellen
    • CREATE VIEW
    • DROP VIEW
  • MongoDB-Datenquellen
    • LÖSCHEN

Neue Datentypen BLOB und CLOB für Teradata Datenquelle

Neue Datentypen BLOB und CLOB sind für Teradata-Datenquellen verfügbar. Sie können diese Datentypen nur mit SELECT-Anweisungen im Abfragearbeitsbereich verwenden, um Abfragen für Ihre Daten zu erstellen und auszuführen.

Neue Tabelle während der Datenaufnahme erstellen

Bisher mussten Sie zum Einpflegen von Daten eine Zieltabelle in watsonx.data haben. Jetzt können Sie mithilfe der Datenaufnahme aus Data Manager eine neue Tabelle direkt aus der Quellendatendatei (im Parquet-oder CSV-Format verfügbar) erstellen. Sie können die Tabelle mithilfe der folgenden Einpflegemethoden erstellen:

  • Daten mit dem Iceberg Copy Loader aufnehmen.

  • Daten mithilfe von Spark aufnehmen.

ALTER TABLE-Operationen für eine Spalte ausführen

Mit einer Iceberg-Datenquelle können Sie jetzt ALTER TABLE-Operationen für eine Spalte für die folgenden Datentypkonvertierungen durchführen:

  • int bis bigint

  • Float zu Double

  • decimal (num1, dec_digits) in decimal (num2, dec_digits), wobei num2>num1.

Bessere Abfrageleistung durch Verwendung sortierter Dateien

Mit einer Datenquelle Apache Iceberg können Sie sortierte Dateien erzeugen, die die Latenzzeit der Abfrageergebnisse verringern und die Leistung von Presto ( Java ) verbessern. Die Daten in der Tabelle Iceberg werden während des Schreibprozesses in jeder Datei sortiert.

Sie können die Reihenfolge konfigurieren, in der die Daten sortiert werden, indem Sie die Tabelleneigenschaft sorted_by verwenden. Wenn Sie die Tabelle erstellen, geben Sie eine Feldgruppe mit mindestens einer Spalte an, die an der Sortierung beteiligt ist. Zum Inaktivieren der Funktion setzen Sie die Sitzungseigenschaft sorted_writing_enabled auf "false".

31. Januar 2024-Version 1.1.1

Eine neue Version von watsonx.data wurde im Januar 2024 veröffentlicht.

Diese Version enthält die folgenden Funktionen und Aktualisierungen:

Data Virtualization Manager for z/OS®IBM Steckverbinder

Sie können jetzt den neuen Connector von IBM Data Virtualization Manager for z/OS® verwenden, um IBM Z® zu lesen und zu schreiben, ohne die Daten zu verschieben, zu replizieren oder zu transformieren. Weitere Informationen finden Sie unter Verbindung zu einer IBM Data Virtualization Manager-Datenquelle(DVM)herstellen.

Teradata Der Konnektor ist für mehrere ALTER TABLE Anweisungen aktiviert.

Der Teradata-Connector unterstützt jetzt die Anweisungen ALTER TABLE RENAME TO, ALTER TABLE DROP COLUMN und ALTER TABLE RENAME COLUMN column_name TO new_column_name.

Unterstützung für Zeitreiseabfragen

Iceberg-Anschluss fürPresto (Java ) unterstützt jetzt Zeitreiseabfragen.

Die Eigenschaft format_version zeigt jetzt die aktuelle Version an

Die Eigenschaft format_version zeigt jetzt den korrekten Wert (aktuelle Version) an, wenn Sie eine Iceberg-Tabelle erstellen.

29. Nov. 2023-Version 1.1.0

Eine neue Version von watsonx.data wurde im November 2023 veröffentlicht.

Diese Version enthält die folgenden Funktionen und Aktualisierungen:

Presto ( Java ) Groß-/Kleinschreibung beachten

DerPresto (Java ) Verhalten wird von „Case-Insensitivität“ auf „Case-Sensitivität“ geändert. Jetzt können Sie die Objektnamen im ursprünglichen Fallformat wie in der Datenbank angeben. Weitere Informationen finden Sie unter Groß- und Kleinschreibung beachtende Suchkonfiguration mitPresto(Java).

Rollback-Funktion

Sie können die Rollback-Funktion verwenden, um einen Rollback oder eine aktualisierende Recovery auf beliebige Momentaufnahmen für Iceberg-Tabellen durchzuführen.

DDL-Änderungen (DDL-Data Definition Language) erfassen

Sie können nun die DDL-Änderungen in watsonx.data mit Hilfe eines Ereignis-Listeners erfassen und verfolgen.

Daten mithilfe von Spark aufnehmen

Sie können jetzt die IBM Analytics Engine verwenden, die von Apache Spark unterstützt wird, um Ingestion-Jobs in watsonx.data auszuführen.

Weitere Informationen finden Sie unter Daten mithilfe von Spark aufnehmen.

Integration mit Db2 und Netezza Performance Server

Sie können jetzt Db2-oder Netezza Performance Server-Engines in der watsonx.data-Konsole registrieren.

Weitere Informationen finden Sie unter Engine registrieren.

Neue Connectors

Sie können jetzt Connectors in watsonx.data verwenden, um Verbindungen zu den folgenden Datenbanktypen herzustellen:

  • Teradata
  • Delta Lake
  • Elasticsearch
  • SingleStoreDB
  • Snowflake

Weitere Informationen finden Sie unter Datenbank hinzufügen.

AWS EMR für Spark

Sie können jetzt Spark-Anwendungen über Amazon Web Services Elastic MapReduce (AWS EMR) ausführen, um die watsonx.data Spark-Anwendungsfälle zu erreichen:

  • Datenaufnahme
  • Datenabfrage
  • Tabellenpflege

Weitere Informationen finden Sie unter AWS EMR für Spark-Anwendungsfall verwenden.

7. Juli 2023-Version 1.0.0

watsonx.data ist eine neue offene Architektur, die die Elemente des Data-Warehouse-und Data-Lake-Modells kombiniert. Die besten Funktionen und Optimierungen, die auf der watsonx.data verfügbar sind, machen sie zur optimalen Wahl für die Datenanalyse und Automatisierung der nächsten Generation. Im ersten Release (watsonx.data 1.0.0) werden die folgenden Funktionen unterstützt:

  • Erstellen, Skalieren, Anhalten, Fortsetzen und Löschen derPresto (Java ) Abfrage-Engine
  • Zuordnung eines Katalogs zu einer Engine aufheben
  • Katalogobjekte untersuchen
  • Datenbank-Katalog-Paar hinzufügen und löschen
  • Datenbankberechtigungsnachweise aktualisieren
  • Paar aus Bucket und Katalog hinzufügen und löschen
  • Untersuchen von Bucketobjekten
  • Daten laden
  • Datenexploration
  • Daten abfragen
  • Abfrageverlauf