Notes sur l'édition d'watsonx.data

Ces notes sur l'édition, regroupées par date, vous informent des dernières mises à jour d'IBM® watsonx.data.

Pour connaître les nouveautés de watsonx.data as a Service on IBM Cloud with gen AI experience, voir les notes de version de watsonx.data as a Service on IBM Cloud with gen AI experience.

Pour connaître les nouveautés de watsonx.data on-prem, consultez les notes de mise à jour de watsonx.data.

Pour connaître watsonx.data Premium les nouveautés de l'édition sur site, consultez les notes de mise à jour pour Premium sur site.

Fonctionnalités technologiques en avant-première : Nous proposons également une section "Technologie en avant-première" qui comprend des fonctionnalités actuellement en avant-première. Ces fonctionnalités ne sont pas encore disponibles et peuvent être modifiées avant leur publication. Pour consulter les notes de mise à jour des éléments de l'aperçu technologique, voir Aperçu technologique.

10 décembre 2025 - Version 2.3

Améliorations apportées à l'approvisionnement des instances

Cette version de watsonx.data introduit les améliorations suivantes :

Vous pouvez désormais provisionner watsonx.data des instances avec Virtual Private Endpoint (VPE) activé dans les nouvelles régions suivantes : Dallas (us-south), Washington DC (us-east) et Francfort (eu-de). Pour activer VPE pendant le provisionnement, ajoutez le paramètre "vpe_required":"true" à la commande CLI. Pour plus d'informations sur la manière de provisionner une instance compatible VPE, consultez Provisionner une instance compatible Virtual Private Endpoint(VPE).

Sources de données et amélioration du stockage

Cette version de watsonx.data introduit les sources de données et les améliorations de stockage suivantes :

  • Vous pouvez désormais appliquer des politiques IBM Knowledge Catalog de gouvernance à la source de données. MongoDB Pour plus d'informations, voir Connecting to IBM Knowledge Catalog(IKC).

  • Vous pouvez désormais associer Azure Data Lake Storage Gen2 à Presto (C++) à l'aide de ServicePrincipal l'authentification.

  • Vous pouvez désormais associer plusieurs catalogues de type Iceberg à un seul compartiment ou conteneur de stockage d'objets. Chaque catalogue doit être configuré avec un chemin de base unique et non chevauchant sur le stockage afin de garantir une isolation correcte des données.

    Exemple :

    • Catalog1 peut être associé à s3a://mybucket/foo/bar
    • Catalog2 peut être associé à s3a://mybucket/lorem/ipsum

    Cette amélioration facilite la séparation logique des données au sein d'un même stockage et leur réutilisation dans plusieurs catalogues, ce qui améliore la flexibilité et l'organisation. Ce comportement s'applique à toutes les nouvelles instances du plan Lite, qui sont désormais limitées au compte. Pour plus d'informations, consultez Ajouter plusieurs Apache Iceberg catalogues à un seul stockage.

    Cette fonctionnalité est disponible uniquement pour les instances watsonx.data Lite. Auparavant, chaque compartiment ou conteneur de stockage d'objets ne pouvait être lié qu'à un seul catalogue.

Amélioration des moteurs et des services

Cette version de watsonx.data apporte les améliorations suivantes au moteur et au service :

  • Prestissimo offre désormais des performances améliorées lors de l'écriture Apache Iceberg de tables par rapport aux Java implémentations. Les fonctionnalités suivantes sont disponibles :

    • Prise en charge des tables partitionnées - Prestissimo écrit dans des tables Iceberg partitionnées et applique efficacement les transformations de partition à l'aide d'une évaluation par lots. Il prend en charge l'identité, les transformations temporelles (année, mois, jour, heure), le regroupement et la troncature, et génère des chemins d'accès aux répertoires de partitionnement conformes à Iceberg.
    • Collecte de statistiques sur les fichiers de données - Pendant les opérations d'écriture, Prestissimo collecte et consigne les statistiques essentielles sur les fichiers de données dans les fichiers manifestes Iceberg, notamment le nombre d'enregistrements, la taille des fichiers et les détails des partitions.
    • Prise en charge de l'écriture de tables triées - Prestissimo prend en charge l'écriture de tables Iceberg triées afin d'optimiser les performances des requêtes pour les charges de travail qui tirent parti des données triées.

  • Spark sans serveur avec capacité flexible pour le plan Entreprise

    Capacité à la demande

    • Dans le plan watsonx.data Entreprise, le moteur Spark prend en charge un modèle sans serveur tout en offrant la flexibilité nécessaire pour allouer une capacité dédiée en cas de besoin.
    • L'exécution de tâches Spark sur une plateforme sans serveur élimine le besoin de nœuds dédiés pour chaque moteur Spark.
    • L'environnement Spark sans serveur fournit un pool partagé de nœuds avec un quota maximal de ressources de 8 vCPUs et 32 Go de mémoire.

    Ce comportement s'applique à toutes les nouvelles watsonx.data instances, qui sont désormais limitées au compte.

    Capacité dédiée

    • Pour les charges de travail qui nécessitent une capacité plus élevée, vous pouvez provisionner des nœuds dédiés avec des configurations de mémoire personnalisables. Pour plus d'informations sur les capacités sans serveur et à la demande, consultez la section Gestion de la capacité Spark.
    • Le processus de création d'un moteur Spark est désormais simplifié, car il se concentre uniquement sur les détails essentiels (nom du moteur, version Spark, compartiment d'origine et catalogues associés), tandis que les tâches de réservation de capacité ont été déplacées vers un nouvel onglet « Gestion de la capacité » sur la page des détails du moteur. Cette mise à jour supprime la configuration de la capacité du flux de création, ce qui rend la configuration du moteur plus rapide et moins complexe.
    • Après avoir créé un moteur, vous pouvez gérer les types de machines virtuelles, configurer les pools de nœuds et définir des seuils de repli à la demande sous l'onglet Capacité.

    Ce comportement s'applique à toutes les nouvelles watsonx.data instances, qui sont désormais limitées au compte.

    Le quota maximal de ressources pour le plan Entreprise est de 256 vCPUs et 1024 Go de mémoire. Pour augmenter cette limite, vous devez contacter IBM le service d'assistance.

    Pour plus d'informations sur les capacités sans serveur et à la demande, consultez la section Gestion de la capacité Spark.

Persistance des composants au niveau du compte pour l'instance Lite Plan

Vous pouvez désormais conserver les composants au niveau du compte, tels que les catalogues, les bases de données, les compartiments et leurs propriétés de métadonnées, indépendamment des instances individuelles. Lorsqu'une instance est supprimée, ces composants restent accessibles depuis n'importe quelle autre instance du même compte et de la même région. Ce comportement s'applique à toutes les nouvelles instances du plan Lite, qui sont désormais limitées au compte.

Réutilisation du nom de schéma dans les catalogues Iceberg pour l'instance Lite Plan

Auparavant, lors de la référence à une table à l'aide d'un nom en trois parties (<catalog>.<schema>.<table>), les noms de schéma devaient être uniques dans tous les catalogues d'une watsonx.data instance. Cette restriction empêchait la création de schémas portant le même nom dans différents catalogues. Cette limitation est levée pour les catalogues Iceberg. Vous pouvez désormais réutiliser les noms de schéma dans plusieurs catalogues Iceberg. Exemple :

  • myiceberg_catalog1.abcschema.mytable
  • myiceberg_catalog2.abcschema.mytable

Ce comportement s'applique à toutes les nouvelles instances du plan Lite, qui sont désormais limitées au compte.

Les noms de schéma doivent toujours être uniques dans les autres types de catalogues tels que Hive Delta et Hudi.

Amélioration de la gestion de l'accès

Cette version de watsonx.data introduit les améliorations suivantes en matière de gestion de l'accès :

  • Les administrateurs peuvent créer des politiques de restriction basées sur le contexte et définir des adresses IP fiables. Vous pouvez désormais configurer des adresses IP de confiance afin de permettre un accès sécurisé à watsonx.data (interface utilisateur et API) pour les utilisateurs désignés. Cette fonctionnalité ajoute un niveau de protection supplémentaire en garantissant que seul le trafic provenant d'adresses IP approuvées peut accéder à l'interface utilisateur et à l'API. Toute tentative d'accès watsonx.data à partir d'adresses IP situées en dehors de la plage définie sera bloquée. Pour plus d'informations, consultez la section Sécurisation de l'accès à l'interface utilisateur à l'aide de contrôles basés sur l'adresse IP.

  • Un nouveau CPG léger est désormais disponible sous forme de plugin téléchargeable, permettant une intégration transparente avec n'importe quel moteur de politique (par exemple, ApacheIBM Knowledge Catalog Ranger, Collibra). Pour plus d'informations, consultez Connecteur Common Policy Gateway(CPG).

Amélioration de la facturation

Cette version de watsonx.data apporte les améliorations suivantes à la fonction de facturation :

  • La mesure des watsonx.data composants s'effectue désormais au niveau de l'exécution, en capturant les événements de démarrage, d'arrêt et de pause pour chaque exécution liée à un moteur. Il offre une visibilité claire sur la consommation du moteur et l'utilisation des ressources. Pour les moteurs tels que Presto, cela reste une correspondance biunivoque, tandis que Spark introduit plusieurs sous-types d'exécution (par exemple, Kernel, HistoryServer, Application), chacun étant suivi individuellement pour les heures actives et inactives. L'interface utilisateur reflétera ces changements en affichant des barres d'activité au niveau du runtime et des liens vers l'historique des événements pour chaque runtime, garantissant ainsi clarté et précision. Pour plus d'informations, consultez la section Mesure et expérience d'utilisation. Ce comportement s'applique à toutes les nouvelles watsonx.data instances, qui sont désormais limitées au compte.
Améliorations apportées au forfait Lite :

Cette version watsonx.data apporte les améliorations suivantes au forfait Lite :

La mise à disposition du plan Lite dans watsonx.data est désormais simplifiée grâce à la suppression de la prise en charge de plusieurs cas d'utilisation. Toutes les nouvelles instances sont provisionnées avec le cas d'utilisation Generative AI par défaut. Les cas d'utilisation Power BI et l'ingénierie des données sont obsolètes et ne sont plus disponibles. La méthode de provisionnement CLI n'autorise désormais que le cas d'utilisation Generative AI par défaut, garantissant ainsi une expérience cohérente et rationalisée.

OpenTelemetry amélioration

Cette version introduit les améliorations watsonx.data suivantes en matière d'observabilité et de surveillance pour le moteur Presto ( Java ).

  • Vous pouvez désormais intégrer OpenTelemetry avec Presto ( Java ) le moteur pour surveiller l'exécution des requêtes et les performances du système. OpenTelemetry permet de capturer des données télémétriques telles que des traces et des métriques, qui peuvent être visualisées et analysées à l'aide d'outils tels que Instana, Prometheus, et Grafana. Pour plus d'informations, voir OpenTelemetry.

  • Nouveaux tableaux de bord Grafana Instana et : vous pouvez désormais utiliser les tableaux de bord Grafana Instana et pour surveiller les performances et obtenir une vue plus complète de l'état et des performances du système. Pour plus d'informations, consultez la section Prise en charge des tableaux de bord.

Amélioration de l'optimiseur de requêtes

Cette version introduit les améliorations suivantes watsonx.data dans l'optimiseur de requêtes.

  • Le délai d'expiration par défaut pour la réécriture des requêtes dans Query Optimizer est désormais configurable. À partir de la version 2.3, vous pouvez modifier cette valeur de délai d'expiration à l'aide de l'API PATCH en mettant à jour la propriété optplus.query-timeout-seconds. Pour plus d'informations, consultez la section Mise à jour du délai d'expiration de réécriture des requêtes pour l'optimiseur de requêtes.

  • Prise en charge de Hive et enregistrement du métastore Iceberg dans Query Optimizer pour les instances Lite de watsonx.data.

    L'Optimiseur de requêtes prend en charge des types de métastores distincts pour les catalogues Hive et Iceberg.

    Les utilisateurs peuvent maintenant s'inscrire :

    • Hive catalogues utilisant le type de métastore watsonx-data-hive.
    • Catalogues Iceberg utilisant le type de métastore iceberg-rest.

    Cette amélioration permet un contrôle plus granulaire et une compatibilité avec les architectures évolutives des métastores. L'enregistrement s'effectue à l'aide de la REGISTER_EXT_METASTORE procédure avec une syntaxe et des propriétés mises à jour.

    À partir de cette version, la prise en charge héritée du type de watsonx-data métastore unifié est maintenue dans la version Enterprise, mais n'est plus disponible pour les instances Lite. Pour plus d'informations, voir Synchronisation manuelle de Query Optimizer avec le metastore.

Économie sur la prise en HTTP charge du protocole dans le plan watsonx.data Lite

Le service de métadonnées (MDS) exécute désormais watsonx.data le service Thrift via le HTTP protocole au lieu du protocole binaire utilisé précédemment. Ce changement affecte les points de terminaison des services et les configurations de connexion.

Principaux changements :

  • Le protocole MDS Thrift (thrift://) est remplacé par Thrift Over HTTP (https://).
  • Le account_id est obligatoire pour tous les appels API Thrift effectués vers le service MDS Thrift via HTTP.
  • Le catalog paramètre de requête est obligatoire lors de l'appel d'API impliquant le catalogue Iceberg.

Pour Spark et Presto les moteurs intégrés watsonx.data, ces mises à jour sont appliquées automatiquement aux catalogues nouveaux et migrés. Pour les moteurs externes tels que Spark, Db2, et Netezza, les utilisateurs doivent mettre à jour manuellement les paramètres de connexion afin de refléter le nouveau protocole, le nouveau port et le nouveau paramètre de requête.

Améliorations apportées au service de métadonnées multi-locataires (MDS)

Cette version de watsonx.data introduit les améliorations suivantes dans MDS.

  • AccountId est désormais requis pour tous les appels directs au service REST MDS (Iceberg Catalog et Unity Catalog). Les requêtes qui n'incluent pas cet en-tête échoueront.
  • Le point final pour les opérations Iceberg est désormais mis à jour de /mds/iceberg à /api/v1/iceberg.

Pour plus d'informations, consultez la documentation API.

CPDCTL Améliorations CLI

Cette version de watsonx.data apporte les améliorations suivantes à l'interface de ligne de commande IBM Cloud Pak for Data ( IBM cpdctl):

  • La rétrocompatibilité a été activée pour les commandes bucket, engine, ingestion``service, component, et dans CPDCTL.

À partir de la version 1.8.85 CPDCTL, ces commandes peuvent désormais se connecter aux watsonx.data versions antérieures à la version 2.2.1, garantissant une intégration et une compatibilité plus fluides entre les environnements.

  • Une nouvelle option sous la bucket commande wx-data bucket list-objects affiche la liste des objets ajoutés dans un watsonx.data compartiment. Pour plus d'informations sur les bucket opérations liées à la commande dans watsonx.data, consultez bucket.

  • Un indicateur caché est désormais --en-apikey disponible pour contourner les cas limites où --api-key l'indicateur échoue à la validation dans les commandes sparkjob create``tablemaint et. Pour plus d'informations, consultez les informations supplémentaires sur l'utilisation et les exemples de la commande cpdctl wx-data.

Interface de chat alimentée par l'IA générique dans watsonx.data

Vous pouvez désormais discuter avec une interface de chat alimentée par l'IA générique, watsonx.data Assistant, pour poser des questions sur IBM® watsonx.data. L'assistant répond à vos questions en watsonx.data s'appuyant sur ses connaissances issues de la documentation IBM produit. Cela permet d'explorer et de découvrir le produit plus facilement et plus rapidement. Pour activer cette fonctionnalité et commencer à l'utiliser, consultez watsonx.data Assistant - genAI interface de chat optimisée.

Service d'extraction

Cette version de watsonx.data introduit les améliorations suivantes au service de récupération :

Amélioration de l'ingestion

Cette version introduit les améliorations watsonx.data suivantes en matière d'ingestion :

  • Un nouveau bouton est disponible dans le panneau cible de l'écran d'ingestion pour contrôler le mode de suppression des tables au format Iceberg ingérées, avec Copy-on-Write (COW) comme mode par défaut. Le passage au mode Merge-on-Read permet la suppression au niveau des lignes pendant l'ingestion.
Fonctions obsolètes

Les fonctionnalités suivantes sont obsolètes dans cette version :

  • Les noms d'utilisateur ibmlhapikey et ibmlhtoken utilisés pour l'authentification des utilisateurs ont été déclarés obsolètes à partir de la version 2.2.0 et marqués pour suppression. À 2.3.0 présent, le support a été complètement supprimé.

Pour vous authentifier, vous devez utiliser le nouveau format :

ibmlhapikey_<username>

ibmlhtoken_<username>

Pour plus d'informations, consultez Gestion des accès et gouvernance dans watsonx.data.

Caractéristiques de l'aperçu technologique

Pour cette version, des mises à jour et des améliorations supplémentaires sont disponibles dans les fonctionnalités de l'aperçu technologique. Pour consulter les mises à jour de l'aperçu technologique de cette version, voir Aperçu technologique 2.3.

13 novembre 2025 - Version 2.2.2 Nouvelle fonctionnalité 1 ( NF1 )

NF12.2.2watsonx.data La version est lancée progressivement dans différentes régions géographiques et n'est pas disponible dans toutes les régions. Pour savoir si la 2.2.2NF1 version est disponible dans votre région, contactez IBM le service d'assistance.

Caractéristiques de l'aperçu technologique
Pour cette version, des mises à jour et des améliorations supplémentaires sont disponibles dans les fonctionnalités de l'aperçu technologique. Pour consulter les mises à jour de l'aperçu technologique de cette version, voir : Aperçu technologique 2.2.2 NF1.
Fonctions obsolètes
Les cas d'utilisation High Performance BI et Data Engineering sont obsolètes lors de la création d'une instance watsonx.data Lite via l'interface utilisateur. Vous pouvez toujours créer une instance watsonx.data Lite avec ces cas d'utilisation à l'aide de la CLI. Toutefois, ces cas d'utilisation seront supprimés de la CLI dans la version 2.3.1.

31 octobre 2025 - Version 2.2.2

Amélioration des moteurs et des services

Cette version de watsonx.data apporte les améliorations suivantes au moteur et au service :

  • Milvus sur watsonx.data prend désormais en charge les types de stockage externe suivants pour le stockage des données vectorielles, des fichiers d'index et des journaux binaires : Google Cloud Storage (GCS), Azure Data Lake Storage (ADLS) Gen1, et S3-compatible.
  • Milvus la fonctionnalité de mise à l'échelle est désormais désactivée pour la taille du T-shirt Starter. Vous ne pouvez plus passer de la taille du T-shirt de démarrage Milvus à une autre taille. Il n'est pas non plus permis de revenir à Starter à partir d'une configuration plus large.
Sources de données et amélioration du stockage

Cette version de watsonx.data introduit les sources de données et les améliorations de stockage suivantes :

  • Vous pouvez maintenant appliquer les politiques de gouvernance de IBM Knowledge Catalog à la source de données, Teradata. Pour plus d'informations, voir Connecting to IBM Knowledge Catalog(IKC).
  • Vous pouvez désormais créer un stockage dans un état actif sans l'associer à un catalogue. Cette amélioration supprime la nécessité d'une activation manuelle.
  • Vous pouvez désormais activer et désactiver les fonctions ACL sur un système de stockage compatible ACL dans la vue topologique. Pour plus d'informations, voir Désactivation ou activation de l'ACL sur un système de stockage compatible avec l'ACL.
  • Vous pouvez désormais utiliser GlusterFS,, un système de fichiers distribués évolutif, comme support de stockage pour MinIO. Pour plus d'informations, voir Configuration du stockage répliqué GlusterFS avec MinIO.
  • Vous pouvez désormais configurer n'importe quel stockage d'objets compatible avec S3 dans watsonx.data à l'aide de l'option Custom S3 Storage. Pour plus d'informations, voir la rubrique Stockage personnalisé S3.
  • Vous pouvez désormais mettre à jour les informations d'identification pour Azure Data Lake Storage (ADLS) et Google Cloud Storage.
  • Vous pouvez maintenant choisir d'enregistrer les détails de la connexion soit dans la base de données de la console d'instance, soit dans le catalogue par défaut de la plate-forme de données pour les sources de données suivantes :
    • IBM Db2
    • IBM Netezza
    • MySQL
    • Oracle
    • PostgreSQL
    • Snowflake
    • SQL Server
Delta Lake les catalogues sont désormais disponibles avec l'extension de contrôle d'accès Spark

Vous pouvez désormais utiliser les catalogues Delta Lake avec l'extension de contrôle d'accès Spark, ce qui permet d'améliorer la sécurité lors des soumissions d'applications Spark. Cette fonction apporte une autorisation supplémentaire, garantissant que seuls les utilisateurs autorisés peuvent accéder aux catalogues watsonx.data et les exploiter par le biais de travaux Spark. Pour plus d'informations, voir Améliorer la soumission d'une application Spark à l'aide de l'extension de contrôle d'accès Spark.

Personnaliser la charge utile de votre application Spark

Lorsque vous soumettez une application Spark sur watsonx.data, vous pouvez personnaliser la charge utile de l'application pour y inclure les fonctionnalités suivantes :

  • Clés d'idempotence : Garantit que les demandes ne sont traitées qu'une seule fois, même en cas d'échec de la communication client-serveur.
  • Contrôles de la durée d'exécution maximale : Définit une durée d'exécution maximale pour les applications Spark. Si le délai n'est pas spécifié, les travaux continuent de s'exécuter jusqu'à leur terme, quelle que soit leur durée.

Pour plus d'informations, voir Personnaliser les paramètres pour la soumission d'une demande Spark.

Passerelle politique commune (CPG)

Le provisionnement de la passerelle de politique commune (CPG) est désormais facultatif. Vous pouvez créer une instance watsonx.data sans auto-provisionner CPG, à moins qu'un moteur de politique ne soit explicitement requis. Grâce à cette fonctionnalité, l'approvisionnement en CPG est désormais totalement optionnel et réversible. Si un moteur de politique client tel que Ranger ou IKC est nécessaire, le CPG peut être provisionné ultérieurement. Pour plus d'informations, voir Activation ou désactivation des moteurs de passerelles de stratégies communes.

CPDCTL Améliorations CLI

Cette version de watsonx.data apporte les améliorations suivantes à l'interface de ligne de commande IBM Cloud Pak for Data ( IBM cpdctl):

  • Utilisez le nouveau groupe de commande access-control pour gérer les politiques d'accès aux ressources de votre instance watsonx.data, y compris l'affichage, la mise à jour et la révocation de l'accès pour les utilisateurs et les groupes. Pour plus d'informations, voir contrôle d'accès.
Amélioration du gestionnaire de données

Les utilisateurs peuvent désormais créer des schémas avec des chemins d'accès personnalisés pour visualiser et synchroniser les données à un niveau plus granulaire. Grâce à cette nouvelle fonctionnalité, les utilisateurs peuvent synchroniser uniquement un répertoire spécifique (par exemple, /test1 ou /test1/schema1 ) pour récupérer les tables situées sous ce chemin, au lieu de synchroniser l'ensemble du catalogue. Cette capacité de synchronisation ciblée améliore les performances et la précision de la gestion des données.

Améliorations de l'intégration

IBM watsonx.data prend désormais en charge le suivi des lignées au niveau des colonnes pour Presto en s'intégrant à Manta. Grâce à cette amélioration, les utilisateurs peuvent désormais explorer les dépendances détaillées des colonnes, les relations et les changements de métadonnées, ce qui permet de mieux comprendre les flux de données et d'améliorer la traçabilité dans les pipelines.

Fonctions obsolètes

Le paquetage IBM Client est obsolète et l'installation et le support du paquetage ibm-lh-client ne seront pas disponibles à partir de la version 2.3.0 de watsonx.data. Les utilitaires et les commandes du paquet Client sont remplacés par IBM CPDCTL CLI. Les utilisateurs sont encouragés à migrer et à explorer le CPDCTL. Pour plus d'informations sur l'utilisation du CLI IBM CPDCTL, voir IBM cpdctl.

Utilisez les outils disponibles suivants pour les fonctionnalités équivalentes du progiciel Client :

  • python-run / dev-sandbox- Utilisez l'environnement standard Python pour développer et exécuter des scripts Spark.
  • presto-run / Presto CLI – Utilisez la CLI officielle Presto pour exécuter des requêtes SQL sur watsonx.data.
  • cert-mgmt- Utilisez l'outil JVM keytool pour gérer les certificats HTTPS.

23 septembre 2025 - Version 2.2.1 Nouvelles fonctionnalités introduites (NFI)

Notes de mise à jour pour la version 2.2.1 NFI de watsonx.data as a Service sur IBM Cloud avec l'expérience d'IA générative, voir IBMwatsonx.data as a Service version 2.2.1 Nouvelles fonctionnalités introduites(NFI).

Amélioration du service de métadonnées
Le service de métadonnées (MDS) de watsonx.data prend désormais en charge l'émission d'informations d'identification par le biais des API REST d'Iceberg et d'Unity. En demandant des identifiants temporaires, les consommateurs de métadonnées externes peuvent désormais accéder en toute sécurité aux données du stockage d'objets sans avoir à gérer des clés d'accès à long terme.

La fonctionnalité de prise en charge des informations d'identification vendues dans watsonx.data est disponible uniquement pour les stockages tels que Amazon S3, Google Cloud Storage (GCS) et Azure Data Lake Storage (ADLS). Pour activer la prise en charge des informations d'identification vendues pour Amazon S3 le stockage, les consommateurs de métadonnées doivent spécifier le champ ARN (Amazon Resource Name) du rôle lorsque le S3 composant est enregistré dans watsonx.data. Pour plus d'informations, consultez la section Ajout de Amazon S3 stockages.

11 septembre 2025 - Version 2.2.1

Amélioration des moteurs et des services

Cette version de watsonx.data introduit les améliorations suivantes au niveau des moteurs et des services :

  • Introduction de la version v3 de l'API watsonx.data. Vous pouvez continuer à utiliser la version v2 jusqu'à ce que watsonx.data version 2.3. Voir la documentation de l'API(v3 ).
  • Vous pouvez maintenant provisionner le moteur Spark watsonx.data avec le runtime Spark réglé sur Spark 4.0, ce qui vous permet d'exécuter des applications Spark sur Spark 4.0. Pour plus d'informations sur les versions de Spark prises en charge, voir Version de Spark prise en charge.
  • Le service Milvus de watsonx.data est maintenant mis à niveau vers la version 2.5.12.
  • Vous pouvez désormais utiliser l'outil de sauvegarde open-source Milvus pour sauvegarder et restaurer les données de Milvus dans watsonx.data.
  • Le moteur Spark accéléré Gluten dans watsonx.data est maintenant capable d'exécuter des applications utilisant la version Spark 3.5. Pour plus d'informations sur les versions de Spark prises en charge, voir Version de Spark prise en charge.
  • Vous pouvez désormais utiliser le service de transport vectoriel (VTS) avec Milvus dans watsonx.data pour migrer ou gérer des données vectorielles entre systèmes. Pour plus de détails, voir Utilisation du service de transport vectoriel.
Amélioration de l'optimiseur de requêtes

Le tableau de bord de l'optimiseur permet désormais de contrôler les améliorations apportées aux performances des requêtes. L'optimiseur gère activement les plans de requête pour les catalogues associés et améliore les performances des moteurs Presto (C++). Pour plus de détails, voir Gestion des mises à jour statistiques à partir du tableau de bord Optimizer.

Amélioration de la gestion de l'accès

Cette version de watsonx.data introduit les améliorations suivantes en matière de gestion de l'accès :

  • La gestion des privilèges pour un service Milvus dans watsonx.data inclut désormais les privilèges globaux suivants :

    • DescribeDatabase- Fournit des informations détaillées sur la base de données spécifiée.

    • AlterDatabase- Modifie les propriétés d'une base de données existante.

Pour plus de détails sur la gestion de l'accès des utilisateurs dans Milvus, voir Rôles et autorisations prédéfinis dans watsonx.data.

CPDCTL Améliorations CLI

Cette version de watsonx.data apporte les améliorations suivantes à l'interface de ligne de commande IBM Cloud Pak for Data ( IBM cpdctl):

  • À partir de la version 1.8.25 de CPDCTL, la compatibilité est limitée à la version 2.2.1 de watsonx.data et aux versions supérieures. Ce changement est dû à l'abandon de la prise en charge de l'API v2 dans le cadre de la mise à niveau majeure vers les API v3. Pour les utilisateurs de versions antérieures de CPDCTL, se référer à l'archive des versions de CPDCTL.

    Certaines commandes peuvent avoir été modifiées à la suite de mises à jour de la spécification de l'API. Utilisez l'option --help pour revoir et vous adapter à la dernière syntaxe de commande.

  • À partir de la version watsonx.data 2.2.1, vous pouvez utiliser HashiCorp Vault via cpdctl pour une gestion sécurisée des secrets et des flux d'automatisation rationalisés.

  • Une nouvelle option de la commande service wx-data service generate-engine-dump vous permet de générer des vidages pour les nœuds de travail et de coordination Presto dans watsonx.data. Pour plus d'informations sur la commande service pour les opérations liées à l'aptitude au service dans watsonx.data, voir service.

  • Utilisez la commande new component pour récupérer les détails de la configuration et l'état des différents composants de watsonx.data. Pour plus de détails sur la commande component qui permet d'obtenir les détails de la configuration de divers composants dans watsonx.data, voir les commandes wx-data et leur utilisation.

  • À partir de la version 1.8.5 du CPDCTL, les utilisateurs ne doivent plus définir instance ID comme variable d'environnement. Cette méthode est obsolète et sera supprimée dans une prochaine version. Au lieu de cela, définissez le site instance ID directement à l'aide de la commande profile. Pour plus de détails sur la définition de instance ID comme variable d'environnement, voir les commandes de configuration et leur utilisation.

Sources de données et amélioration du stockage

Vous pouvez désormais importer des catalogues et des projets depuis la plate-forme de données pour les sources de données suivantes :

  • IBM Db2
  • IBM Netezza
  • MySQL
  • Oracle
  • PostgreSQL
  • Snowflake
  • SQL Server
Automatisation sémantique pour l'enrichissement des données

watsonx.data prend désormais en charge les fonctions de recherche sémantique qui permettent aux utilisateurs d'interroger les données en utilisant le langage naturel, ce qui rend l'exploration des données plus intuitive et plus efficace. Pour plus de détails sur les capacités de recherche sémantique, voir Effectuer des recherches sémantiques sur watsonx.data.

Améliorations de l'aperçu public

Les fonctionnalités de l'aperçu public sont désormais accessibles à partir de l'interface utilisateur des configurations. Vous pouvez désormais accéder et gérer facilement les fonctionnalités de watsonx.data public preview à partir de l'interface utilisateur Configurations. Les fonctionnalités en aperçu public sont mises en évidence par une étiquette d'aperçu, ce qui permet de les identifier facilement. Vous pouvez activer ou désactiver les caractéristiques pour explorer les fonctionnalités. Chaque fonctionnalité de l'aperçu public comprend un lien vers sa documentation détaillée, ce qui vous permet d'en apprendre davantage à son sujet. Pour plus de détails sur les fonctionnalités de l'aperçu public, voir la rubrique Nouveautés de watsonx.data(aperçu public).

Fonctions obsolètes

Les fonctionnalités suivantes sont obsolètes dans cette version :

  • watsonx.data La version de l'API v2 est désormais obsolète

watsonx.data La version de l'API v2 est complètement supprimée de l'édition pour développeurs watsonx.data à partir de la version 2.2.1. Il sera complètement supprimé de l'édition du logiciel watsonx.data dans la version 2.3. Vous devez migrer vers la dernière version de l'API prise en charge ( v3 ) pour garantir une compatibilité continue et l'accès aux nouvelles fonctionnalités.

  • L'option d'enregistrer des moteurs Spark externes dans watsonx.data est obsolète dans cette version et sera supprimée dans la version 2.3. watsonx.data comprend déjà des moteurs Spark intégrés que vous pouvez provisionner et utiliser directement, y compris le moteur Spark accéléré par Gluten (Provisioning Gluten accelerated Spark engine) et le moteur Spark natif de watsonx.data (Provisioning a Spark engine).

05 août 2025 - Version 2.2.0 Nouvelle fonctionnalité 1 ( NF1 )

Prise en charge des types de données BLOB et CLOB

La prise en charge des types de données BLOB et CLOB dans watsonx.data a été mise à jour pour s'aligner sur la norme SQL, que Presto suit en tant que moteur de requêtes fédéré.

Lire le soutien : Les BLOB et les CLOB peuvent être lus à partir de systèmes fédérés basés sur JDBC. Lorsqu'ils sont lus, ils sont cartographiés comme suit :

  • BLOB vers VARBINAIRE
  • CLOB à VARCHAR

Support d'écriture : L'écriture de données BLOB et CLOB est également prise en charge et est traitée comme suit :

  • VARBINAIRE pour les données binaires
  • VARCHAR pour les données de caractère

Créer un support de table : Vous ne pouvez pas utiliser BLOB ou CLOB comme types de colonnes lors de la création de nouvelles tables. Seuls VARBINARY et VARCHAR sont pris en charge pour de tels cas d'utilisation.

Mise à jour de la version du moteur

Les moteurs Presto ( Java ) et Presto (C++) sont maintenant mis à jour vers la version 0.294.

Connexion à watsonx BI

Vous pouvez désormais connecter watsonx.data avec IBM watsonx BI pour accéder directement aux données disponibles dans différentes sources de données, ce qui facilite l'utilisation des données par les data scientists et les data analysts. Pour plus d'informations sur la connexion à watsonx BI, voir Intégrer avec watsonx BI.

Amélioration du plan Lite

Cette version de watsonx.data introduit les améliorations suivantes du plan Lite :

  • Moteur Spark sans serveur pour le plan Lite : Le moteur Spark de l'instance du plan watsonx.data Lite fonctionne selon un modèle sans serveur. Vous pouvez désormais exécuter des tâches Spark sur une plateforme sans serveur, ce qui élimine le besoin de nœuds dédiés pour chaque moteur Spark. Le Spark sans serveur permet un quota de ressources maximum de 8 vCPU×32 GB, où les utilisateurs peuvent accéder à un pool partagé de nœuds. Les temps d'exécution Spark sont programmés sur tous les nœuds disponibles dans le plan de données plutôt que sur un nœud dédié. Pour plus d'informations sur le provisionnement d'une instance de Lite plan et la création d'un moteur Spark dans cette instance, voir Provisionnement d'un moteur Spark sans serveur pour Lite plan.

  • Une nouvelle configuration de taille Lite est introduite pour le moteur Presto ( Java ), offrant une configuration de déploiement à nœud unique pour l'expérimentation et les premières phases de développement. Le moteur Presto ( Java ) n'est disponible que dans les instances du plan Lite watsonx.data. Pour plus d'informations, voir Provisionnement d'un moteur Presto(Java ).

Amélioration de l'ingestion

Cette version de watsonx.data comprend l'amélioration suivante de l'ingestion :

Le format de fichier.txt est désormais accepté pour l'ingestion des données. Cette amélioration accroît la flexibilité en permettant aux utilisateurs de télécharger en toute transparence des fichiers de texte brut en plus des formats existants pris en charge.

Amélioration des services

Vous pouvez désormais configurer le délai d'exécution des requêtes à l'aide de deux paramètres : Temps maximum d'exécution de la requête et Délai d'attente du client de la requête. Pour plus d'informations, voir Gestion des paramètres utilisateur à l'adresse watsonx.data: Délai d'attente de la session, Délai d'attente de la requête et Paramètres du message de connexion

11 juillet 2025

Une nouvelle version de watsonx.data a été publiée le 11 juillet 2025 avec les changements suivants :

Disponibilité d'une nouvelle région
watsonx.data sur AWS est désormais disponible dans la région de Mumbai.

07 juillet 2025 - Version 2.2.0 Hotfix 1

La version 2.2 hotfix de watsonx.data a été publiée le 07 juillet 2025. Cette version comprend des mises à jour de sécurité et des correctifs.

11 juin 2025 - Version 2.2.0

Amélioration des moteurs et des services

Cette version de watsonx.data introduit les améliorations suivantes au niveau des moteurs et des services :

  • Introduction de nouvelles versions de l'API pour la connexion à un service Milvus à l'aide d'une route d'hôte proxy. Pour plus d'informations, voir Connexion au service Milvus.
  • Pour les moteurs Presto (C++), les catalogues Hive et Iceberg sont désormais activés avec la configuration de la région. Pour plus d'informations, voir Provisionnement d'un moteur Presto(C++).
  • Nouveau moteur Spark accéléré par Gluten : Vous pouvez maintenant provisionner le moteur Spark accéléré par Gluten et l'utiliser pour exécuter des charges de travail analytiques complexes en tirant parti de la grande évolutivité du cadre Spark SQL et de la haute performance des bibliothèques natives. Pour plus d'informations sur l'utilisation du nouveau moteur Spark accéléré Gluten, voir Travailler avec le moteur Spark accéléré Gluten.
  • Exécuter des requêtes plus rapides dans l'espace de travail en utilisant une tâche Spark pour transformer les données des tables Iceberg : Pour accélérer la lecture des tables Iceberg, vous pouvez désormais utiliser un job Spark pour transformer les données des tables Iceberg du format Merge-on-Read (MOR) au format Copy-on-Write (COW). Pour plus d'informations, voir Soumettre des jobs Spark pour la conversion de MoR à CoW.
  • Vous pouvez utiliser la fonctionnalité de l'API Spark pour configurer la limite des applications qui peuvent être listées et les critères de filtrage que vous pouvez utiliser pour filtrer les applications Spark.
CPDCTL Améliorations CLI

Cette version de watsonx.data apporte les améliorations suivantes à l'interface de ligne de commande IBM Cloud Pak for Data ( IBM cpdctl):

  • Vous pouvez utiliser la commande tablemaint pour exécuter différentes opérations de maintenance des tables Iceberg sur watsonx.data.

  • Vous pouvez utiliser la commande wx-data service pour effectuer diverses opérations liées à l'aptitude au service, telles que l'énumération des tables, la récupération de la liste des buckets activés par QHMM et la surveillance des statistiques et des requêtes liées à QHMM.

Pour plus d'informations, voir IBM cpdctl.

Améliorations de l'intégration

Cette version de watsonx.data introduit les améliorations suivantes en matière d'intégration avec d'autres services :

  • Nouvelle méthode de livraison : Livrer sous forme de table en watsonx.data

Les produits de données utilisant des sources de données prises en charge peuvent désormais être livrés à votre instance de tables watsonx.data en utilisant la méthode "deliver as a table in watsonx.data ". Cette méthode permet aux utilisateurs disposant des autorisations appropriées de créer de nouvelles tables ou d'ajouter des éléments à des tables existantes. Pour plus d'informations, voir Intégrer avec Data Product Hub.

  • Nouvelle méthode de livraison : Accès en watsonx.data

Vous pouvez désormais vous abonner à un produit de données créé à partir de l'instance watsonx.data en utilisant la méthode de livraison access in watsonx.data. Cette méthode permet aux consommateurs d'accéder directement aux ressources watsonx.data par l'intermédiaire de Data Product Hub. Après la livraison, les consommateurs verront des détails sur la façon d'accéder à l'instance watsonx.data et aux ressources spécifiques auxquelles ils ont accès. Pour plus d'informations, voir Intégrer avec Data Product Hub.

  • Vous pouvez maintenant vous connecter au serveur de requêtes Spark de la manière suivante et exécuter des requêtes pour analyser vos données.

    • Utilisation de DBeaver ( JDBC clients)
    • Utilisation du code Java ( JDBC Client)
    • Utilisation de Python ( PyHive JDBC Client)

    Pour plus d'informations, voir Connexion au serveur de requêtes Spark à l'aide du pilote Spark JDBC.

Amélioration de la facturation

Cette version de watsonx.data apporte les améliorations suivantes à la fonction de facturation :

  • Granularité de la facturation : Les utilisateurs pourront désormais consulter leurs relevés de facturation dans un format détaillé, offrant ainsi une granularité et une transparence accrues
  • Précision de la facturation : L'utilisation de la facturation par l'utilisateur sera désormais suivie au niveau de la minute, en remplacement de la méthode précédente du filigrane le plus élevé
Amélioration de la surveillance et de la gestion de l'historique des requêtes (QHMM)

Cette version de watsonx.data introduit l'amélioration suivante du QHMM :

La page de surveillance des requêtes est supprimée de l'assistant de démarrage rapide et est consolidée avec la page de configuration d'un seau. Vous pouvez désormais activer, désactiver et configurer les détails de stockage du QHMM directement à partir de la page mise à jour Configurer un seau disponible dans l'assistant de démarrage rapide. Pour plus d'informations sur la mise à jour de l'assistant de démarrage rapide, voir Démarrage rapide.

Sources de données et amélioration du stockage

Cette version de watsonx.data comprend les améliorations suivantes en matière de stockage :

Vous pouvez désormais utiliser le site SQL Server avec l'authentification New Technology LAN Manager (NTLM) et l'authentification Microsoft Entra. NTLM est une méthode d'authentification par défi et réponse basée sur Windows. Pour plus d'informations, voir SQL Server.

Vous pouvez maintenant créer le stockage suivant dans un état actif par défaut :

  • IBM Cloud Object Storage
  • Amazon S3
  • IBM Storage Ceph
  • MinIO
  • Google Cloud Storage
  • Azure Data Lake Storage
  • Apache Ozone
Amélioration de la gestion de l'accès

Cette version de watsonx.data introduit les améliorations suivantes en matière de gestion de l'accès :

  • Vous pouvez utiliser la fonctionnalité d'exportation pour télécharger les politiques de ressources existantes et les importer dans un autre environnement requis. Cela permet d'assurer la cohérence et de faciliter la migration. Pour plus d'informations sur l'utilisation de la fonctionnalité d'importation et d'exportation, voir Gestion de l'accès des utilisateurs.
  • Un administrateur de catalogue ou un utilisateur appartenant à un groupe ayant un rôle d'administrateur peut désormais supprimer son accès au catalogue. Pour plus d'informations sur la manière de supprimer un utilisateur d'un composant, voir Gestion de l'accès des utilisateurs.
  • Les utilisateurs non-administrateurs ont un accès en lecture seule et peuvent maintenant voir la page Driver Manager dans la section Configurations. Ils peuvent ainsi consulter la liste des conducteurs actifs et leurs coordonnées sans avoir à consulter un administrateur. Pour plus d'informations, voir Gestionnaire de pilotes.
Amélioration de l'audit et du suivi

Cette version de watsonx.data apporte les améliorations suivantes en matière d'audit et de suivi :

La liste des événements à suivre comprend désormais des activités détaillées liées au serveur MDS Thrift et au serveur MDS Rest, ce qui permet de comprendre comment les applications et les utilisateurs interagissent avec ces composants essentiels. Pour plus d'informations, voir les événements du serveur MDS Thrift et du serveur MDS Rest.

Fonctions obsolètes

Les fonctionnalités suivantes sont obsolètes dans cette version :

  • Les API Milvus qui utilisent l'hôte REST (API avec le préfixe /api/v1 ) sont obsolètes à partir de watsonx.data v2.2.

  • Azure Data Lake Storage (ADLS) Gen1 est désormais obsolète et sera supprimé dans une prochaine version. Vous devez passer à l'ADLS Gen2 car l'ADLS Gen1 n'est pas disponible.

  • La méthode d'authentification de l'utilisateur utilisant ibmlhapikey et ibmlhtoken comme nom d'utilisateur est maintenant obsolète et sera supprimée dans une prochaine version. Vous pouvez utiliser ibmlhapikey_<username> et ibmlhtoken_<username> à la place. Pour plus d'informations, voir Gestion des accès et gouvernance sur watsonx.data.

10 avril 2025 - Version 2.1.2 Hotfix 1

Amélioration des moteurs et des services

Cette version de watsonx.data introduit l'amélioration de service suivante :

Introduction de Tiny Milvus, un déploiement léger à un seul nœud de la base de données vectorielle Milvus, conçu pour l'expérimentation et les premières phases de développement.

Tiny Milvus fournit l'expérience de base de Milvus et est conçu spécifiquement pour être utilisé au sein de la plateforme watsonx.ai. Il sert de point d'entrée pour l'exploration vectorielle de l'IA avec un minimum de ressources nécessaires pour assurer une gestion et une analyse efficaces des données. Elle se distingue des autres configurations Milvus disponibles sur watsonx.data, qui offrent une plus grande évolutivité et des fonctions de niveau entreprise.

Tiny Milvus prend en charge jusqu'à 10K vecteurs, ce qui le rend adapté aux essais rapides et à l'expérimentation précoce sans infrastructure lourde. Il n'est pas destiné aux charges de travail de production.

Pour plus d'informations sur l'utilisation de Tiny Milvus, voir Configuration d'un magasin de vecteurs watsonx.data Milvus.

04 avril 2025 - Version 2.1.2

Sources de données et amélioration du stockage

Cette version de watsonx.data comprend les améliorations suivantes en matière de stockage :

Vous pouvez maintenant vous connecter à IBM Db2 for i source de données. Pour plus d'informations sur IBM Db2 for i, voir IBM Db2 for i.

Amélioration de la connectivité

Cette version de watsonx.data inclut l'amélioration suivante de la connectivité :

Vous pouvez désormais vous connecter de manière sécurisée et privée à une instance watsonx.data en utilisant des points d'extrémité privés virtuels. Pour plus d'informations sur la configuration des points d'extrémité du réseau dans watsonx.data, voir Configuration des points d'extrémité privés virtuels.

Améliorations de l'intégration

Cette version d' watsonx.data, introduit les intégrations améliorées suivantes avec d'autres services :

  • Désormais, vous pouvez définir les politiques de gouvernance de IBM Knowledge Catalog pour le moteur Presto (C++) lorsque vous l'intégrez à watsonx.data. Pour plus d'informations sur la connexion à IBM Knowledge Catalog (IKC), voir Connexion à IBM Knowledge Catalog(IKC).
  • Vous pouvez désormais exporter des fichiers de configuration pour les moteurs cibles Presto, en fonction du pilote ODBC sélectionné (Simba ou CData), afin d'établir plus facilement des connexions avec watsonx.data. Cette amélioration vous évite de configurer manuellement les détails du moteur Presto en utilisant PowerBI. Pour plus d'informations sur la connexion à Presto à l'aide des fichiers Config, voir Connexion à Presto à l'aide des fichiers Config.
  • Intégration avec Data Product Hub: Vous pouvez intégrer watsonx.data avec DPH pour regrouper les tables et les requêtes SQL dans des produits de données adaptés à des cas d'utilisation spécifiques. Pour plus de détails, voir Intégrer avec Data Product Hub.
Amélioration de l'ingestion

Cette version de watsonx.data comprend l'amélioration suivante de l'ingestion :

Les tâches d'ingestion utilisant un moteur Spark externe fournissent désormais des journaux à l'adresse watsonx.data. Cette amélioration permet aux utilisateurs d'identifier et de dépanner efficacement l'exécution des tâches directement dans la plateforme watsonx.data on cloud ( SaaS instance). Les détails de la procédure d'ingestion sont disponibles dans Ingérer des données en utilisant Spark via la console web.

Amélioration des moteurs et des services

Cette version de watsonx.data introduit les améliorations suivantes au niveau des moteurs et des services :

Vous pouvez désormais utiliser Azure Data Lake Storage Gen2 avec AccessKey Authmode with Spark engine pour stocker vos données tout en soumettant des applications Spark. Pour plus d'informations sur Azure Data Lake Storage Gen2, voir Azure Data Lake Storage.

Amélioration de l'espace de travail pour les requêtes

Cette version de watsonx.data introduit l'amélioration suivante de l'espace de travail des requêtes :

Vous avez maintenant la possibilité d'annuler une ou plusieurs requêtes en cours. En outre, vous pouvez supprimer les requêtes de la feuille de travail une fois qu'elles ont été annulées ou terminées avec succès, ce qui facilite l'organisation de votre espace de travail. Pour plus d'informations, voir Exécuter des requêtes SQL.

Amélioration de la gestion de l'accès

Cette version de watsonx.data introduit les améliorations suivantes en matière de gestion de l'accès :

  • Les administrateurs peuvent désormais configurer l'accès aux sites IBM Db2 et IBM Netezza. Ils peuvent attribuer des rôles aux utilisateurs de watsonx.data pour qu'ils puissent voir, modifier et administrer les moteurs IBM Netezza et IBM Db2. Pour plus d'informations sur les autorisations au niveau des ressources, voir (Db2 et Netezza ).
  • Les administrateurs peuvent désormais accorder ou révoquer des autorisations spécifiques à des utilisateurs ou à des rôles lors de la création et de la consultation de leurs propres schémas. Pour plus d'informations sur les règles de stratégie de données, voir Gestion des règles de stratégie de données.
  • Le flux de proxy DAS, qui était précédemment déprécié, est maintenant supprimé et n'est plus disponible sur watsonx.data.
Amélioration de la surveillance et de la gestion de l'historique des requêtes (QHMM)

Cette version de watsonx.data apporte les améliorations suivantes au QHMM :

  • Vous pouvez désormais sélectionner le moteur Presto associé à un catalogue QHMM lorsque vous configurez la surveillance des requêtes dans watsonx.data. Pour plus d'informations sur la configuration de QHMM, voir Configuration de la surveillance des requêtes.
  • Vous pouvez maintenant utiliser le script de migration pour transférer les données QHMM du seau source au seau de destination dans watsonx.data. Pour plus d'informations sur l'utilisation du script de migration, voir Utilisation du script Shell QHMM.
CPDCTL Améliorations CLI

Cette version de watsonx.data apporte les améliorations suivantes à l'interface de ligne de commande IBM Cloud Pak for Data ( IBM cpdctl):

  • À partir de la version 2.1.2, la commande wx-data est disponible par défaut, ce qui vous permet d'effectuer des opérations telles que l'ingestion, la gestion des moteurs, etc. dans watsonx.data.
  • Vous pouvez utiliser les commandes wx-data engine create et wx-data engine delete pour approvisionner et supprimer tous les moteurs disponibles dans watsonx.data.
  • Vous pouvez utiliser la commande sparkjob pour soumettre, lister et obtenir les détails d'une application Spark.
  • INSTANCE_ID utilisé pour définir l'environnement de l'instance est remplacé par WX_DATA_INSTANCE_ID.

Pour plus d'informations, voir IBM cpdctl.

28 février 2025 - Version 2.1.1

Disponibilité d'une nouvelle région

watsonx.data est désormais disponible dans la région de Toronto pour les plans Lite et Enterprise. Pour en savoir plus, consultez les pages Approvisionnement du plan watsonx.data Lite et Approvisionnement du plan watsonx.data Enterprise.

Sources de données et amélioration du stockage

Cette version d' watsonx.data, inclut les améliorations de stockage suivantes :

  • Vous pouvez maintenant tester les connexions pour les sources de données et le stockage suivants :

    • Apache Phoenix
    • IBM Data Virtualization Manager
    • BigQuery
    • Google Cloud Storage

  • Vous pouvez désormais enregistrer et charger des tables Hudi et Delta externes préexistantes sur un stockage d'objets en utilisant les API Register table et load table metadata.

Amélioration de l'ingestion

Une fois le processus d'ingestion terminé, vous pouvez désormais accéder aux données ingérées directement depuis la page Historique d'ingestion, ce qui rationalise votre flux de travail et vous fait gagner du temps.

Améliorations de l'intégration

Cette version d' watsonx.data, introduit les intégrations améliorées suivantes avec d'autres services :

  • La page Informations de connexion comprend désormais :
    • Presto détails de configuration pour l'intégration DBT. Vous pouvez copier les détails de configuration d' Presto, nécessaires à l'intégration de DBT, à partir de cette page.
    • Possibilité d'exporter le fichier TDS, qui inclut les détails de configuration du moteur d' Presto, nécessaires à l'intégration d' Tableau.

Pour plus d'informations, voir L'obtention d'informations sur la connexion.

Amélioration des moteurs et des services

Cette version de watsonx.data apporte les améliorations suivantes au moteur et au service :

  • Vous pouvez désormais créer une application Spark à partir de l'onglet Applications de la page de détails du moteur Spark. Pour plus d'informations, voir Soumettre une application Spark depuis la console.
  • Vous pouvez maintenant utiliser la version de Spark, 3.5.4 pour exécuter les applications dans watsonx.data. Dans watsonx.data, Apache Spark 3.4.4 et Apache Spark 3.5.4 sont les versions prises en charge.
  • Milvus permet ce qui suit :
    • Dans l' Milvus, vous pouvez désormais effectuer une recherche hybride d' GroupBy s basée sur plusieurs colonnes vectorielles et également personnaliser la taille du groupe lorsque vous lancez des requêtes de recherche. Pour plus d'informations, consultez Connecting watsonx Assistant to watsonx.data Milvus pour une recherche personnalisée.
    • Milvus prend désormais en charge les tailles personnalisées avec une capacité de 3 milliards de vecteurs avec un maximum de 1 024 dimensions.
    • Milvus permet désormais d'augmenter ou de réduire la taille des t-shirts entre des tailles prédéfinies (petite, moyenne et grande) ou des tailles personnalisées. Pour plus d'informations, voir Ajout d'un service d' Milvus.
  • À partir de la version watsonx.data 2.1.1, Milvus 2.5.0 est pris en charge. Pour plus d'informations, voir Milvus.
Amélioration de la gestion de l'accès

Cette version de watsonx.data introduit les améliorations suivantes en matière de gestion de l'accès :

  • Le service de gestion des accès (Access Management Service, AMS) d' watsonx.data peut désormais utiliser l'authentification JSON Web Token (JWT) pour les demandes entrantes provenant d' Presto, garantissant ainsi un contrôle d'accès sécurisé et efficace. Pour plus d'informations, voir Connexion à un moteur d' Presto s via l'interface CLI(Presto)à distance.
  • Vous pouvez désormais attribuer des utilisateurs et des rôles aux composants de l'infrastructure par lots de vingt. Pour plus d'informations, voir Gestion de l'accès utilisateur.
  • Vous pouvez désormais utiliser les politiques SQL d' Apache Ranger Hadoop pour gérer les données avec les moteurs Spark. Vous pouvez définir des politiques Ranger lorsque le moteur Spark accède aux données de clusters d' Hadoop. La politique d'habilitation des utilisateurs de Ranger garantit une sécurité et une gouvernance des données robustes. Avec la politique Ranger, vous pouvez configurer l'autorisation de table ( L3 ), le filtrage au niveau des lignes et le masquage des colonnes pour les données. Pour plus d'informations, voir Activation de la stratégie Ranger d' Apache s pour les ressources.
CPDCTL Améliorations CLI

IBM CPDCTL Le CLI est maintenant utilisé pour configurer et gérer différentes opérations sur watsonx.data. Grâce à l'interface de ligne de commande ( CPDCTL, CLI), vous pouvez gérer les paramètres de configuration, exécuter des tâches d'ingestion, gérer les moteurs, les sources de données et les stockages. Les deux plugins suivants sont actuellement utilisés pour exécuter ces opérations :

  • config- Configurer l'environnement et les utilisateurs d'un servic watsonx.data.

  • wx-data- Pour effectuer d'autres opérations telles que l'ingestion, la gestion des moteurs, etc. dans watsonx.data. Pour plus d'informations, consultez IBM cpdctl.

    watsonx.data L'édition développeur est désormais activée dans la version IBM v1.6.104 CPDCTL et les versions ultérieures.

Fonctions obsolètes

Les fonctionnalités suivantes sont obsolètes dans cette version :

  • La fonctionnalité de proxy DAS (Data Access Service) est désormais obsolète et sera supprimée dans une prochaine version. Vous ne pouvez pas utiliser la fonctionnalité de proxy du service d'accès aux données (DAS) pour accéder au stockage d'objets ( S3, ADLS et ABS). Si vous utilisez le flux proxy DAS et rencontrez des problèmes, contactez le support IBM. Pour une présentation de la fonction DAS, voir Service d'accès aux données(DAS ).

  • IBM Le package client est désormais obsolète et sera supprimé dans une prochaine version. Les utilitaires et commandes du package Client sont remplacés par l' IBM e CPDCTL CLI. Pour plus d'informations sur l'utilisation du CLI IBM CPDCTL, voir IBM cpdctl.

04 février 2025 - Version 2.1.0 Hotfix 2

Amélioration du plan Lite
IBM® watsonx.data Le plan Lite est désormais disponible dans la région de Sydney. Pour plus d'informations sur le provisionnement d'une instance de Lite plan dans la région de Sydney, voir Provisionnement de Lite plan.

10 janvier 2025 - Version 2.1.0 Hotfix 1

Amélioration du plan d'entreprise
Si vous utilisez IBM Cloud CLI pour provisionner une instance de plan Entreprise dans la région de Sydney, vous devez utiliser le nom de plan lakehouse-enterprise-mcsp. Pour plus d'informations, voir Provisionner une instance via CLI.

13 décembre 2024 - Version 2.1.0

Sources de données et amélioration du stockage

Cette version comprend les nouvelles sources de données et les améliorations de stockage suivantes :

  • Vous pouvez désormais vous connecter à des sources de données d' Apache Phoenix. Pour plus d'informations, voir Apache Phoenix

  • Si vous travaillez avec des sources de données MySQL, vous pouvez désormais gérer les pilotes dans la section Gestionnaire de pilotes de la page Configurations. Chacun de ces pilotes passe par une série d'étapes de validation. Vous ne pouvez plus tester les connexions MySQL. Pour plus d'informations, voir MySQL.

Lorsque vous effectuez la mise à niveau vers la version 2.1.0, tout catalogue MySQL existant n'est plus lié au moteur. Cela signifie que vous devez rétablir la connexion entre le MySQL catalogue et le moteur.

  • La fonction de test de connexion est désormais disponible pour les sources de données suivantes prises en charge par Arrow Flight service:

    • Apache Derby
    • Salesforce
    • Greenplum
    • MariaDB

  • Vous pouvez maintenant tester la connexion pour la source de données Azure Data Lake Storage (ADLS) et IBM Data Virtualization Manager for z/OS.

Améliorations de l'intégration

Cette version de watsonx.data introduit les intégrations nouvelles ou améliorées suivantes avec d'autres services :

  • Vous pouvez maintenant activer la connexion Databand à partir de la page Configurations. Pour plus d'informations, voir Surveillance de l'exécution des applications Spark à l'aide de Databand.

  • Vous pouvez maintenant récupérer les informations de connexion Presto à partir de l'instance watsonx.data > Configurations > Page d' informations de connexion pour l'intégration suivante :

    • Outils de BI
    • DataBuildTool (dbt)

  • À partir de la version watsonx.data 2.1, vous ne pouvez intégrer que l'un des moteurs de politique suivants :

    • Apache Ranger
    • IBM Knowledge Catalog (IKC)

Pour plus d'informations, voir Informations sur les connexions.

  • Vous pouvez désormais intégrer IBM Manta Data Lineage avec watsonx.data pour capturer et publier des travaux, des exécutions et des événements de jeu de données à partir de Spark via l'interface utilisateur de Manta. Pour plus d'informations, voir IBM Manta Data Lineage.

  • Vous pouvez maintenant utiliser tous les types de données Presto avec l'adaptateur dbt pour Presto. Spécifiez le type de données en tant que column_types dans le fichier dbt_project.yml. Pour plus d'informations, voir Installation et utilisation de watsonx.

Amélioration des moteurs et des services

Cette version de watsonx.data apporte les améliorations suivantes au moteur et au service :

Interroger l'historique à l'aide de l'utilitaire ibm-lh

Vous pouvez obtenir les informations suivantes sur l'historique des requêtes en utilisant l'utilitaire ibm-lh :

  • Informations de base sur les requêtes.
  • Informations de base sur les erreurs des requêtes qui ont échoué.
  • Informations sur les statistiques des requêtes.
  • Demande d'informations sur la mémoire.
  • Demande d'informations sur le ramassage des ordures.
  • Requête la plus longue.
  • Détails de l'utilisation de la mémoire des requêtes.
  • Informations après avoir joint les deux tables.
  • Information contenant toutes les colonnes d'un tableau.
  • Informations sur les erreurs dans la requête.
  • Nombre de codes d'erreur.
  • Nombre de messages d'échec.
  • Nombre de tous les types d'échec.

Pour plus d'informations, voir Récupération des journaux QHMM à l'aide de l'utilitaire ibm-lh.

Amélioration de l'ingestion

Cette version de watsonx.data apporte les améliorations suivantes en matière d'ingestion :

  • Aperçu de la table cible: Avant de soumettre un travail d'ingestion, les utilisateurs peuvent désormais prévisualiser le schéma de la table cible et modifier les en-têtes de colonnes et les types de données. Cela permet de valider les données et de s'assurer qu'elles sont intégrées dans la bonne structure de table. Pour plus d'informations, voir Ingérer des données en utilisant Spark via la console web.

  • Ingestion Java pour la création de tables: Le gestionnaire de données comprend désormais une option permettant de créer des tables à l'aide du flux d'ingestion Java en naviguant vers l'ingestion locale, ce qui offre une flexibilité et un contrôle basés sur la taille du fichier et d'autres facteurs. Pour plus d'informations, voir Créer une table et Ingérer des données en utilisant Spark via la console web.

  • Amélioration de la prise en charge du stockage des sources:

    • Azure Data Lake Storage (ADLS): La prise en charge de l'ingestion de données directement à partir d'ADLS est désormais disponible.
    • Google Cloud Storage (GCS): La prise en charge de l'ingestion de données directement à partir de GCS est désormais disponible.

  • Stockage transitoire: Les utilisateurs peuvent désormais sélectionner le seau externe à utiliser comme zone de stockage pour les ingestions locales. Si aucun stockage n'est spécifié, watsonx.data peut déduire et sélectionner un seau approprié. Pour plus d'informations, voir Ingérer des données en utilisant Spark via la console web.

Introduction au service de métadonnées (MDS)

À partir de la version 2.1, watsonx.data utilise Metadata Service (MDS) au lieu de Hive Metastore (HMS). MDS est compatible avec les API de catalogue modernes et ouvertes, l'API de catalogue Unity et l'API de catalogue REST Apache Iceberg, ce qui permet une intégration plus large des outils et une flexibilité accrue. Cette nouvelle architecture offre des performances comparables tout en continuant à prendre en charge les clients Spark et Presto via l'interface Thrift ou HMS existante. Pour plus d'informations, voir la présentation du service de métadonnées(MDS).

Il est recommandé d'utiliser MDS dans vos environnements de test, puis de l'utiliser en production.

Fonctions obsolètes

La fonctionnalité suivante est obsolète dans cette version :

  • La fonctionnalité de l'API REST permettant de capturer les changements DDL dans watsonx.data via l'écouteur d'événements sera obsolète à partir de la version 2.1 de watsonx.data.

13 novembre 2024 - Version 2.0.4 Hotfix

Amélioration du plan Lite

Cette version du hotfix comprend les améliorations suivantes du plan Lite :

  • Le plan Lite inclut désormais un stockage IBM COS dédié aux échantillons en lecture seule associé au moteur Presto pour prendre en charge l'interrogation des échantillons et des données de benchmarking.

  • Vous pouvez maintenant travailler avec les feuilles de calcul tpcds pour les cas d'utilisation à haute performance et la feuille de calcul Gosales pour l'ingénierie des données et les cas d'utilisation GenAI.

  • Query Optimizer est désormais automatiquement activé pour les cas d'utilisation de la BI haute performance.

29 octobre 2024 - Version 2.0.4

Amélioration des moteurs et des services

Cette version comprend les améliorations suivantes du moteur et du service :

  • La valeur par défaut de la propriété 'task.max-drivers-per-task pour les travailleurs PrestoJava) et Presto (C++) est désormais définie en fonction du nombre de vCPUs.

  • Vous pouvez activer la fonctionnalité d'élagage des fichiers dans la gestion et le suivi de l'historique des requêtes (QHMM) à partir de la page de suivi des requêtes. Vous pouvez également configurer la taille maximale et le pourcentage de seuil pour l'unité de stockage QHMM. Lorsque le seuil est atteint pendant le téléchargement des fichiers ou lorsqu'un planificateur de nettoyage est exécuté (par défaut toutes les 24 heures), les données plus anciennes sont supprimées. Pour plus d'informations, voir Configuration de la surveillance des requêtes.

  • Query History Monitoring and Management (QHMM) ne stocke plus les données de diagnostic dans le seau d'essai IBM Managed par défaut (wxd-system). Pour stocker les données de diagnostic, vous devez désormais utiliser un type de stockage pris en charge par QHMM. Pour plus d'informations sur l'utilisation de votre propre stockage, voir Configuration de la surveillance des requêtes.

  • Vous pouvez maintenant vérifier l'état de l'optimisation de la requête en contrôlant le paramètre 'wxdQueryOptimized dans le fichier JSON. Pour plus d'informations, voir Exécuter des requêtes à partir de l'interface de programmation Presto(C++)ou de l'espace de travail Query.

Amélioration des sources de données

Cette version inclut les sources de données et les améliorations de stockage suivantes :

  • La fonction de connexion de test est désormais disponible pour les sources de données suivantes :

    • Apache Pinot
    • Cassandra
    • Prometheus

  • Une nouvelle source de données SAP HANA est maintenant disponible. Vous pouvez utiliser le gestionnaire de pilotes sous la page Configurations pour gérer les pilotes de la source de données SAP HANA. Chacun de ces conducteurs est soumis à une série de validations.

Plan Lite

Pour améliorer la convivialité, les catalogues de systèmes (cmx et system) sont désormais cachés pour les utilisateurs du plan Lite. L'instance du plan Lite avec le moteur Presto (C++) comprend 'tpch comme catalogue de benchmarking et l'instance avec le moteur PrestoJava) comprend 'tpch et 'tpcds comme catalogues de benchmarking.

Fonctions obsolètes

Les fonctionnalités suivantes sont obsolètes dans cette version :

  • La fonctionnalité de l'API REST permettant de capturer les changements DDL dans watsonx.data par le biais d'un écouteur d'événements est obsolète dans cette version et sera supprimée de watsonx.data avec la sortie de la version 2.1

  • La prise en charge du moteur d'exécution Apache Spark 3.3 est obsolète. Vous devez passer à Spark 3.4 Pour mettre à jour la version d'Apache Spark, voir Modifier les détails du moteur Spark.

25 septembre 2024 - Version 2.0.3

Sources de données et amélioration du stockage

Cette version comprend les nouvelles sources de données et les améliorations de stockage suivantes :

  • Vous pouvez désormais activer Azure Data Lake Storage Gen1 Blob et Google Cloud Storage pour Milvus. Pour plus d'informations, voir ADLS Gen1 Blob et Google Cloud Storage.

  • Vous pouvez créer ou ajouter une nouvelle source de données au moteur sans y associer un catalogue. Un catalogue peut être attaché à la source de données à un stade ultérieur.

  • Vous pouvez désormais utiliser le stockage Apache Ozone pour le moteur Presto ( Java ). Pour plus d'informations, voir Apache Ozone.

  • Vous pouvez maintenant configurer la source de données Apache Kafka pour qu'elle utilise le mécanisme d'authentification SCRAM (Salted Challenge Response Authentication Mechanism). Vous pouvez télécharger un certificat auto-signé. Pour plus d'informations, voir Apache Kafka.

Améliorations de l'intégration

Cette version de watsonx.data introduit les intégrations nouvelles ou améliorées suivantes avec d'autres services :

  • Vous pouvez désormais intégrer watsonx.data avec data build tool (dbt) pour le moteur Spark pour la transformation de données sur place dans watsonx.data. Pour plus d'informations, voir A propos de l'intégration dbt.

  • Vous pouvez intégrer watsonx.data avec Databand. Cette intégration peut améliorer les capacités de surveillance en fournissant des informations qui vont au-delà de l' Spark UI et de l'historique Spark. Pour plus d'informations, voir Surveiller l'exécution des applications Spark à l'aide de Databand.

  • Vous pouvez intégrer watsonx.data avec les outils de visualisation de Business Intelligence (BI) suivants pour accéder aux sources de données connectées et créer des visualisations de données interactives et convaincantes :

    • Tableau
    • Looker
    • Domo
    • Qlik
    • PowerBI

    Pour plus d'informations, voir A propos des outils de visualisation BI.

Amélioration des moteurs et des services

Cette version de watsonx.data apporte les améliorations suivantes au moteur et au service :

  • Les tables Iceberg sont prises en charge par Query Optimizer. Pour plus d'informations, voir Optimiseur de requêtes.

  • Vous pouvez maintenant utiliser l'adaptateur de l'outil de construction de données (dbt-watsonx-presto) pour construire, tester et documenter les modèles de données pour le moteur Presto (Java). Pour plus d'informations, voir dbt-watsonx-presto.

  • Une nouvelle propriété de personnalisation (file-column-names-read-as-lower-case) est désormais disponible pour le moteur Presto (C++) afin d'éviter les incohérences entre les majuscules et les minuscules dans les noms de colonnes. Pour plus d'informations, voir Propriétés du catalogue pour Presto(C++).

Amélioration de la gestion de l'accès

Cette version de watsonx.data introduit les améliorations suivantes en matière de gestion de l'accès :

  • Vous pouvez maintenant ajouter des utilisateurs et des groupes d'utilisateurs pour définir les règles de la politique des données. Pour plus d'informations, voir Politique des données.

  • Les administrateurs peuvent désormais sélectionner les catalogues TPCDS et TPCH pour créer des politiques de contrôle d'accès. La sélection est la seule opération autorisée pour définir des règles avec ces catalogues. Pour définir les politiques de données, voir Politique de données.

  • Les administrateurs peuvent désormais modifier la configuration du groupe de ressources après l'avoir créé. Pour plus d'informations, voir Configuration des groupes de ressources Presto.

Politiques de gouvernance d'IBM Knowledge Catalog pour les sources de données

Vous pouvez maintenant appliquer des politiques de gouvernance IBM Knowledge Catalog aux sources de données suivantes dans Presto:

  • Oracle
  • PostgreSQL
  • MySQL
  • SQL Server
  • Db2
Amélioration de l'ingestion

Cette version de watsonx.data inclut les améliorations suivantes au flux de travail d'ingestion :

Plan Lite

Vous pouvez provisionner votre instance de plan Lite en fonction des trois cas d'utilisation suivants. Sélectionnez un cas d'utilisation dans la liste pour continuer :

  • IA générative : cette option vous permet d'explorer les cas d'utilisation de l'IA générative. L'instance provisionnée comprend Presto, Milvus et Spark.
  • High Performance BI : Cette option vous permet d'explorer les fonctionnalités de visualisation de la BI. L'instance provisionnée comprend Presto (C++) et Spark.
  • Charges de travail d'ingénierie des données : vous pouvez utiliser les charges de travail d'ingénierie des données pour explorer divers cas d'utilisation basés sur les charges de travail. L'instance provisionnée comprend Presto (Java) et Spark.

Pour plus d'informations, voir Plan allégé.

27 août 2024 - Version 2.0.2

Sources de données et amélioration du stockage

Cette version comprend les nouvelles sources de données et les améliorations de stockage suivantes :

  • Content Aware Storage (CAS) est désormais appelé Data Access Service (DAS).

  • Apache Hive est mis à niveau vers la version 4.0.0.

  • Vous pouvez maintenant visualiser le point de terminaison DAS à partir de la page Détails du stockage. Pour plus d'informations, voir Exploration des objets de stockage.

Améliorations de l'intégration

Cette version de watsonx.data introduit les intégrations nouvelles ou améliorées suivantes avec d'autres services :

  • Vous pouvez maintenant utiliser les capacités de gouvernance de IBM Knowledge Catalog pour les vues SQL au sein de la plateforme watsonx.data. Pour plus d'informations, voir Intégration avec IBM Knowledge Catalog(IKC).

  • IBM watsonx.data prend désormais en charge Apache les politiques Ranger pour régir les données avec des moteurs Presto (C++). Pour plus d'informations, voir Apache Politique des gardes forestiers.

Amélioration des moteurs et des services

Cette version de watsonx.data apporte les améliorations suivantes au moteur et au service :

  • Les administrateurs d'instances peuvent désormais configurer des groupes de ressources dans Presto. Pour plus d'informations, voir Groupes de ressources.

  • Vous pouvez désormais utiliser une API pour exécuter des requêtes et récupérer des résultats. Pour plus d'informations, voir API.

  • Vous pouvez désormais configurer ou modifier le niveau de journalisation de Presto (Java) par le biais de la personnalisation de l'API. Pour plus d'informations, API.

  • Vous pouvez désormais générer des statistiques sur les colonnes NDV (Number of Distinct Values) avec la procédure Iceberg Spark Analyze afin d'améliorer l'Optimiseur basé sur les coûts (CBO) de Spark pour une meilleure planification des requêtes.

  • Vous pouvez désormais utiliser l'option de source de données personnalisée pour vous connecter aux connecteurs Black Hole et Local File pour le moteur Presto (Java). Pour plus d'informations, voir Source de données personnalisée.

  • Vous pouvez maintenant générer des snippets JSON pour le moteur Presto et le service Milvus. Vous pouvez le copier/coller sur le watsonx.data Presto et Milvus connector UI dans IBM Cloud Pak for Data et watsonx pour simplifier la création de la connexion. Pour plus d'informations, voir L'obtention d'informations sur la connexion.

Amélioration de la gestion de l'accès

Cette version de watsonx.data introduit les améliorations suivantes en matière de gestion de l'accès :

Amélioration de l'ingestion

Cette version de watsonx.data apporte les améliorations suivantes en matière d'ingestion :

01 août 2024 - Version 2.0.1

Sources de données

  • Vous pouvez désormais vous connecter aux sources de données Db2 en utilisant la clé API IBM comme mécanisme d'authentification. Pour plus d'informations, voir IBM Db2.
  • Presto (C++) peut désormais être associé aux sources de données Arrow Flight service. Les opérations en lecture seule sont prises en charge. Les sources de données suivantes Arrow Flight service sont prises en charge :
    • Salesforce
    • MariaDB
    • Greenplum
    • Apache Derby

Pour plus d'informations, voir Arrow Flight service.

  • Les nouvelles bases de données suivantes sont disponibles pour le moteur Presto (Java):

Intégrations

  • Lors de l'intégration de IBM Knowledge Catalog avec IBM watsonx.data, vous pouvez configurer des règles de protection des données pour des lignes individuelles d'une table, permettant aux utilisateurs d'accéder à un sous-ensemble de lignes d'une table. Pour plus d'informations, voir Filtrer les lignes.

  • Vous pouvez maintenant appliquer les politiques suivantes Apache Ranger pour les moteurs Presto (Java):

  • Vous pouvez désormais intégrer IBM watsonx.data avec IBM DataStage sur site. Vous pouvez utiliser le service DataStage pour charger et lire les données de IBM watsonx.data. Pour plus d'informations, Intégration avec DataStage.

Authentification et autorisation

  • L'extension du contrôle d'accès Spark permet d'obtenir des autorisations supplémentaires, ce qui renforce la sécurité au moment de la soumission de la demande. Si vous activez l'extension dans la configuration Spark, seuls les utilisateurs autorisés peuvent accéder et exploiter les catalogues IBM watsonx.data par l'intermédiaire des tâches Spark. Pour plus d'informations, voir Améliorer la soumission d'une application Spark à l'aide de l'extension de contrôle d'accès Spark.

  • IBM watsonx.data prend désormais en charge le proxy de stockage d'objets et la signature pour Azure Data Lake Storage et Azure Blob Storage. Pour plus d'informations, voir Utilisation du proxy DAS pour accéder aux buckets compatibles ADLS et ABS.

  • Le protocole LDAP (Lightweight Directory Access Protocol) est désormais disponible pour les sources de données Teradata et Db2. L'utilisateur doit établir cette configuration au niveau du serveur. Pour Teradata, choisissez explicitement le type de mécanisme d'authentification LDAP dans l'interface utilisateur. Pour plus d'informations, Teradata.

Le proxy DAS pour accéder aux compartiments ADLS et ABS et les améliorations LDAP sont disponibles en avant-première technique dans la version 2.0.1.

  • Milvus prend désormais en charge l'isolation des utilisateurs au niveau de la partition. Les administrateurs peuvent autoriser des actions spécifiques des utilisateurs sur les partitions. Pour plus d'informations, voir Service(Milvus).

Stockage

  • Vous pouvez maintenant ajouter le stockage suivant au moteur Presto (Java) dans IBM watsonx.data:
    • Azure Stockage de lac de données Gen2
    • Azure Lac de données Stockage Gen1 Blob

Pour plus d'informations, voir Azure Data Lake Storage Gen2 et Azure Data Lake Storage Gen1 Blob.

  • Vous pouvez modifier la clé d'accès et la clé secrète d'un seau enregistré par l'utilisateur pour un stockage. Cette fonctionnalité ne s'applique pas aux buckets par défaut, à ADLS ou à Google Cloud Storage. Cette fonction ne peut être utilisée que si les nouvelles informations d'identification passent avec succès le test de connexion.

Moteurs

  • Vous pouvez désormais utiliser les instructions de colonne ALTER TABLE ADD, DROP et RENAME pour la source de données MongoDB.
  • Vous pouvez maintenant configurer la façon dont Presto gère les types de données non pris en charge. Pour plus d'informations, voir ignore-unsupported-datatypes.

Catalogues

  • Vous pouvez désormais associer et dissocier des catalogues à un moteur en masse via l'interface utilisateur sous Gérer les associations dans la page Gestionnaire d'infrastructure.

Personnalisation et propriétés de l'API

Gestionnaire d'infrastructure

  • Vous pouvez utiliser la fonction de recherche pour les valeurs suivantes sur la page du gestionnaire d'infrastructure :
    • nom de base de données
    • nom d'hôte enregistré
    • créé par le nom d'utilisateur
  • Vous pouvez désormais utiliser l'interrupteur à bascule "Ne pas déranger" dans la section Notifications, sous l'icône de la cloche, pour activer ou désactiver les notifications contextuelles.
  • Vous trouverez les informations de connectivité sous la tuile Informations de connexion de la page Configurations. Ces informations peuvent être copiées et téléchargées dans un extrait JSON.

Espace de travail pour les requêtes

  • Vous pouvez exécuter des requêtes sur toutes les tables d'un schéma par l'intermédiaire de l'espace de travail de requête SQL sans spécifier le chemin d'accès <catalog>.<schema> en sélectionnant les catalogues et schémas requis dans la nouvelle liste déroulante. Pour plus d'informations, Exécuter des requêtes SQL.

watsonx.data plans tarifaires

  • Vous pouvez maintenant supprimer l'instance existante du plan Lite avant d'atteindre la limite de 2000 UR du compte, et créer une nouvelle instance et consommer les unités de ressources restantes disponibles dans le compte. Pour plus d'informations, voir watsonx.data Lite plan.

03 juillet 2024 - Version2.0.0

Nouveaux types de données pour les sources de données

Les nouveaux types de données suivants sont désormais disponibles pour certaines sources de données. Vous pouvez accéder à ces types de données sur le Gestionnaire de données page sous le Ajouter une colonne option.

  • BLOB

    • Db2
    • Teradata
    • Oracle
    • MySQL
    • SingleStore

  • CLOB

    • Db2
    • Teradata
    • Oracle

  • BINARY

    • SQL Server
    • MySQL

Étant donné que le type de données numérique n'est pas pris en charge danswatsonx.data, vous pouvez utiliser le type de données décimal comme alternative équivalente au type de données numérique pourNetezza la source de données.

Vous pouvez désormais utiliser les types de données BLOB et CLOB avec l'instruction SELECT dans l'espace de travail Requête pour créer et exécuter des requêtes sur vos données pourOracle etSingleStore les sources de données.

Vous pouvez désormais utiliser les types de données BLOB et CLOB pourMySQL etPostgreSQL sources de données comme équivalents à LONGTEXT, BYTEA et TEXT car ces types de données ne sont pas compatibles avecPresto (Java ). Ces types de données sont mappés à CLOB et BLOB dansPresto (Java ) si les sources de données contiennent des tables existantes avec les types de données LONGTEXT, TEXT et BYTEA.

  • MySQL (CLOB comme équivalent à LONGTEXT)
  • PostgreSQL (CLOB comme équivalent à TEXT)
  • PostgreSQL (BLOB équivalent à BYTEA)
  • Netezza (décimal comme équivalent au numérique)
  • Oracle (BLOB et CLOB avec l'instruction SELECT)
  • SingleStore (BLOB et CLOB avec l'instruction SELECT)

Nouvelles opérations pour la source Db2 de données

Vous pouvez effectuer les opérations suivantes pour les types de données BLOB et CLOB pourDb2 la source de données:

  • INSER
  • CREER
  • ETC
  • ALTER
  • DROP

Nouvelles sources de données Arrow Flight service basées sur

Vous pouvez désormais utiliser les sources de données suivantes avec Arrow Flight service:

  • Greenplum
  • Salesforce
  • MariaDB
  • Apache Derby

Pour plus d'informations, voir Arrow Flight service.

Nouvelles sources de données

Vous pouvez désormais utiliser les sources de données suivantes :

  • Cassandra
  • BigQuery
  • ClickHouse
  • Apache Pinot

Pour plus d'informations, voir Ajout d'un couple base de données-catalogue.

Commande pour récupérer l'historique d'ingestion

Vous pouvez désormais récupérer le statut de tous les travaux d'ingestion soumis à l'aide de la commande ibm-lh get-status--all-jobs Commande CLI. Vous pouvez récupérer le statut de toutes les tâches d'ingestion soumises. Vous obtenez les enregistrements d’historique auxquels vous avez accès. Pour plus d'informations, voir Options et paramètres pris en charge dans l'outil IBM-LH.

Rôles supplémentaires pour l'autorisation IBM Knowledge CatalogS2S (IKC)

Outre l'accès aux données,IBM Knowledge CatalogS2S l'autorisation nécessite un accès aux métadonnées et un accès à l'API de la console pour s'intégrer àwatsonx.data. Les nouveaux rôles suivants sont créés pour la configuration de l'accès au service IKC :

  • Afficheur
  • Visionneuse Metastore

Apache Politiques des gardes forestiers

IBMwatsonx.data prend désormais en chargeApache Politiques Ranger pour permettre l'intégration avecPresto moteurs. Pour plus d'informations, voir Apache Politique des gardes forestiers.

Mise à niveau de version

  • Presto (Java ) le moteur est maintenant mis à niveau vers la version0.286.
  • Le service Milvus est maintenant mis à niveau vers la version 2.4.0 Les fonctionnalités importantes incluent :
    • Meilleures performances (faible utilisation de la mémoire)
    • Prise en charge des données éparses
    • Moteur SPLADE intégré pour l'intégration de vecteurs clairsemés
    • BGEM3 Recherche hybride (dense + clairsemée)

Hive Accès au métastore (HMS) dans watsonx.data

Vous pouvez désormais récupérer les informations de métadonnées pourHive Metastore en utilisant les API REST au lieu d'obtenir les informations des détails du moteur. Les détails du HMS sont utilisés par des entités externes pour s'intégrer àwatsonx.data. Vous devez disposer d'un rôle d'administrateur, d'administrateur Metastore ou de visualiseur Metastore pour exécuter l'API.

Automatisation sémantique pour l'enrichissement des données

L'automatisation sémantique pour l'enrichissement des données exploite l'IA générative avecIBM Knowledge Catalog pour comprendre vos données à un niveau plus approfondi et améliorer les données avec un enrichissement automatisé pour les rendre utiles à l'analyse. L'intégration de la couche sémantique est disponible pour les utilisateurs du plan Lite uniquement en version d'essai de 30 jours. Pour plus d'informations, voir Automatisation sémantique pour l'enrichissement des données danswatsonx.data.

Query Optimizer pour améliorer les performances des requêtes

Vous pouvez désormais utiliser Query Optimizer pour améliorer les performances des requêtes traitées par lePresto (C++). Si Query Optimizer détermine que l'optimisation est réalisable, la requête est réécrite ; sinon, l'optimisation native du moteur est prioritaire. Pour plus d'informations, voir Présentation de l'Optimiseur de requêtes.

Nouveau nom pour Presto moteur dans watsonx.data

Presto est renommé enPresto (Java ).

Nouveau moteur ( Presto C++) dans watsonx.data

Vous pouvez provisionner unPresto (C++) moteur (version0.286 ) danswatsonx.data pour exécuter des requêtes SQL sur votre source de données et récupérer les données interrogées. Pour plus d'informations, voirPresto (C++) aperçu.

Utilisation d'un proxy pour accéder S3 aux S3 compartiments compatibles

Les applications externes et les moteurs de requêtes peuvent accéder auS3 etS3 buckets compatibles gérés parwatsonx.data à travers unS3 Procuration. Pour plus d'informations, voir En utilisantS3 proxy pour accéderS3 etS3 seaux compatibles.

Indicateur de cas mixtes pour le moteur Presto ( Java )

L'indicateur de fonctionnalité de casse mixte, qui permet de basculer entre le comportement sensible à la casse et insensible à la casse dansPresto (Java ), est disponible. L'indicateur est défini sur OFF par défaut et peut être défini sur ON lors du déploiement dewatsonx.data. Pour plus d'informations, voir Presto(Java)mixed-case support overview.

Nouveau type de stockage Google Cloud Storage

Vous pouvez désormais utiliser un nouveau type de stockageGoogle Cloud Storage. Pour plus d'informations, voir Ajout d'une paire stockage-catalogue.

31 mai 2024-Version 1.1.5

Moteur Provision Spark dans le watsonx.data forfait Lite

Vous pouvez désormais ajouter un moteur Spark de petite taille (noeud unique) dans l'instance de plan Lite watsonx.data. Pour plus d'informations, voir watsonx.data Lite plan.

Mises à jour liées à Spark labs

  • Utilisation des blocs-notes Jupyter de Spark labs

: Vous pouvez maintenant installer l'extension Jupyter depuis le VS Code Marketplace dans votre laboratoire Spark et travailler avec les Notebooks Jupyter. Pour plus d'informations, voir Créer des carnets Jupyter.

  • Accéder à l' Spark UI à partir des laboratoires Spark

Vous pouvez désormais accéder à l'interface utilisateur Spark (UI) à partir des laboratoires Spark pour surveiller divers aspects de l'exécution d'une application Spark. Pour plus d'informations, voir Accéder à l' Spark UI à partir des laboratoires Spark.

Nouvelle région à provisionner pour IBM Cloud l'instance

Vous pouvez désormais mettre à disposition votre instance IBM Cloud dans la région de Sydney.

30 avril 2024-Version 1.1.4

Une nouvelle version de watsonx.data a été publiée en avril 2024.

Cette version comprend les fonctionnalités et mises à jour suivantes :

Kerberos authentification pour HDFS les connexions

Vous pouvez désormais activer l'authentification Kerberos pour les connexions Apache Hadoop Distributed File System (HDFS) sécurisées. Pour plus d'informations, voir HDFS.

Nouvelles sources de données

Les nouvelles sources de données suivantes sont désormais disponibles:

  • Oracle
  • Amazon Redshift
  • Informix
  • Prometheus

Pour plus d'informations, voir Sources de données.

Tester les connexions SSL

Vous pouvez désormais tester les connexions SSL pour les sources de données MongoDB et SingleStore.

Téléchargement des fichiers de description pour la source Apache Kafka de données

La source de données Apache Kafka stocke les données sous forme de messages d'octet que les producteurs et les consommateurs doivent interpréter. Pour interroger ces données, les consommateurs doivent d'abord les mapper en colonnes. Vous pouvez maintenant télécharger des fichiers de description de rubrique qui convertissent les données brutes en un format de table. Chaque fichier doit être un fichier JSON contenant une définition pour une table. Pour télécharger ces fichiers JSON à partir de l'interface utilisateur, accédez à la page de présentation de la base de données Apache Kafka que vous avez enregistrée et sélectionnez l'option Ajouter une rubrique. Pour plus d'informations, voir Apache Kafka.

Plans de licence pour watsonx.data

IBM® watsonx.data offre désormais les plans de licence suivants.

  • Plan Lite
  • Plan Enterprise

Pour plus d'informations sur les différents plans de licence, voir Plans de tarificationIBM® watsonx.data.

Presto Mise à niveau de la version du moteur ( Java )

LePresto (Java ) le moteur est maintenant mis à niveau vers la version0.285.1.

Pause ou reprise Milvus

Vous pouvez maintenant interrompre ou reprendre le service Milvus. La mise en pause de votre service peut éviter d'encourir des frais.

Spark est désormais disponible en tant que moteur natif

Outre l'enregistrement de moteurs Spark externes, vous pouvez désormais mettre à disposition un moteur Spark natif sur votre instance IBM watsonx.data. Avec le moteur Spark natif, vous pouvez entièrement gérer la configuration de Spark Engine, gérer l'accès aux moteurs Spark et afficher les applications à l'aide de l'interface utilisateur watsonx.data et des noeuds finaux d'API REST. Pour plus d'informations, voir Mise à disposition du moteur Spark natif.

Ingestion de données à l'aide de moteurs Spark natifs

Vous pouvez désormais soumettre des travaux d'ingestion à l'aide de moteurs Spark natifs. Pour plus d'informations, voir Travailler avec différents formats de tableaux.

27 mars 2024-Version 1.1.3

Une nouvelle version de watsonx.data a été publiée en mars 2024.

Cette version comprend les fonctionnalités et mises à jour suivantes :

Nouveau type de données pour certaines sources de données

Vous pouvez désormais utiliser le type de données BINARY avec l'instruction SELECT dans l'espace de travail Requête pour générer et exécuter des requêtes sur vos données pour les sources de données suivantes:

  • Elasticsearch
  • SQL Server
  • MySQL

De nouveaux types de données : BLOB et CLOB sont disponibles pour les sources de données MySQL, PostgreSQL, Snowflake, SQL Server, et Db2. Vous pouvez utiliser ces types de données uniquement avec des instructions SELECT dans l'espace de travail Requête pour générer et exécuter des requêtes sur vos données.

Suppression de données à l'aide de la fonction DELETE FROM pour les sources de données Iceberg

Vous pouvez désormais supprimer des données de tables dans des sources de données Iceberg à l'aide de la fonction DELETE FROM.

Vous pouvez spécifier le mode de suppression des propriétés de table pour les nouvelles tables à l'aide du mode de copie sur écriture ou du mode de fusion sur lecture (par défaut).

Instruction ALTER VIEW pour la source de données Iceberg

Vous pouvez désormais utiliser l'instruction SQL suivante dans l'espace de travail Requête pour générer et exécuter des requêtes sur vos données pour ALTER VIEW:

ALTER VIEW nom RENAME TO nouveau_nom

Télécharger les certificats SSL pour les sources Netezza Performance Server de données

Vous pouvez désormais parcourir et télécharger le certificat SSL pour les connexions SSL dans les sources de données Netezza Performance Server. Les formats de fichier valides pour le certificat SSL sont .pem, .crt et .cer. Vous pouvez télécharger des certificats SSL à l'aide de l'option Ajout d'une paire base de données-catalogue dans le gestionnaire d'infrastructure.

Requête de données à partir de Db2 et Watson Query

Vous pouvez désormais interroger les pseudonymes créés dans Db2 et les tables virtualisées à partir des instances Watson Query.

Connexion SSL pour source IBMData Virtualization Manager for z/OS de données

Vous pouvez désormais activer la connexion SSL pour la source de données IBM Data Virtualization Manager for z/OS à l'aide de l'interface utilisateur Ajouter une base de données pour sécuriser et chiffrer la connexion à la base de données. Sélectionnez Valider le certificat pour vérifier si le certificat SSL renvoyé par l'hôte est digne de confiance. Vous pouvez choisir de fournir le nom d'hôte dans le certificat SSL.

Utiliser les données du Apache Hudi catalogue

Vous pouvez désormais vous connecter au catalogue Apache Hudi et utiliser les données qu'il contient.

Ajouter Milvus comme service dans watsonx.data

Vous pouvez désormais fournir Milvus en tant que service dans watsonx.data avec les caractéristiques suivantes :

  • Mettez à disposition différentes variantes de stockage, telles que des noeuds de démarrage, de taille moyenne et de grande taille.

  • Attribuer des rôles d'administrateur ou d'utilisateur aux utilisateurs de Milvus: La politique d'accès des utilisateurs est désormais disponible pour les utilisateurs Milvus. L'interface utilisateur de contrôle d'accès permet d'attribuer des rôles d'administrateur ou d'utilisateur aux utilisateurs Milvus et d'accorder, de révoquer ou de mettre à jour les privilèges.

  • Configurer le stockage d'objets pour que Milvus puisse stocker des données. Vous pouvez ajouter ou configurer un seau personnalisé et spécifier le nom d'utilisateur, le mot de passe, la région et l' URL seau.

Pour plus d'informations, voir Milvus.

Charger des données dans un lot à l'aide de l'outil d'ingestion ibm-lh

Vous pouvez désormais utiliser l'outil d'ingestion ibm-lh pour exécuter des procédures d'ingestion par lots en mode non interactif (en dehors du conteneur ibm-lh-tools), à l'aide du package ibm-lh-client. Pour plus d'informations, voir Commandes ibm-lh et utilisation.

Création d'un schéma à l'aide de l'ingestion en bloc dans la console Web

Vous pouvez maintenant créer un schéma à l'aide du processus d'ingestion en bloc dans la console Web, si le schéma n'a pas été créé précédemment.

Utilisez les requêtes de voyage dans le temps dans Apache Iceberg les tables

Vous pouvez désormais exécuter les requêtes de voyage dans le temps suivantes en utilisant des branches et des balises dans les instantanés de table de Apache Iceberg:

-SELECT *FROM <table name> FOR VERSION AS OF'balise-historique'

-SELECT *FROM <table name> FOR VERSION AS OF'branche-test'

Accéder à Cloud Object Storage sans identifiants Vous pouvez désormais accéder à votre panier Cloud Object Storage sans identifiants, en utilisant le point de terminaison Data Access Service (DAS).

28 février 2024-Version 1.1.2

Une nouvelle version de watsonx.data a été publiée en février 2024.

Cette version comprend les fonctionnalités et mises à jour suivantes :

Connexion SSL pour les sources de données

Vous pouvez désormais activer la connexion SSL pour les sources de données suivantes à l'aide de l'interface utilisateur Ajouter une base de données pour sécuriser et chiffrer la connexion à la base de données.

  • Db2

  • PostgreSQL

Pour plus d'informations, voir Ajout d'une base de données.

Historique des travaux d'ingestion sécurisée

Désormais, les utilisateurs ne peuvent afficher que leur propre historique de travail d'ingestion. Les administrateurs peuvent afficher l'historique des travaux d'ingestion pour tous les utilisateurs.

Améliorations SQL

Vous pouvez désormais utiliser les instructions SQL suivantes dans l'espace de travail Requête pour générer et exécuter des requêtes sur vos données:

  • Apache Iceberg les sources de données
    • CREER VUE
    • SUPPRIMER VUE
  • Sources de données MongoDB
    • SUPPRIMER

Nouveaux types de données BLOB et CLOB pour la source Teradata de données

De nouveaux types de données BLOB et CLOB sont disponibles pour la source de données Teradata. Vous pouvez utiliser ces types de données uniquement avec des instructions SELECT dans l'espace de travail Requête pour générer et exécuter des requêtes sur vos données.

Créer une table lors de l'ingestion de données

Auparavant, vous deviez disposer d'une table cible dans watsonx.data pour ingérer des données. Vous pouvez maintenant créer une nouvelle table directement à partir du fichier de données source (disponible au format parquet ou CSV) en utilisant l'ingestion de données à partir du Gestionnaire de données. Vous pouvez créer la table à l'aide des méthodes d'ingestion suivantes:

  • Ingestion de données à l'aide du chargeur de copie Iceberg.

  • Ingestion de données à l'aide de Spark.

Exécution d'opérations ALTER TABLE sur une colonne

Avec une source de données Iceberg, vous pouvez désormais effectuer des opérations ALTER TABLE sur une colonne pour les conversions de type de données suivantes:

  • int à bigint

  • variable flottante en double

  • décimal (num1, dec_digits) à décimal (num2, dec_digits), où num2>num1.

Amélioration des performances des requêtes à l'aide de fichiers triés

Avec une source de données Apache Iceberg, vous pouvez générer des fichiers triés, ce qui réduit la latence des résultats de la requête et améliore les performances de Presto ( Java ). Les données de la table Iceberg sont triées lors du processus d'écriture dans chaque fichier.

Vous pouvez configurer l'ordre de tri des données à l'aide de la propriété de table sorted_by. Lorsque vous créez la table, spécifiez un tableau d'une ou de plusieurs colonnes impliquées dans le tri. Pour désactiver la fonction, définissez la propriété de session sorted_writing_enabled sur false.

31 janvier 2024-Version 1.1.1

Une nouvelle version de watsonx.data a été publiée en janvier 2024.

Cette version comprend les fonctionnalités et mises à jour suivantes :

Data Virtualization Manager for z/OS®IBM connecteur

Vous pouvez désormais utiliser le nouveau connecteur IBM Data Virtualization Manager for z/OS® pour lire et écrire IBM Z® sans déplacer, répliquer ou transformer les données. Pour plus d'informations, voir Connexion à une source de données IBM Data Virtualization Manager(DVM).

Teradata Le connecteur est activé pour plusieurs ALTER TABLE instructions.

Le connecteur Teradata prend désormais en charge les instructions ALTER TABLE RENAME TO, ALTER TABLE DROP COLUMN et ALTER TABLE RENAME COLUMN column_name TO new_column_name.

Prise en charge des requêtes de déplacement temporel

Connecteur Iceberg pourPresto (Java ) prend désormais en charge les requêtes de voyage dans le temps.

La propriété format_version affiche maintenant la version en cours

La propriété format_version affiche désormais la valeur correcte (version actuelle) lorsque vous créez une table Iceberg.

29 novembre 2023-Version 1.1.0

Une nouvelle version de watsonx.data a été publiée en novembre 2023.

Cette version comprend les fonctionnalités et mises à jour suivantes :

Presto Comportement sensible à la casse ( Java )

LePresto (Java ) le comportement passe d'insensible à la casse à sensible à la casse. Vous pouvez maintenant fournir les noms d'objet dans le format de casse d'origine comme dans la base de données. Pour plus d'informations, voir Configuration de recherche sensible à la casse avecPresto(Java).

Fonction d'annulation

Vous pouvez utiliser la fonction d'annulation pour annuler ou récupérer en aval des images instantanées pour les tables Iceberg.

Capture des modifications du langage de définition de données (DDL)

Vous pouvez désormais capturer et suivre les modifications DDL dans watsonx.data en utilisant un écouteur d'événements.

Ingestion de données à l'aide de Spark

Vous pouvez maintenant utiliser IBM Analytics Engine qui est alimenté par Apache Spark pour exécuter des tâches d'ingestion dans watsonx.data.

Pour plus d'informations, voir Ingesting data by using Spark.

Intégration avec Db2 et Netezza Performance Server

Vous pouvez désormais enregistrer des moteurs Db2 ou Netezza Performance Server dans la console watsonx.data.

Pour plus d'informations, voir Enregistrement d'un moteur.

Nouveaux connecteurs

Vous pouvez désormais utiliser des connecteurs dans watsonx.data pour établir des connexions aux types de base de données suivants:

  • Teradata
  • Delta Lake
  • Elasticsearch
  • SingleStoreDB
  • Snowflake

Pour plus d'informations, voir Ajout d'une base de données.

AWS EMR pour Spark

Vous pouvez désormais exécuter des applications Spark à partir d' Amazon Web Services Elastic MapReduce (AWS EMR) pour obtenir les cas d'utilisation Spark watsonx.data:

  • Ingestion de données
  • Requête de données
  • Maintenance de la table

Pour plus d'informations, voir Utilisation du cas d'utilisation AWS EMR for Spark.

7 juillet 2023-Version 1.0.0

watsonx.data est une nouvelle architecture ouverte qui combine les éléments des modèles d'entrepôt de données et de lac de données. Les meilleures fonctionnalités et optimisations disponibles sur watsonx.data en font un choix optimal pour l'analyse et l'automatisation des données de nouvelle génération. Dans la première édition (watsonx.data 1.0.0), les fonctions suivantes sont prises en charge:

  • Création, mise à l'échelle, pause, reprise et suppression duPresto (Java ) moteur de requête
  • Association et dissociation d'un catalogue avec un moteur
  • Exploration des objets de catalogue
  • Ajout et suppression d'une paire base de données-catalogue
  • Mise à jour des données d'identification
  • Ajout et suppression d'une paire compartiment-catalogue
  • Exploration des objets de compartiment
  • Chargement des données
  • exploration des données
  • Interrogation des données
  • Historique des requêtes