Notas del release para watsonx.data

Utilice estas notas de release para obtener información sobre las últimas actualizaciones de IBM® watsonx.data, agrupadas por fecha.

Para conocer las novedades watsonx.data como servicio en IBM Cloud con experiencia gen AI, consulte Notas de la versión de watsonx.data como servicio en IBM Cloud con experiencia gen AI.

Para conocer las novedades de watsonx.data on-prem, consulte las notas de la versión de watsonx.data.

Para conocer las novedades watsonx.data Premium de la edición local, consulte las notas de la versión para Premium local.

Previsualización de funciones tecnológicas: También ofrecemos una sección de avances tecnológicos que incluye funciones actualmente en fase de avance. Estas características no están disponibles de forma general y pueden cambiar antes de su lanzamiento. Para ver las notas de la versión de los elementos de previsualización tecnológica, consulte Previsualización tecnológica.

10 de diciembre de 2025 - Versión 2.3

Mejoras en el aprovisionamiento de instancias

Esta versión de watsonx.data introduce las siguientes mejoras:

Ahora puede aprovisionar watsonx.data instancias con Virtual Private Endpoint (VPE) habilitado en las siguientes regiones nuevas: Dallas (us-south), Washington DC (us-east) y Fráncfort (eu-de). Para habilitar VPE durante el aprovisionamiento, añada el parámetro "vpe_required":"true" al comando CLI. Para obtener información sobre cómo aprovisionar una instancia habilitada para VPE, consulte Aprovisionamiento de una instancia habilitada para Virtual Private Endpoint(VPE).

Fuentes de datos y mejoras de almacenamiento

Esta versión de watsonx.data introduce las siguientes fuentes de datos y mejoras de almacenamiento:

  • Ahora puede aplicar políticas IBM Knowledge Catalog de gobernanza a la fuente de datos. MongoDB Para más información, consulte Conexión a IBM Knowledge Catalog(IKC).

  • Ahora puede asociar Azure Data Lake Storage Gen2 con Presto (C++) mediante ServicePrincipal autenticación.

  • Ahora puede asociar varios catálogos de tipo Iceberg con un único depósito o contenedor de almacenamiento de objetos. Cada catálogo debe configurarse con una ruta base única y sin solapamientos en el almacenamiento para garantizar el aislamiento adecuado de los datos.

    Por ejemplo:

    • Catalog1 puede estar asociado con s3a://mybucket/foo/bar
    • Catalog2 puede estar asociado con s3a://mybucket/lorem/ipsum

    Esta mejora facilita la separación lógica de los datos dentro del mismo almacenamiento y su reutilización en varios catálogos, lo que mejora la flexibilidad y la organización. Este comportamiento se aplica a todas las nuevas instancias del plan Lite, que ahora tienen alcance de cuenta. Para obtener más información, consulte Añadir varios Apache Iceberg catálogos a un único almacenamiento.

    Esta función solo está disponible para instancias watsonx.data Lite. Anteriormente, cada depósito o contenedor de almacenamiento de objetos solo podía vincularse a un único catálogo.

Mejoras en el motor y el servicio

Esta versión de watsonx.data introduce las siguientes mejoras en el motor y los servicios:

  • Prestissimo ahora ofrece un rendimiento mejorado al escribir Apache Iceberg tablas en comparación con otras Java implementaciones. Las siguientes capacidades están disponibles:

    • Compatibilidad con tablas particionadas: Prestissimo escribe en tablas Iceberg particionadas y aplica transformaciones de particiones de manera eficiente mediante la evaluación por lotes. Admite identidad, transformaciones temporales (año, mes, día, hora), bucket y truncate, y genera rutas de directorio de particiones compatibles con Iceberg.
    • Recopilación de estadísticas de archivos de datos: durante las operaciones de escritura, Prestissimo recopila y envía estadísticas esenciales de archivos de datos a los archivos de manifiesto de Iceberg, incluyendo el recuento de registros, el tamaño de los archivos y los detalles de las particiones.
    • Compatibilidad con la escritura de tablas ordenadas: Prestissimo admite la escritura de tablas Iceberg ordenadas para permitir un rendimiento optimizado de las consultas en cargas de trabajo que se benefician de los datos ordenados.

  • Spark sin servidor con capacidad flexible para el plan Enterprise

    Capacidad bajo demanda

    • En el plan watsonx.data Enterprise, el motor Spark admite un modelo sin servidor, al tiempo que ofrece la flexibilidad de asignar capacidad dedicada cuando sea necesario.
    • La ejecución de trabajos Spark en una plataforma sin servidor elimina la necesidad de nodos dedicados para cada motor Spark.
    • El entorno Spark sin servidor proporciona un grupo compartido de nodos con una cuota máxima de recursos de 8 vCPUs y 32 GB de memoria.

    Este comportamiento se aplica a todas las nuevas watsonx.data instancias, que ahora tienen un alcance de cuenta.

    Capacidad dedicada

    • Para cargas de trabajo que requieren mayor capacidad, puede aprovisionar nodos dedicados con configuraciones de memoria personalizables. Para obtener más información sobre las capacidades sin servidor y bajo demanda, consulte Gestión de la capacidad de Spark.
    • El proceso de creación de Spark Engine ahora se ha simplificado, ya que solo se centra en los detalles esenciales (nombre del motor, versión de Spark, bucket de origen y catálogos asociados), mientras que las tareas de reserva de capacidad se han trasladado a una nueva pestaña de Gestión de capacidad en la página de detalles del motor. Esta actualización elimina la configuración de capacidad del flujo de creación, lo que agiliza y simplifica la configuración del motor.
    • Después de crear un motor, puede gestionar los tipos de máquinas virtuales, configurar grupos de nodos y establecer umbrales de respaldo bajo demanda en la pestaña Capacidad.

    Este comportamiento se aplica a todas las nuevas watsonx.data instancias, que ahora tienen un alcance de cuenta.

    La cuota máxima de recursos para el plan Enterprise es de 256 vCPUs y 1024 GB de memoria. Para aumentar este límite, debe ponerse en contacto con IBM soporte técnico.

    Para obtener más información sobre las capacidades sin servidor y bajo demanda, consulte Gestión de la capacidad de Spark.

Persistencia de componentes a nivel de cuenta para instancias del plan Lite

Ahora puede conservar componentes a nivel de cuenta, como catálogos, bases de datos, depósitos y sus propiedades de metadatos, independientemente de las instancias individuales. Cuando se elimina una instancia, estos componentes siguen estando accesibles desde cualquier otra instancia dentro de la misma cuenta y región. Este comportamiento se aplica a todas las nuevas instancias del plan Lite, que ahora tienen alcance de cuenta.

Reutilización del nombre del esquema en los catálogos Iceberg para la instancia Lite Plan

Anteriormente, al hacer referencia a una tabla utilizando un nombre de tres partes (<catalog>.<schema>.<table>), los nombres de esquema tenían que ser únicos en todos los catálogos dentro de una watsonx.data instancia. Esta restricción impedía la creación de esquemas con el mismo nombre en diferentes catálogos. Esta limitación no se aplica a los catálogos Iceberg. Ahora puede reutilizar nombres de esquemas en varios catálogos de Iceberg. Por ejemplo:

  • myiceberg_catalog1.abcschema.mytable
  • myiceberg_catalog2.abcschema.mytable

Este comportamiento se aplica a todas las nuevas instancias del plan Lite, que ahora tienen alcance de cuenta.

Los nombres de los esquemas deben seguir siendo únicos en otros tipos de catálogos, Hive como Delta y Hudi.

Mejoras en la gestión de accesos

Esta versión de watsonx.data introduce las siguientes mejoras en la gestión de accesos:

  • Los administradores pueden crear políticas de restricción basadas en el contexto y definir direcciones IP de confianza. Ahora puede configurar direcciones IP de confianza para habilitar el acceso seguro a watsonx.data (UI y API) para usuarios designados. Esta función añade una capa adicional de protección al garantizar que solo el tráfico procedente de direcciones IP aprobadas pueda acceder a la interfaz de usuario y a la API. Se bloqueará cualquier intento de acceso watsonx.data desde direcciones IP fuera del rango definido. Para obtener más información, consulte Proteger el acceso a la interfaz de usuario con controles basados en IP.

  • Ahora hay disponible un nuevo CPG ligero como complemento descargable, lo que permite una integración perfecta con cualquier motor de políticas (por ejemplo, ApacheIBM Knowledge Catalog Ranger, Collibra). Para obtener más información, consulte Conector de puerta de enlace de políticas comunes(CPG).

Mejoras en la facturación

Esta versión de watsonx.data introduce las siguientes mejoras en la función de facturación:

  • La medición de watsonx.data componentes ahora funciona en el nivel de tiempo de ejecución, capturando eventos de inicio, parada y pausa para cada tiempo de ejecución vinculado a un motor. Proporciona una visibilidad clara del consumo del motor y del uso de los recursos. Para motores como Presto, esto sigue siendo una correspondencia uno a uno, mientras que Spark introduce múltiples subtipos de tiempo de ejecución (por ejemplo, Kernel, HistoryServer, Application), cada uno de los cuales se rastrea individualmente para las horas activas e inactivas. La interfaz de usuario reflejará estos cambios mostrando barras de actividad a nivel de tiempo de ejecución y enlaces al historial de eventos correspondientes a cada tiempo de ejecución, lo que garantizará claridad y precisión. Para obtener más información, consulte Medición y experiencia de uso. Este comportamiento se aplica a todas las nuevas watsonx.data instancias, que ahora tienen un alcance de cuenta.
Mejoras en el plan Lite:

Esta versión watsonx.data introduce las siguientes mejoras en el plan Lite:

El aprovisionamiento del plan Lite en ahora watsonx.data se ha simplificado al eliminar la compatibilidad con múltiples casos de uso. Todas las nuevas instancias se aprovisionan con el caso de uso Generative AI predeterminado. Los casos de uso de Power BI ingeniería de datos y ya no están disponibles. El método de aprovisionamiento CLI ahora solo permite el caso de uso Generative AI predeterminado, lo que garantiza una experiencia coherente y optimizada.

OpenTelemetry mejora

Esta versión de watsonx.data introduce las siguientes mejoras en la observabilidad y supervisión del Presto motor ( Java ).

  • Ahora puede integrarse OpenTelemetry con Presto ( Java ) motor para supervisar la ejecución de consultas y el rendimiento del sistema. OpenTelemetry permite capturar datos de telemetría, como trazas y métricas, que se pueden visualizar y analizar utilizando herramientas como Instana, Prometheus y Grafana. Para obtener más información, consulte OpenTelemetry.

  • Nuevos paneles de control Grafana Instana y : ahora puede utilizar los paneles de control Grafana Instana y para supervisar el rendimiento y obtener una visión más completa del estado y el rendimiento del sistema. Para obtener más información, consulte Paneles de control compatibles.

Mejora del optimizador de consultas

Esta versión introduce la siguiente watsonx.data mejora en el optimizador de consultas.

  • El tiempo de espera predeterminado para la reescritura de consultas del optimizador de consultas ahora se puede configurar. A partir de la versión 2.3, puede cambiar este valor de tiempo de espera utilizando la API PATCH actualizando la propiedad optplus.query-timeout-seconds. Para obtener más información, consulte Actualización del tiempo de espera de reescritura de consultas para el optimizador de consultas.

  • Compatibilidad con Hive y registro de metastore Iceberg en Query Optimizer para instancias Lite de watsonx.data.

    El optimizador de consultas admite distintos tipos de metastore para los catálogos Hive e Iceberg.

    Los usuarios ya pueden registrarse:

    • Hive catálogos que utilizan el tipo de metastore watsonx-data-hive.
    • Catálogos Iceberg que utilizan el tipo de metastore iceberg-rest.

    Esta mejora permite un control más granular y la compatibilidad con arquitecturas de metastore en evolución. El registro se realiza utilizando el REGISTER_EXT_METASTORE procedimiento con sintaxis y propiedades actualizadas.

    A partir de esta versión, la compatibilidad heredada con el tipo de metadatos watsonx-data unificado seguirá estando disponible en la versión Enterprise, pero ya no estará disponible para las instancias Lite. Para obtener más información, consulte Sincronización manual del optimizador de consultas con el metastore.

Ahorro en compatibilidad HTTP con protocolos en el plan watsonx.data Lite

El Servicio de Metadatos (MDS) ahora watsonx.data ejecuta el servicio Thrift a través del HTTP protocolo en lugar del protocolo binario anterior. Este cambio afecta a los puntos finales del servicio y a las configuraciones de conexión.

Cambios clave:

  • El protocolo MDS Thrift (thrift://) se cambia a Thrift Over HTTP (https://).
  • El account_id es obligatorio para todas las llamadas a la API Thrift realizadas al servicio MDS Thrift a través de HTTP.
  • El catalog parámetro de consulta es necesario al invocar API relacionadas con el catálogo Iceberg.

Para Spark y Presto los motores dentro de watsonx.data, estas actualizaciones se aplican automáticamente tanto a los catálogos nuevos como a los migrados. Para motores externos como Spark, Db2, y Netezza, los usuarios deben actualizar manualmente la configuración de conexión para reflejar el nuevo protocolo, puerto y parámetro de consulta.

Mejoras en el servicio de metadatos multitenant (MDS)

Esta versión de watsonx.data introduce las siguientes mejoras en MDS.

  • AccountId Ahora es obligatorio para todas las llamadas directas al servicio REST de MDS (Iceberg Catalog y Unity Catalog). Las solicitudes que no incluyan este encabezado fallarán.
  • El punto final para las operaciones de Iceberg ahora se ha actualizado de /mds/iceberg a /api/v1/iceberg.

Para obtener más información, consulte la documentación de la API.

CPDCTL Mejoras de CLI

Esta versión de watsonx.data introduce las siguientes mejoras en la interfaz de línea de comandos IBM Cloud Pak for Data ( IBM cpdctl):

  • Se ha habilitado la compatibilidad con versiones anteriores para los bucket comandos, engine, service ingestion, component, y en CPDCTL.

A partir de la versión 1.8.85 CPDCTL, estos comandos ahora pueden conectarse a watsonx.data versiones anteriores a la versión 2.2.1, lo que garantiza una integración y compatibilidad más fluidas entre entornos.

  • Una nueva opción en el bucket comando wx-data bucket list-objects enumera los objetos de un bucket añadidos en watsonx.data. Para obtener más información sobre las operaciones relacionadas bucket con comando en watsonx.data, consulte bucket.

  • Ahora hay disponible una bandera --en-apikey oculta como solución alternativa para gestionar los casos extremos en los que la --api-key bandera falla la validación en comandos sparkjob create``tablemaint comandos y. Para obtener más información, consulte Información adicional sobre el uso comando cpdctl wx-data y ejemplos.

Interfaz de chat con tecnología de IA generativa en watsonx.data

Ahora puedes chatear con una interfaz de chat impulsada por IA genérica, watsonx.data Assistant, para hacer preguntas sobre IBM® watsonx.data. El asistente responde a tus preguntas sobre watsonx.data basándose en su conocimiento de la IBM documentación del producto. Ayuda a explorar y conocer el producto de una manera más fácil y rápida. Para habilitar la función y empezar a utilizarla, consulte watsonx.data Asistente: interfaz de genAI chat con tecnología integrada.

Servicio de recuperación

Esta versión de watsonx.data introduce las siguientes mejoras en el servicio de recuperación:

  • Ahora puede configurar el gpt-oss-120b modelo de IA para el servicio de recuperación a nivel de instancia en la watsonx.data consola. Para obtener información sobre cómo configurar el modelo de IA para el servicio de recuperación, consulte Configurar el modelo de IA para el servicio de recuperación.
Mejora de la ingestión

Esta versión de watsonx.data introduce la siguiente mejora en la ingestión:

  • Hay un nuevo botón disponible en el panel de destino de la pantalla de ingestión para controlar el modo de eliminación de las tablas en formato Iceberg ingestadas, con Copy-on-Write (COW) como modo predeterminado. Al cambiar al modo «Merge-on-Read» (Fusionar al leer), se habilita la eliminación a nivel de fila durante la ingestión.
Funciones en desuso

Las siguientes funciones han quedado obsoletas en esta versión:

  • Los nombres de usuario ibmlhapikey y ibmlhtoken utilizados para la autenticación de usuarios se anunciaron como obsoletos a partir de la versión 2.2.0 y se marcaron para su eliminación. Ahora, en 2.3.0 el soporte se ha eliminado por completo.

Para autenticarse, debe utilizar el nuevo formato:

ibmlhapikey_<username>

ibmlhtoken_<username>

Para obtener más información, consulte Gestión de acceso y gobernanza en watsonx.data.

Características del avance tecnológico

Para esta versión, las actualizaciones y mejoras adicionales están disponibles en las funciones de Technology Preview. Para revisar las actualizaciones de la vista previa tecnológica de esta versión, consulte Vista previa tecnológica 2.3.

13 de noviembre de 2025 - Versión 2.2.2 Nueva función 1 ( NF1 )

NF12.2.2watsonx.data La versión se está lanzando por etapas en diferentes regiones geográficas y no está disponible en todas las regiones. Para saber si la 2.2.2NF1 versión está disponible en tu región, ponte en contacto con IBM Soporte técnico.

Características del avance tecnológico
Para esta versión, las actualizaciones y mejoras adicionales están disponibles en las funciones de Technology Preview. Para revisar las actualizaciones de la Technology Preview de esta versión, consulte, Technology preview 2.2.2 NF1.
Funciones en desuso
Los casos de uso de BI de alto rendimiento e ingeniería de datos están obsoletos cuando se crea una instancia de watsonx.data Lite a través de la interfaz de usuario. Puede seguir creando una instancia de watsonx.data Lite con estos casos de uso mediante la CLI. Sin embargo, estos casos de uso se eliminarán de la CLI en la versión 2.3.1.

31 de octubre de 2025 - Versión 2.2.2

Mejoras en el motor y el servicio

Esta versión de watsonx.data introduce las siguientes mejoras en el motor y los servicios:

  • Milvus en watsonx.data admite ahora los siguientes tipos de almacenamiento externo para almacenar datos vectoriales, archivos de índice y registros binarios: Google Cloud Storage (GCS), Azure Data Lake Storage (ADLS) Gen1, y S3-compatible tipos de almacenamiento.
  • Milvus la función de escalado está ahora desactivada para la talla de camiseta Starter. Ya no se puede pasar de la talla de camiseta de inicio Milvus a cualquier otra talla. Tampoco está permitido volver a Starter desde una configuración mayor.
Fuentes de datos y mejoras de almacenamiento

Esta versión de watsonx.data introduce las siguientes fuentes de datos y mejoras de almacenamiento:

  • Ahora puede aplicar las políticas de gobernanza de IBM Knowledge Catalog a la fuente de datos, Teradata. Para más información, consulte Conexión a IBM Knowledge Catalog(IKC).
  • Ahora puede crear un almacenamiento en estado activo sin asociarlo a un catálogo. Esta mejora elimina la necesidad de activación manual.
  • Ahora puede activar y desactivar las funciones ACL en un almacenamiento habilitado para ACL en la vista de topología. Para obtener más información, consulte Desactivación o activación de ACL en un almacenamiento habilitado para ACL.
  • Ahora puede utilizar GlusterFS,, un sistema de archivos distribuido y escalable, como backend de almacenamiento compatible con MinIO. Para obtener más información, consulte Configuración del almacenamiento replicado GlusterFS con MinIO.
  • Ahora puede configurar cualquier almacenamiento de objetos compatible con S3 en watsonx.data utilizando la opción Custom S3 Storage. Para más información, consulte Almacenamiento personalizado S3.
  • Ya puede actualizar las credenciales para Azure Data Lake Storage (ADLS) y Google Cloud Storage.
  • Ahora puede elegir guardar los detalles de conexión en la base de datos de la consola de instancia o en el catálogo predeterminado dentro de la plataforma de datos para las siguientes fuentes de datos:
    • IBM Db2
    • IBM Netezza
    • MySQL
    • Oracle
    • PostgreSQL
    • Snowflake
    • SQL Server
Delta Lake catálogos ahora disponibles con la extensión de control de acceso Spark

Ahora puede utilizar los catálogos de Delta Lake con la extensión de control de acceso de Spark, lo que permite mejorar la seguridad durante el envío de aplicaciones Spark. Esta función aporta una autorización adicional, garantizando que sólo los usuarios autorizados puedan acceder a los catálogos de watsonx.data y utilizarlos a través de los trabajos de Spark. Para obtener más información, consulte Mejorar el envío de aplicaciones Spark mediante la extensión de control de acceso de Spark.

Personalice la carga útil de su aplicación Spark

Al enviar una aplicación Spark en watsonx.data, puede personalizar la carga útil de la aplicación para incluir las siguientes características:

  • Claves de idempotencia: Garantiza que los envíos de solicitudes se procesen una sola vez, incluso en casos de fallos en la comunicación cliente-servidor.
  • Controles de tiempo de ejecución máximo: Define un tiempo máximo de ejecución para las aplicaciones Spark. Si no se especifica el tiempo de espera, los trabajos continúan ejecutándose hasta su finalización, independientemente del tiempo que tarden.

Para más información, consulte Personalización de parámetros para el envío de solicitudes Spark.

Pasarela Política Común (CPG)

El aprovisionamiento del Common Policy Gateway (CPG) es ahora opcional. Puede crear una instancia de watsonx.data sin autoaprovisionamiento de CPG, a menos que se requiera explícitamente un motor de políticas. Con esta función, el aprovisionamiento de CPG es ahora totalmente opcional y reversible. Si se necesita un motor de políticas de cliente como Ranger, o IKC, CPG se puede aprovisionar más tarde. Para obtener más información, consulte Activación o desactivación de motores de puerta de enlace de directivas comunes.

CPDCTL Mejoras de CLI

Esta versión de watsonx.data introduce las siguientes mejoras en la interfaz de línea de comandos IBM Cloud Pak for Data ( IBM cpdctl):

  • Utilice el nuevo grupo de comando access-control para gestionar las políticas de acceso a los recursos en su instancia watsonx.data, incluyendo la visualización, actualización y revocación del acceso para usuarios y grupos. Para más información, véase control de acceso.
Mejoras en el gestor de datos

Ahora los usuarios pueden crear esquemas con rutas personalizadas para ver y sincronizar datos a un nivel más granular. Con esta nueva función, los usuarios pueden sincronizar sólo un directorio específico (por ejemplo, /test1 o /test1/schema1 ) para recuperar las tablas de esa ruta, en lugar de sincronizar todo el catálogo. Esta capacidad de sincronización específica mejora el rendimiento y la precisión en la gestión de datos.

Mejoras en la integración

IBM watsonx.data ahora admite el seguimiento del linaje a nivel de columna para Presto mediante la integración con Manta. Con esta mejora, los usuarios ahora pueden explorar las dependencias detalladas de las columnas, las relaciones y los cambios en los metadatos, lo que permite una visión más profunda de los flujos de datos y mejora la trazabilidad a través de los pipelines.

Funciones en desuso

El paquete IBM Client está obsoleto y la instalación y el soporte del paquete ibm-lh-client no estarán disponibles a partir de la versión 2.3.0 de watsonx.data. Las utilidades y comandos del paquete Cliente se sustituyen por IBM CPDCTL CLI. Se anima a los usuarios a migrar y explorar CPDCTL. Para obtener más información sobre cómo utilizar IBM CPDCTL CLI, consulte IBM CPDCTL.

Utilice las siguientes herramientas disponibles para funciones equivalentes del paquete Cliente:

  • python-run / dev-sandbox- Utilice el entorno estándar Python para desarrollar y ejecutar scripts Spark.
  • presto-run / Presto CLI: utilice la CLI oficial Presto para ejecutar consultas SQL en watsonx.data.
  • cert-mgmt- Utilice la herramienta JVM keytool para gestionar los certificados HTTPS.

23 de septiembre de 2025 - Versión 2.2.1 Nuevas funcionalidades introducidas (NFI)

Notas de la versión 2.2.1 NFI de watsonx.data como servicio en IBM Cloud con la experiencia de IA generativa, consulte IBMwatsonx.data como servicio versión 2.2.1 Nuevas funcionalidades introducidas(NFI).

Mejora del servicio de metadatos
El Servicio de Metadatos (MDS) en watsonx.data ahora soporta la emisión de credenciales vended a través de las APIs REST de Iceberg y Unity. Al solicitar credenciales temporales, los consumidores externos de metadatos pueden acceder de forma segura a los datos desde el almacenamiento de objetos sin necesidad de gestionar claves de acceso de larga duración.

La función de compatibilidad con credenciales vendidas en solo watsonx.data está disponible para almacenamientos como Amazon S3, Google Cloud Storage (GCS) y Azure Data Lake Storage (ADLS). Para habilitar la compatibilidad con credenciales vendidas para Amazon S3 el almacenamiento, los consumidores de metadatos deben especificar el campo ARN (Amazon Resource Name) de rol cuando el S3 componente se registra en watsonx.data. Para obtener más información, consulte Añadir Amazon S3 almacenamientos.

11 de septiembre de 2025 - Versión 2.2.1

Mejoras en el motor y el servicio

Esta versión de watsonx.data introduce las siguientes mejoras en el motor y el servicio:

  • Introducida la versión v3 de la API watsonx.data. Puede seguir utilizando la versión v2 hasta watsonx.data versión 2.3. Consulte la documentación de la API(v3 ).
  • Ahora puede aprovisionar el motor Spark de watsonx.data con el tiempo de ejecución Spark configurado en Spark 4.0, lo que le permite ejecutar aplicaciones Spark en Spark 4.0. Para obtener más información sobre las versiones de Spark compatibles, consulte Versión de Spark compatible.
  • El servicio Milvus de watsonx.data se ha actualizado a la versión 2.5.12.
  • Ahora puede utilizar la herramienta de copia de seguridad de código abierto Milvus para realizar copias de seguridad y restaurar datos de Milvus dentro de watsonx.data.
  • El motor Spark acelerado por Gluten en watsonx.data es ahora capaz de ejecutar aplicaciones utilizando la versión Spark 3.5. Para obtener más información sobre las versiones de Spark compatibles, consulte Versión de Spark compatible.
  • Ahora puede utilizar el Servicio de Transporte Vectorial (VTS) con Milvus en watsonx.data para migrar o gestionar datos vectoriales entre sistemas. Para más detalles, consulte Uso del servicio de transporte vectorial.
Mejora del optimizador de consultas

Ahora puede supervisar las mejoras en el rendimiento de las consultas a través del panel del optimizador. El optimizador gestiona activamente los planes de consulta de los catálogos asociados y mejora el rendimiento de los motores Presto (C++). Para más detalles, consulte Gestión de actualizaciones estadísticas desde el panel del Optimizer.

Mejoras en la gestión de accesos

Esta versión de watsonx.data introduce las siguientes mejoras en la gestión de accesos:

  • La gestión de privilegios para un servicio Milvus en watsonx.data incluye ahora los siguientes privilegios globales:

    • DescribeDatabase- Proporciona información detallada sobre la base de datos especificada.

    • AlterDatabase- Modifica las propiedades de una base de datos existente.

Para obtener más información sobre la gestión del acceso de usuarios en Milvus, consulte Funciones y permisos predefinidos en watsonx.data.

CPDCTL Mejoras de CLI

Esta versión de watsonx.data introduce las siguientes mejoras en la interfaz de línea de comandos IBM Cloud Pak for Data ( IBM cpdctl):

  • A partir de la versión CPDCTL 1.8.25, la compatibilidad se limita a la versión watsonx.data 2.2.1 y superiores. Este cambio se debe a la desaparición de la compatibilidad con la API v2 como parte de la importante actualización a las API v3. Los usuarios de versiones anteriores de CPDCTL pueden consultar el archivo de versiones de CPDCTL.

    Algunos comandos pueden haber cambiado debido a actualizaciones en la especificación de la API. Utilice la opción --help para revisar y adaptarse a la sintaxis de comando más reciente.

  • A partir de la versión watsonx.data 2.2.1, puede utilizar HashiCorp Vault a través de cpdctl para una gestión de secretos segura y flujos de trabajo de automatización optimizados.

  • Una nueva opción en el comando service wx-data service generate-engine-dump permite generar volcados para los nodos trabajadores y coordinadores Presto en watsonx.data. Para obtener más detalles sobre el service comando para operaciones relacionadas con la capacidad de servicio en watsonx.data, consulte servicio.

  • Utilice el nuevo comando component para recuperar los detalles de configuración y el estado de varios componentes en watsonx.data. Para obtener más información sobre el comando component para obtener los detalles de configuración de varios componentes en watsonx.data, consulte comandos y uso de wx-data.

  • A partir de la versión de CPDCTL 1.8.5, los usuarios ya no necesitan establecer instance ID como variable de entorno. Este método está obsoleto y se eliminará en una versión futura. En su lugar, configure directamente instance ID mediante el comando profile. Para obtener más información sobre la configuración de instance ID como variable de entorno, consulte comandos config y uso.

Fuentes de datos y mejoras de almacenamiento

Ahora puede importar catálogos y proyectos de la plataforma de datos para las siguientes fuentes de datos:

  • IBM Db2
  • IBM Netezza
  • MySQL
  • Oracle
  • PostgreSQL
  • Snowflake
  • SQL Server
Automatización semántica para el enriquecimiento de datos

watsonx.data ahora admite funciones de búsqueda semántica que permiten a los usuarios consultar datos mediante lenguaje natural, lo que hace que la exploración de datos sea más intuitiva y eficaz. Para obtener más información sobre las funciones de búsqueda semántica, consulte Realización de búsquedas semánticas en watsonx.data.

Mejoras de la vista previa pública

Ahora se puede acceder a las funciones de vista previa pública desde la interfaz de usuario de Configuraciones. Ahora puede acceder y gestionar fácilmente las funciones de la vista previa pública de watsonx.data desde la interfaz de usuario de Configuraciones. Las funciones de la vista previa pública se resaltan con la etiqueta Vista previa, lo que facilita su identificación. Puede activar o desactivar las características para explorar la funcionalidad. Cada función de vista previa pública incluye un enlace a su documentación detallada, lo que le permite obtener más información sobre ella. Para obtener más información sobre las funciones de la vista previa pública, consulte Novedades en watsonx.data(Vista previa pública).

Funciones en desuso

Las siguientes funciones han quedado obsoletas en esta versión:

  • watsonx.data La versión de la API v2 ha quedado obsoleta

watsonx.data La versión de la API v2 se elimina por completo de la edición para desarrolladores watsonx.data a partir de la versión 2.2.1. Se eliminará por completo de la edición de software watsonx.data en la versión 2.3. Debe migrar a la última versión compatible de la API ( v3 ) para garantizar la compatibilidad permanente y el acceso a las nuevas funciones.

05 de agosto de 2025 - Versión 2.2.0 Nueva función 1 ( NF1 )

Compatibilidad con los tipos de datos BLOB y CLOB

El soporte de los tipos de datos BLOB y CLOB en watsonx.data se actualiza ahora para alinearse con el estándar SQL, que Presto sigue como motor de consulta federado.

Leer soporte: Los BLOB y CLOB pueden leerse en los sistemas federados basados en JDBC. Cuando se leen, se asignan de la siguiente manera:

  • BLOB a VARBINARIO
  • CLOB a VARCHAR

Soporte de escritura: También se admite la escritura de datos BLOB y CLOB, que se tratan del siguiente modo:

  • VARBINARY para datos binarios
  • VARCHAR para datos de caracteres

Crear soporte de mesa: No puede utilizar BLOB o CLOB como tipos de columna al crear tablas nuevas. Sólo se admiten VARBINARY y VARCHAR para estos casos de uso.

Actualización de la versión del motor

Los motores Presto ( Java ) y Presto (C++) han sido actualizados a la versión 0.294.

Conexión a watsonx BI

Ahora puede conectar watsonx.data con IBM watsonx BI para acceder directamente a los datos disponibles en diferentes fuentes de datos, lo que facilita su uso por parte de los científicos y analistas de datos. Para obtener información sobre cómo conectarse a watsonx BI, consulte Integración con watsonx BI.

Mejora del plan Lite

Esta versión de watsonx.data introduce las siguientes mejoras en el plan Lite:

  • Motor Spark sin servidor para el plan Lite: El motor Spark de la instancia del plan Lite de watsonx.data funciona en un modelo sin servidor. Ahora puede ejecutar trabajos Spark en una plataforma sin servidor, eliminando la necesidad de nodos dedicados para cada motor Spark. Spark sin servidor permite un límite máximo de cuota de recursos de 8 vCPU×32 GB, donde los usuarios pueden acceder a un conjunto compartido de nodos. Los tiempos de ejecución de Spark se programan en cualquier nodo disponible en el plano de datos en lugar de en un nodo dedicado. Para obtener información sobre cómo aprovisionar una instancia del plan Lite y crear un motor Spark en ella, consulte Aprovisionamiento de un motor Spark sin servidor para el plan Lite.

  • Se introduce una nueva configuración de tamaño Lite para el motor Presto ( Java ), que ofrece una configuración de despliegue de un solo nodo para fines de experimentación y desarrollo en fase inicial. El motor Lite Presto ( Java ) sólo está disponible en las instancias del plan watsonx.data Lite. Para obtener más información, consulte Aprovisionamiento de un motor Presto(Java ).

Mejora de la ingestión

Esta versión de watsonx.data incluye la siguiente mejora de la ingestión:

Ahora se acepta el formato de archivo.txt para la ingestión de datos. Esta mejora amplía la flexibilidad, permitiendo a los usuarios cargar sin problemas archivos de texto sin formato junto con los formatos compatibles existentes.

Mejoras de servicio

Ahora puede configurar el tiempo de espera de consulta mediante dos ajustes: Tiempo máximo de ejecución de la consulta y Tiempo de espera del cliente de consulta. Para más información, consulte Gestión de la configuración de usuario en watsonx.data: Configuración del tiempo de espera de la sesión, del tiempo de espera de la consulta y del mensaje de inicio de sesión

11 de julio de 2025

El 11 de julio de 2025 se publicó una nueva versión de watsonx.data con el siguiente cambio:

Disponibilidad de nuevas regiones
watsonx.data en AWS ya está disponible en la región de Bombay.

07 de julio de 2025 - Versión 2.2.0 Hotfix 1

La versión 2.2 hotfix de watsonx.data se publicó el 07 de julio de 2025. Esta versión incluye actualizaciones y correcciones de seguridad.

11 de junio de 2025 - Versión 2.2.0

Mejoras en el motor y el servicio

Esta versión de watsonx.data introduce las siguientes mejoras en el motor y el servicio:

  • Introducidas nuevas versiones de la API para conectarse a un servicio Milvus utilizando una ruta de host proxy. Para más información, consulte Conexión al servicio Milvus.
  • Para los motores Presto (C++), los catálogos Hive e Iceberg están ahora habilitados con la configuración regional. Para obtener más información, consulte Aprovisionamiento de un motor Presto(C++).
  • Nuevo motor Spark acelerado por Gluten: Ahora puede aprovisionar el motor Spark acelerado por Gluten y utilizarlo para ejecutar cargas de trabajo analíticas complejas aprovechando la alta escalabilidad del marco Spark SQL y el alto rendimiento de las bibliotecas nativas. Para obtener información sobre cómo trabajar con el nuevo motor Spark acelerado por gluten, consulte Trabajar con el motor Spark acelerado por gluten.
  • Ejecute consultas de espacio de trabajo más rápidas utilizando un trabajo de Spark para transformar datos de tablas Iceberg : Para acelerar la lectura de las tablas Iceberg, ahora puede utilizar una tarea de Spark para transformar los datos de la tabla Iceberg de formato Merge-on-Read (MOR) a formato Copy-on-Write (COW). Para obtener más información, consulte Envío de trabajos de Spark para la conversión de MoR a CoW.
  • Puede utilizar la funcionalidad Spark API para configurar el límite de aplicaciones que se pueden listar y los criterios de filtrado que puede utilizar para filtrar las aplicaciones Spark.
CPDCTL Mejoras de CLI

Esta versión de watsonx.data introduce las siguientes mejoras en la interfaz de línea de comandos IBM Cloud Pak for Data ( IBM cpdctl):

  • Puede utilizar el comando tablemaint para ejecutar diferentes operaciones de mantenimiento de tablas Iceberg en watsonx.data.

  • Puede utilizar el comando wx-data service para realizar diversas operaciones relacionadas con el servicio, como listar tablas, recuperar la lista de buckets habilitados para QHMM y supervisar las estadísticas y consultas relacionadas con QHMM.

Para más información, consulte IBM cpdctl.

Mejoras en la integración

Esta versión de watsonx.data introduce las siguientes mejoras en la integración con otros servicios:

  • Nuevo método de entrega: Entrega como mesa en watsonx.data

Los productos de datos que utilizan fuentes de datos compatibles ahora pueden entregarse a su instancia de tablas watsonx.data utilizando el método de entrega como tabla en watsonx.data. Este método permite a los usuarios con los permisos adecuados crear nuevas tablas o añadirlas a las existentes. Para más información, consulte Integración con Data Product Hub.

  • Nuevo método de entrega: Acceso en watsonx.data

Ahora puede suscribirse a un producto de datos creado a partir de la instancia watsonx.data utilizando el método de entrega access in watsonx.data. Este método permite a los consumidores acceder directamente a los recursos de watsonx.data a través de Data Product Hub. Tras la entrega, los consumidores verán los detalles sobre cómo acceder a la instancia watsonx.data y los recursos específicos a los que tienen acceso. Para más información, consulte Integración con Data Product Hub.

Mejoras en la facturación

Esta versión de watsonx.data introduce las siguientes mejoras en la función de facturación:

  • Facturación detallada: Los usuarios ahora podrán ver sus extractos de facturación en un formato desglosado, ofreciendo una mayor granularidad y transparencia
  • Precisión de facturación: A partir de ahora, la facturación de los usuarios se realizará por minutos, sustituyendo al anterior método de la marca de agua más alta
Mejora de la supervisión y gestión del historial de consultas (QHMM)

Esta versión de watsonx.data introduce la siguiente mejora de QHMM:

La página Supervisión de consultas se elimina de la configuración del asistente de inicio rápido y se consolida con la página Configurar un cubo. Ahora puede activar, desactivar y configurar los detalles de almacenamiento de QHMM directamente desde la página actualizada Configurar un cubo disponible en el asistente de inicio rápido. Para obtener información sobre la configuración actualizada del asistente de inicio rápido, consulte Inicio rápido.

Fuentes de datos y mejoras de almacenamiento

Esta versión de watsonx.data incluye la siguiente mejora del almacenamiento:

Ahora puede utilizar SQL Server con la autenticación New Technology LAN Manager (NTLM) y la autenticación Microsoft Entra. NTLM es un método de autenticación desafío-respuesta basado en Windows. Para más información, consulte SQL Server.

Ahora puede crear los siguientes almacenamientos en estado activo por defecto:

  • IBM Cloud Object Storage
  • Amazon S3
  • IBM Storage Ceph
  • MinIO
  • Google Cloud Storage
  • Azure Data Lake Storage
  • Apache Ozone
Mejoras en la gestión de accesos

Esta versión de watsonx.data introduce las siguientes mejoras en la gestión de accesos:

  • Puede utilizar la función de exportación para descargar las políticas de recursos existentes e importarlas a otro entorno necesario. Así se garantiza la coherencia y se facilita la migración. Para obtener información sobre cómo utilizar la función de importación y exportación, consulte Gestión del acceso de los usuarios.
  • Ahora, un administrador del catálogo o un usuario que pertenezca a un grupo con función de administrador puede eliminar su acceso al catálogo. Para más información sobre cómo eliminar un usuario de un componente, consulte Gestión del acceso de usuarios.
  • Los usuarios que no son administradores tienen acceso de sólo lectura y ahora pueden ver la página Administrador de controladores dentro de la sección Configuraciones. Esto les permite ver la lista de conductores activos y sus datos sin necesidad de consultar a un administrador. Para más información, consulte Gestor de controladores.
Mejoras en la auditoría y el seguimiento

Esta versión de watsonx.data introduce la siguiente mejora de auditoría y seguimiento:

La lista de eventos rastreables ahora incluye actividades detalladas relacionadas con el servidor MDS Thrift y el servidor MDS Rest, proporcionando información sobre cómo las aplicaciones y los usuarios interactúan con estos componentes críticos. Para obtener información, consulte Eventos del servidor MDS Thrift y Eventos del servidor MDS Rest.

Funciones en desuso

Las siguientes funciones han quedado obsoletas en esta versión:

  • Las API de Milvus que utilizan el host REST (API con el prefijo /api/v1 ) quedan obsoletas a partir de watsonx.data v2.2.

  • Azure Data Lake Storage (ADLS) Gen1 está obsoleto y se eliminará en una próxima versión. Debe pasar a ADLS Gen2 porque ADLS Gen1 no está disponible.

  • El método de autenticación de usuario mediante ibmlhapikey e ibmlhtoken como nombre de usuario está obsoleto y se eliminará en una futura versión. Puede utilizar ibmlhapikey_<username> y ibmlhtoken_<username> en su lugar. Para más información, consulte Access management and governance en watsonx.data.

10 de abril de 2025 - Versión 2.1.2 Hotfix 1

Mejoras en el motor y el servicio

Esta versión de watsonx.data introduce la siguiente mejora del servicio:

Se ha presentado Tiny Milvus, un despliegue ligero de un solo nodo de la base de datos de vectores Milvus, diseñado para la experimentación y el desarrollo inicial.

Tiny Milvus proporciona la experiencia básica de Milvus y está diseñado específicamente para su uso en la plataforma watsonx.ai. Sirve como punto de entrada para la exploración de IA basada en vectores con unos requisitos de recursos mínimos para ayudar a garantizar una gestión y un análisis eficaces de los datos. Es distinta de otras configuraciones de Milvus disponibles en watsonx.data, que admiten una mayor escalabilidad y funciones de nivel empresarial.

Tiny Milvus admite hasta 10K vectores, lo que lo hace adecuado para pruebas rápidas y experimentación temprana sin una infraestructura pesada. No está diseñado para cargas de trabajo de producción.

Para obtener más información sobre el uso de Tiny Milvus, consulte Configuración de un almacén de vectores watsonx.data Milvus.

04 Abril 2025 - Versión 2.1.2

Fuentes de datos y mejoras de almacenamiento

Esta versión de watsonx.data incluye la siguiente mejora del almacenamiento:

Ahora puede conectarse a IBM Db2 for i fuente de datos. Para obtener información sobre IBM Db2 for i consulte IBM Db2 for i.

Mejoras de conectividad

Esta versión de watsonx.data incluye la siguiente mejora de la conectividad:

Ahora puede conectarse de forma segura y privada a una instancia de watsonx.data utilizando puntos finales privados virtuales. Para obtener información sobre cómo configurar puntos finales de red en watsonx.data, consulte Configuración de puntos finales privados virtuales.

Mejoras en la integración

Esta versión de watsonx.data introduce las siguientes integraciones mejoradas con otros servicios:

  • Ahora, puede definir políticas de gobernanza IBM Knowledge Catalog para el motor Presto (C++) cuando se integre con watsonx.data. Para obtener información sobre cómo conectarse a IBM Knowledge Catalog (IKC), consulte Conexión a IBM Knowledge Catalog(IKC).
  • Ahora puede exportar archivos de configuración para el motor Presto de destino, basándose en su selección de controlador ODBC (Simba o CData), para establecer más fácilmente conexiones con watsonx.data. Esta mejora le evita tener que configurar manualmente los detalles del motor de Presto mediante PowerBI. Para obtener más información sobre cómo conectarse a Presto mediante los archivos de configuración, consulte Cómo conectarse a Presto mediante los archivos de configuración.
  • Integración con Data Product Hub: Puede integrar watsonx.data con DPH para empaquetar tablas y consultas SQL en productos de datos adaptados a casos de uso específicos. Para más información, consulte Integración con Data Product Hub.
Mejora de la ingestión

Esta versión de watsonx.data incluye la siguiente mejora de la ingestión:

Los trabajos de ingestión que utilizan un motor Spark externo ahora proporcionan registros dentro de watsonx.data. Esta mejora permite a los usuarios identificar y solucionar eficazmente los problemas de ejecución de los trabajos directamente en la plataforma watsonx.data en la nube (instancia SaaS ). Los detalles del procedimiento de ingesta están disponibles en Ingesta de datos mediante Spark a través de la consola web.

Mejoras en el motor y el servicio

Esta versión de watsonx.data introduce las siguientes mejoras en el motor y el servicio:

Ahora puede utilizar Azure Data Lake Storage Gen2 con AccessKey Authmode con motor Spark para almacenar sus datos mientras envía aplicaciones Spark. Para obtener información sobre Azure Data Lake Storage Gen2, consulte Azure Data Lake Storage.

Mejoras en el espacio de trabajo de consulta

Esta versión de watsonx.data introduce la siguiente mejora en el espacio de trabajo de consulta:

Ahora tiene la opción de cancelar una o varias consultas en ejecución. Además, puede eliminar las consultas de la hoja de trabajo una vez canceladas o completadas con éxito, lo que facilita la organización de su espacio de trabajo. Para obtener más información, consulte Ejecución de consultas SQL.

Mejoras en la gestión de accesos

Esta versión de watsonx.data introduce las siguientes mejoras en la gestión de accesos:

  • Los administradores ya pueden configurar el acceso para IBM Db2 y IBM Netezza. Pueden asignar funciones a los usuarios de watsonx.data para ver, editar y administrar los motores IBM Netezza y IBM Db2. Para obtener información sobre los permisos a nivel de recurso, consulte (Db2 y Netezza ).
  • Ahora, los administradores pueden conceder o revocar permisos específicos a usuarios o funciones al crear y visualizar sus propios esquemas. Para obtener información sobre las reglas de política de datos, consulte Administrar reglas de política de datos.
  • El flujo proxy DAS, que anteriormente estaba obsoleto, se ha eliminado y ya no está disponible en watsonx.data.
Mejora de la supervisión y gestión del historial de consultas (QHMM)

Esta versión de watsonx.data introduce las siguientes mejoras en QHMM:

  • Ahora puede seleccionar el motor Presto asociado a un catálogo QHMM al configurar la supervisión de consultas en watsonx.data. Para obtener información sobre la configuración de QHMM, consulte Configuración de la supervisión de consultas.
  • Ahora puede utilizar el script de migración para transferir datos QHMM del bucket de origen al bucket de destino en watsonx.data. Para obtener más información sobre el uso del script de migración, consulte Uso del script de shell QHMM.
CPDCTL Mejoras de CLI

Esta versión de watsonx.data introduce las siguientes mejoras en la interfaz de línea de comandos IBM Cloud Pak for Data ( IBM cpdctl):

  • A partir de la versión 2.1.2, el comando wx-data está disponible por defecto, lo que le permite realizar operaciones como, la ingesta, la gestión de motores, etc., en watsonx.data.
  • Puede utilizar los comandos wx-data engine create y wx-data engine delete para aprovisionar y eliminar todos los motores disponibles en watsonx.data.
  • Puede utilizar el comando sparkjob para enviar, listar y obtener los detalles de una aplicación Spark.
  • INSTANCE_ID utilizado en la configuración del entorno de instancia se sustituye por WX_DATA_INSTANCE_ID.

Para más información, consulte IBM cpdctl.

28 de febrero de 2025 - Versión 2.1.1

Disponibilidad de nuevas regiones

watsonx.data ahora está disponible en la región de Toronto para los planes Lite y Enterprise. Para aprovisionar, consulte Aprovisionamiento del plan watsonx.data Lite y Aprovisionamiento del plan watsonx.data Enterprise.

Fuentes de datos y mejoras de almacenamiento

Esta versión de watsonx.data incluye las siguientes mejoras de almacenamiento:

  • Ahora, puede probar las conexiones para las siguientes fuentes de datos y almacenamiento:

    • Apache Phoenix
    • IBM Data Virtualization Manager
    • BigQuery
    • Google Cloud Storage

  • Ahora puede registrar y cargar tablas Hudi y Delta externas preexistentes en un almacenamiento de objetos utilizando las API de registro de tablas y carga de metadatos de tablas.

Mejora de la ingestión

Una vez completado un trabajo de ingesta, ahora puede acceder a los datos ingeridos directamente desde la página Historial de ingesta, lo que agiliza su flujo de trabajo y ahorra tiempo.

Mejoras en la integración

Esta versión de watsonx.data introduce las siguientes integraciones mejoradas con otros servicios:

  • La página de información de conexión ahora incluye:
    • Presto detalles de configuración para la integración de DBT. Puede copiar los detalles de configuración de Presto que se requieren para la integración de DBT desde esta página.
    • Opción para exportar el archivo TDS, que incluye los detalles de configuración del motor de e-commerce ( Presto ) necesarios para la integración con Tableau.

Para obtener más información, consulte Obtención de información de conexión.

Mejoras en el motor y el servicio

Esta versión de watsonx.data introduce las siguientes mejoras en el motor y los servicios:

  • Ahora puede crear una aplicación Spark desde la pestaña Aplicaciones de la página de detalles del motor Spark. Para obtener más información, consulte Envío de la aplicación Spark desde la consola.
  • Ahora puede utilizar la versión de Spark, 3.5.4 para ejecutar las aplicaciones en watsonx.data. En watsonx.data, Apache Spark 3.4.4 y Apache Spark 3.5.4 son las versiones compatibles.
  • Milvus permite lo siguiente:
    • En Milvus ahora puede realizar una búsqueda híbrida de e GroupBy s basada en múltiples columnas vectoriales y también personalizar el tamaño del grupo cuando ejecute consultas de búsqueda. Para más información, consulte Conectando watsonx Assistant a watsonx.data Milvus para búsqueda personalizada.
    • Milvus ahora admite tamaños personalizados con una capacidad de 3000 millones de vectores con un máximo de 1024 dimensiones.
    • Milvus ahora permite aumentar o reducir el tamaño entre las tallas predefinidas de camisetas (pequeña, mediana y grande) o las tallas personalizadas. Para obtener más información, consulte Añadir un servicio de Milvus.
  • A partir de la versión watsonx.data 2.1.1, se admite Milvus 2.5.0. Para más información, consulte Milvus.
Mejoras en la gestión de accesos

Esta versión de watsonx.data introduce las siguientes mejoras en la gestión de accesos:

  • El Servicio de gestión de acceso (AMS) en watsonx.data ahora puede usar la autenticación JSON Web Token (JWT) para las solicitudes entrantes desde Presto, lo que garantiza un control de acceso seguro y eficiente. Para obtener más información, consulte Conexión al motor de Presto a través de Presto CLI(remoto ).
  • Ahora puede asignar usuarios y roles a componentes de infraestructura en lotes de veinte. Para obtener más información, consulte Gestión de acceso de usuario.
  • Ahora puede utilizar las políticas de SQL de Apache, SQL Server y SQL Server Hadoop para gestionar los datos con motores Spark. Puede definir políticas de ranger cuando el motor Spark accede a datos de clústeres de Hadoop. La habilitación de la política de guardabosques garantiza una sólida seguridad y gestión de los datos. Con la política de Ranger, puede configurar la autorización de tablas ( L3 ), el filtrado a nivel de fila y el enmascaramiento de columnas para los datos. Para obtener más información, consulte Habilitar la política de recursos de Apache Ranger.
CPDCTL Mejoras de CLI

IBM CPDCTL La CLI se utiliza ahora para configurar y gestionar diferentes operaciones en watsonx.data. Mediante la CLI de CPDCTL, puede gestionar los ajustes de configuración, ejecutar trabajos de ingesta, gestionar motores, fuentes de datos y almacenamientos. Los dos plugins siguientes se utilizan actualmente para ejecutar estas operaciones:

  • config- Para configurar un entorno de servicio y usuarios de watsonx.data.

  • wx-data- Para realizar otras operaciones como, ingestar, gestionar motores, etc. en watsonx.data. Para más información, consulte IBM cpdctl.

    watsonx.data La edición para desarrolladores ahora está habilitada en la versión IBM v1.6.104 CPDCTL y posteriores.

Funciones en desuso

Las siguientes funciones han quedado obsoletas en esta versión:

  • La función de proxy del Servicio de acceso a datos (DAS) está obsoleta y se eliminará en una versión futura. No puede utilizar la función de proxy del Servicio de Acceso a Datos (DAS) para acceder al almacenamiento de objetos ( S3, ADLS y ABS). Si utiliza el flujo proxy DAS y tiene algún problema, póngase en contacto con el servicio de asistencia de IBM. Para obtener una descripción general de la función DAS, consulte Servicio de acceso a datos(DAS ).

  • IBM El paquete de cliente está obsoleto y se eliminará en una versión futura. Las utilidades y comandos del paquete Client se sustituyen por un IBM CPDCTL CLI. Para obtener más información sobre cómo utilizar IBM CPDCTL CLI, consulte IBM CPDCTL.

4 de febrero de 2025 - Versión 2.1.0. Corrección 2

Mejora del plan Lite
IBM® watsonx.data El plan Lite ya está disponible en la región de Sydney. Para obtener más información sobre cómo aprovisionar una instancia del plan Lite en la región de Sydney, consulte Aprovisionamiento del plan Lite.

10 de enero de 2025 - Versión 2.1.0 Hotfix 1

Mejora del plan de empresa
Si utiliza IBM Cloud CLI para aprovisionar una instancia del plan Enterprise en la región de Sídney, debe utilizar el nombre de plan lakehouse-enterprise-mcsp. Para obtener más información, consulte Aprovisionamiento de una instancia a través de CLI.

13 de diciembre de 2024 - Versión 2.1.0

Fuentes de datos y mejoras de almacenamiento

Esta versión incluye las siguientes nuevas fuentes de datos y mejoras de almacenamiento:

  • Ahora puede conectarse a fuentes de datos de Apache Phoenix. Para más información, consulte Apache Phoenix

  • Si trabaja con fuentes de datos MySQL, ahora puede gestionar los controladores en la sección Gestor de controladores de la página Configuraciones. Cada uno de estos controladores pasa por una serie de pasos de validación. Ya no se pueden probar las conexiones MySQL. Para más información, consulte MySQL.

Cuando actualices a la versión 2.1.0, cualquier catálogo MySQL existente dejará de estar vinculado al motor. Esto significa que debe restablecer la conexión entre el MySQL catálogo y el motor.

  • La función de conexión de prueba ya está disponible para las siguientes fuentes de datos compatibles con Arrow Flight service:

    • Apache Derby
    • Salesforce
    • Greenplum
    • MariaDB

  • Ahora puede probar la conexión para Azure Data Lake Storage (ADLS) y el origen de datos IBM Data Virtualization Manager for z/OS.

Mejoras en la integración

Esta versión de watsonx.data introduce las siguientes integraciones nuevas o mejoradas con otros servicios:

  • Ahora puede activar la conexión Databand desde la página Configuraciones. Para obtener más información, consulte Supervisión de la ejecución de aplicaciones Spark mediante Databand.

  • Ahora puede recuperar la información de conexión Presto desde la instancia watsonx.data > Configuraciones > Página de información de conexión para la siguiente integración:

    • Herramientas BI
    • DataBuildTool (dbt)

  • A partir de la versión watsonx.data 2.1, sólo puede integrarse con uno de los siguientes motores de políticas:

    • Apache Ranger
    • IBM Knowledge Catalog (IKC)

Para obtener más información, consulte Información de conexión.

  • Ahora puede integrar IBM Manta Data Lineage con watsonx.data para capturar y publicar trabajos, ejecuciones y eventos de conjuntos de datos de Spark a través de la interfaz de usuario de Manta. Para más información, consulte IBM Manta Data Lineage.

  • Ahora puede utilizar todos los tipos de datos de Presto con el adaptador dbt para Presto. Especifique el tipo de datos como column_types en dbt_project.yml. Para obtener más información, consulte Instalación y uso de watsonx.

Mejoras en el motor y el servicio

Esta versión de watsonx.data introduce las siguientes mejoras en el motor y los servicios:

Consulta de la información del historial mediante la utilidad ibm-lh

Puede obtener la siguiente información del historial de consultas utilizando la utilidad ibm-lh:

  • Información básica de la consulta.
  • Información básica de errores de consultas fallidas.
  • Consulta de información estadística.
  • Consulta la información de la memoria.
  • Consulta de información sobre la recogida de basuras.
  • Consulta sobre el tiempo más tardado.
  • Detalles del uso de memoria de las consultas.
  • Información después de unir las dos tablas.
  • Información que contiene todas las columnas de una tabla.
  • Información sobre los errores en la consulta.
  • Recuento de todos los códigos de error.
  • Recuento de todos los mensajes de error.
  • Recuento de todos los tipos de fallos.

Para obtener más información, consulte Recuperación de registros QHMM mediante la utilidad ibm-lh.

Mejoras en la ingestión

Esta versión de watsonx.data introduce las siguientes mejoras de ingestión:

  • Vista previa de la mesa de destino: Antes de enviar un trabajo de ingestión, los usuarios ahora pueden previsualizar el esquema de la tabla de destino y editar las cabeceras de las columnas y los tipos de datos. Esto permite la validación y garantiza que los datos se introducen en la estructura de tabla correcta. Para obtener más información, consulte Ingesta de datos mediante Spark a través de la consola web.

  • Ingesta Java para la creación de tablas: El Gestor de datos incluye ahora una opción para crear tablas utilizando el flujo de ingestión Java /Spark navegando a Ingestión local, lo que proporciona flexibilidad y control en función del tamaño del archivo y otros factores. Para obtener más información, consulte Creación de tablas e Ingesta de datos mediante Spark a través de la consola web.

  • Soporte de almacenamiento de fuentes mejorado:

    • Azure Data Lake Storage (ADLS): Ya está disponible la ingesta de datos directamente desde ADLS.
    • Google Cloud Storage (GCS): Ya está disponible la ingesta de datos directamente desde GCS.

  • Almacenamiento transitorio: Ahora los usuarios pueden seleccionar el bucket externo que se utilizará como área de almacenamiento temporal para las ingestas locales. Si no se especifica ningún almacenamiento, watsonx.data puede inferir y seleccionar un cubo apropiado. Para obtener más información, consulte Ingesta de datos mediante Spark a través de la consola web.

Introducción al Servicio de Metadatos (MDS)

A partir de la versión 2.1, watsonx.data utiliza Metadata Service (MDS) en lugar de Hive Metastore (HMS). MDS es compatible con las API de catálogo abiertas y modernas, Unity Catalog API y Apache Iceberg REST Catalog API, lo que permite una mayor integración de herramientas y una mayor flexibilidad. Esta nueva arquitectura ofrece un rendimiento comparable a la vez que sigue siendo compatible con los clientes de Spark y Presto a través de la interfaz Thrift o HMS existente. Para más información, consulte la descripción general del Servicio de Metadatos(MDS).

Se recomienda utilizar MDS en los entornos de prueba y luego pasar a utilizarlo en producción.

Funciones en desuso

La siguiente función está obsoleta en esta versión:

  • La función de la API REST para capturar cambios DDL en watsonx.data a través del receptor de eventos quedará obsoleta a partir de la versión de lanzamiento watsonx.data 2.1.

13 de noviembre de 2024 - Revisión de la versión 2.0.4

Mejoras del plan Lite

Esta revisión incluye las siguientes mejoras del plan Lite:

  • El plan Lite ahora incluye un almacenamiento IBM COS de muestra dedicado de sólo lectura asociado al motor Presto para dar soporte a la consulta de datos de muestra y de evaluación comparativa.

  • Ahora puede trabajar con hojas de trabajo de ejemplo de tpcds para casos de uso de alto rendimiento y hojas de trabajo de ejemplo de Gosales para casos de uso de ingeniería de datos y GenAI.

  • El optimizador de consultas ahora se activa automáticamente para los casos de uso de BI de alto rendimiento.

29 de octubre de 2024 - Versión 2.0.4

Mejoras en el motor y el servicio

Esta versión incluye las siguientes mejoras en el motor y los servicios:

  • El valor por defecto de la propiedad ' task.max-drivers-per-task ' para los workers PrestoJava) y Presto (C++) se establece ahora en función del número de vCPUs.

  • Puede activar la función de poda de archivos en la Supervisión y gestión del historial de consultas (QHMM) desde la página Supervisión de consultas. También puede configurar el tamaño máximo y el porcentaje de umbral para el cubo de almacenamiento QHMM. Cuando se alcanza el umbral durante la carga de archivos o cuando se ejecuta un programador de limpieza (por defecto cada 24 horas), se eliminan los datos más antiguos. Para obtener más información, consulte Configuración de la supervisión de consultas.

  • Query History Monitoring and Management (QHMM) ya no almacena los datos de diagnóstico en el bucket de prueba predeterminado de IBM Managed (wxd-system). Para almacenar los datos de diagnóstico, ahora debe utilizar un tipo de almacenamiento compatible con QHMM. Para obtener más información sobre el uso de su propio almacenamiento, consulte Configuración de la supervisión de consultas.

  • Ahora puede verificar el estado de optimización de la consulta comprobando el parámetro ' wxdQueryOptimized ' en el archivo JSON. Para obtener más información, consulte Ejecución de consultas desde la CLI Presto(C++)o el espacio de trabajo de consultas.

Mejoras en las fuentes de datos

Esta versión incluye las siguientes fuentes de datos y mejoras de almacenamiento:

  • La función de conexión de prueba ya está disponible para las siguientes fuentes de datos:

    • Apache Pinot
    • Cassandra
    • Prometheus

  • Nueva fuente de datos SAP HANA ya está disponible. Puede utilizar el Gestor de controladores en la página Configuraciones para gestionar los controladores de la fuente de datos SAP HANA. Cada uno de estos controladores se somete a una serie de validaciones.

Plan Lite

Para mejorar la usabilidad, los catálogos de sistemas (cmx y system) están ahora ocultos para los usuarios del plan Lite. La instancia del plan Lite con motor ' Presto (C++) incluye ' tpch como catálogo de benchmarking y la instancia con motor ' Presto (Java) incluye ' tpch y ' tpcds como catálogos de benchmarking.

Funciones en desuso

Las siguientes funciones han quedado obsoletas en esta versión:

  • La función de la API REST para capturar cambios DDL en ' watsonx.data ' a través de escuchadores de eventos queda obsoleta en esta versión y se eliminará de ' watsonx.data ' con la versión ' 2.1.

  • La compatibilidad con el tiempo de ejecución de Apache Spark 3.3 está obsoleta. Debe actualizar a Spark 3.4. Para actualizar la versión de Apache Spark, consulte Editar los detalles del motor Spark.

25 de septiembre de 2024 - Versión 2.0.3

Fuentes de datos y mejoras de almacenamiento

Esta versión incluye las siguientes nuevas fuentes de datos y mejoras de almacenamiento:

  • Ahora puede habilitar Azure Data Lake Storage Gen1 Blob y Google Cloud Storage para Milvus. Para obtener más información, consulte ADLS Gen1 Blob y Google Cloud Storage.

  • Puede crear o añadir una nueva fuente de datos al motor sin adjuntarle un catálogo. Posteriormente se puede adjuntar un catálogo a la fuente de datos.

  • Ahora puede utilizar el almacenamiento Apache Ozone para el motor Presto ( Java ). Para más información, consulte Apache Ozone.

  • Ahora puede configurar el origen de datos Apache Kafka para que utilice el mecanismo de autenticación Salted Challenge Response Authentication Mechanism (SCRAM). Puede cargar un certificado autofirmado. Para obtener más información, consulte Apache Kafka.

Mejoras en la integración

Esta versión de watsonx.data introduce las siguientes integraciones nuevas o mejoradas con otros servicios:

  • Ahora puede integrar watsonx.data con la herramienta de creación de datos (dbt) para el motor Spark para la transformación de datos in situ dentro de watsonx.data. Para obtener más información, consulte Acerca de la integración dbt.

  • Puede integrar watsonx.data con Databand. Esta integración puede mejorar las capacidades de supervisión proporcionando información que va más allá de Spark UI y Spark History. Para obtener más información, consulte Monitorización de la ejecución de aplicaciones Spark mediante Databand.

  • Puede integrar watsonx.data con las siguientes herramientas de visualización Business Intelligence (BI) para acceder a las fuentes de datos conectadas y crear visualizaciones de datos atractivas e interactivas:

    • Tableau
    • Looker
    • Domo
    • Qlik
    • PowerBI

    Para obtener más información, consulte Acerca de las herramientas de visualización de BI.

Mejoras en el motor y el servicio

Esta versión de watsonx.data introduce las siguientes mejoras en el motor y los servicios:

  • Las tablas Iceberg son compatibles con el optimizador de consultas. Para obtener más información, consulte Optimizador de consultas.

  • Ahora puede utilizar el adaptador de la herramienta de creación de datos (dbt-watsonx-presto) para crear, probar y documentar modelos de datos para el motor Presto (Java). Para obtener más información, consulte dbt-watsonx-presto.

  • Una nueva propiedad de personalización (file-column-names-read-as-lower-case) está ahora disponible para el motor Presto (C++) para evitar el desajuste entre mayúsculas y minúsculas en los nombres de las columnas. Para obtener más información, consulte Propiedades de catálogo para Presto(C++).

Mejoras en la gestión de accesos

Esta versión de watsonx.data introduce las siguientes mejoras en la gestión de accesos:

  • Ahora puede añadir usuarios y grupos de usuarios para definir reglas de política de datos. Para más información, consulte Política de datos.

  • Ahora los administradores pueden seleccionar catálogos TPCDS y TPCH para crear políticas de control de acceso. Seleccionar" es la única operación permitida para definir reglas con estos catálogos. Para definir políticas de datos, véase Política de datos.

  • Ahora los administradores pueden editar la configuración de los grupos de recursos después de crearlos. Para obtener más información, consulte Configuración de grupos de recursos Presto.

Políticas de gobierno de IBM Knowledge Catalog para fuentes de datos

Ahora puede aplicar IBM Knowledge Catalog a los siguientes orígenes de datos en Presto:

  • Oracle
  • PostgreSQL
  • MySQL
  • SQL Server
  • Db2
Mejoras en la ingestión

Esta versión de watsonx.data incluye las siguientes mejoras en el flujo de trabajo de ingestión:

Plan Lite

Puede aprovisionar su instancia del plan Lite en función de los tres casos de uso siguientes. Seleccione un caso de uso de la lista para continuar:

  • IA Generativa : Puede explorar casos de uso de IA Generativa utilizando esta opción. La instancia aprovisionada incluye Presto, Milvus y Spark.
  • BI de alto rendimiento : Puede explorar las funcionalidades de visualización de BI utilizando esta opción. La instancia aprovisionada incluye Presto (C++) y Spark.
  • Cargas de trabajo de ingeniería de datos : Puede utilizar cargas de trabajo de ingeniería de datos para explorar diversos casos de uso basados en cargas de trabajo. La instancia aprovisionada incluye Presto (Java) y Spark.

Para obtener más información, consulte Plan Lite.

27 de agosto de 2024 - Versión 2.0.2

Fuentes de datos y mejoras en el almacenamiento

Esta versión incluye las siguientes nuevas fuentes de datos y mejoras de almacenamiento:

  • Content Aware Storage (CAS) se llama ahora Data Access Service (DAS).

  • Apache Hive se actualiza a la versión 4.0.0.

  • Ahora puede ver el punto final DAS desde la página Detalles de almacenamiento. Para obtener más información, consulte Exploración de objetos de almacenamiento.

Mejoras en la integración

Esta versión de watsonx.data introduce las siguientes integraciones nuevas o mejoradas con otros servicios:

Mejoras en motores y servicios

Esta versión de watsonx.data introduce las siguientes mejoras en el motor y los servicios:

  • Ahora los administradores de instancias pueden configurar grupos de recursos en Presto. Para obtener más información, consulte Grupos de recursos.

  • Ahora puede utilizar una API para ejecutar consultas y recuperar resultados. Para obtener más información, consulte API.

  • Ahora puede configurar o cambiar el nivel de registro de Presto (Java) a través de la personalización de la API. Para más información, API.

  • Ahora puede generar estadísticas de columna de número de valores distintos (NDV) con el procedimiento Iceberg Spark Analyze para mejorar el optimizador basado en costes (CBO) de Spark y así mejorar la planificación de consultas.

  • Ahora puede utilizar la opción de fuente de datos personalizada para conectarse a los conectores Black Hole y Local File para el motor Presto (Java). Para obtener más información, consulte Fuente de datos personalizada.

  • Ahora puede generar fragmentos JSON para el motor Presto y el servicio Milvus. Puede copiarlo/pegarlo en la watsonx.data Presto y Milvus en IBM Cloud Pak for Data y watsonx para simplificar la creación de la conexión. Para obtener más información, consulte Obtención de información de conexión.

Mejoras en la gestión de accesos

Esta versión de watsonx.data introduce las siguientes mejoras en la gestión de accesos:

  • Ahora puede controlar el acceso a los motores Presto (C++). Para obtener más información, consulte Engine(Presto(Java)o Presto(C++)).

  • Ahora puede conceder acceso a los componentes a usuarios y grupos de usuarios por lotes. Para obtener más información, consulte Gestión de acceso de usuario.

  • Ahora puede tener registros de plug-in de Control de acceso al sistema (SAC) con información DEBUG en Presto. Para obtener más información, consulte Personalización de la API.

Mejoras en la congestión

Esta versión de watsonx.data introduce las siguientes mejoras de ingestión:

01 de agosto de 2024 - Versión 2.0.1

Orígenes de datos

  • Ahora puede conectarse a fuentes de datos Db2 utilizando IBM API key como mecanismo de autenticación. Para obtener más información, consulte IBM Db2.
  • Presto (C++) puede asociarse ahora a las fuentes de datos Arrow Flight service. Se admiten operaciones de sólo lectura. Se admiten las siguientes fuentes de datos Arrow Flight service:
    • Salesforce
    • MariaDB
    • Greenplum
    • Apache Derby

Para más información, consulte Arrow Flight service.

  • Las siguientes bases de datos nuevas están disponibles para el motor Presto (Java):

Integraciones

  • Al integrar IBM Knowledge Catalog con IBM watsonx.data, puede configurar reglas de protección de datos para filas individuales de una tabla, lo que permite a los usuarios acceder a un subconjunto de filas de una tabla. Para obtener más información, consulte Filtrado de filas.

  • Ahora puede aplicar las siguientes políticas Apache Ranger para motores Presto (Java):

  • Ahora puede integrar IBM watsonx.data con IBM DataStage local. Puede utilizar el servicio DataStage para cargar y leer datos de IBM watsonx.data. Para más información, Integración con DataStage.

Autenticación y autorización

  • La extensión de control de acceso Spark permite una autorización adicional, mejorando la seguridad en el momento de presentar la solicitud. Si habilita la extensión en la configuración de Spark, solo los usuarios autorizados podrán acceder y operar IBM watsonx.data catálogos a través de trabajos de Spark. Para obtener más información, consulte Mejorar el envío de aplicaciones Spark mediante la extensión de control de acceso de Spark.

  • IBM watsonx.data ahora admite proxy de almacenamiento de objetos y firma para Azure Data Lake Storage y Azure Blob Storage. Para obtener más información, consulte Uso del proxy DAS para acceder a los buckets compatibles con ADLS y ABS.

  • Ahora se proporciona el protocolo ligero de acceso a directorios (LDAP) para las fuentes de datos Teradata y Db2. El usuario debe establecer esta configuración a nivel de servidor. Para Teradata, elija explícitamente el tipo de mecanismo de autenticación como LDAP en la interfaz de usuario. Para más información, Teradata.

El proxy DAS para acceder a los buckets ADLS y ABS y las mejoras LDAP son una vista previa técnica en la versión 2.0.1.

  • Milvus soporta ahora el aislamiento a nivel de partición para los usuarios. Los administradores pueden autorizar acciones específicas de los usuarios en las particiones. Para más información, véase Servicio(Milvus).

Almacenamiento

  • Ahora puede añadir el siguiente almacenamiento al motor Presto (Java) en IBM watsonx.data:
    • Azure Almacenamiento de lago de datos Gen2
    • Azure Almacenamiento Data Lake Gen1 Blob

Para obtener más información, consulte Azure Data Lake Storage Gen2 y Azure Data Lake Storage Gen1 Blob.

  • Puede modificar la clave de acceso y la clave secreta de un bucket registrado por un usuario para un almacenamiento. Esta función no es aplicable a los buckets predeterminados, ADLS o Google Cloud Storage. Esta función sólo puede utilizarse si las nuevas credenciales superan con éxito la prueba de conexión.

Motores

  • Ahora puede utilizar las sentencias de columna ALTER TABLE ADD, DROP y RENAME para la fuente de datos MongoDB.
  • Ahora puede configurar cómo Presto maneja los tipos de datos no soportados. Para obtener más información, consulte ignore-unsupported-datatypes.

Catálogos

  • Ahora puede asociar y desasociar catálogos a un motor de forma masiva a través de la interfaz de usuario en Gestionar asociaciones en la página Administrador de infraestructuras.

Personalización y propiedades de la API

Administrador de infraestructura

  • Puede utilizar la función de búsqueda para los siguientes valores en la página del administrador de infraestructuras:
    • nombre de base de datos
    • nombre de host registrado
    • creado por nombre de usuario
  • Ahora puedes utilizar el conmutador "No molestar" de la sección Notificaciones, bajo el icono de la campana, para activar o desactivar las notificaciones emergentes.
  • Puedes encontrar la información de conectividad en el mosaico Información de conexión de la página Configuraciones. Esta información puede copiarse y descargarse en un fragmento JSON.

Espacio de trabajo de consulta

  • Puede ejecutar consultas en todas las tablas de un esquema a través del espacio de trabajo de consultas SQL sin especificar la ruta <catalog>.<schema> seleccionando los catálogos y esquemas necesarios en la nueva lista desplegable. Para más información, Ejecutar consultas SQL.

watsonx.data planes de precios

  • Ahora puede eliminar la instancia del plan Lite existente antes de alcanzar el límite máximo de la cuenta de 2000 RU, y crear una nueva instancia y consumir las unidades de recursos restantes disponibles en la cuenta. Para obtener más información, consulte watsonx.data Lite plan.

03 de julio de 2024 - Versión2.0.0

Nuevos tipos de datos para fuentes de datos

Los siguientes nuevos tipos de datos ahora están disponibles para algunas fuentes de datos. Puede acceder a estos tipos de datos en el Administrador de datos página bajo el Añadir columna opción.

  • BLOB

    • Db2
    • Teradata
    • Oracle
    • MySQL
    • SingleStore

  • CLOB

    • Db2
    • Teradata
    • Oracle

  • BINARY

    • SQL Server
    • MySQL

Debido a que el tipo de datos numéricos no es compatible conwatsonx.data, puede utilizar el tipo de datos decimal como alternativa equivalente al tipo de datos numérico paraNetezza fuente de datos.

Ahora puede utilizar los tipos de datos BLOB y CLOB con la instrucción SELECT en el espacio de trabajo Consulta para crear y ejecutar consultas en sus datos paraOracle ySingleStore fuentes de datos.

Ahora puede utilizar los tipos de datos BLOB y CLOB paraMySQL yPostgreSQL fuentes de datos como equivalentes a LONGTEXT, BYTEA y TEXT porque estos tipos de datos no son compatibles conPresto (Java ). Estos tipos de datos se asignan a CLOB y BLOB enPresto (Java ) si las fuentes de datos tienen tablas existentes con tipos de datos LONGTEXT, TEXT y BYTEA.

  • MySQL (CLOB como equivalente a LONGTEXT)
  • PostgreSQL (CLOB como equivalente a TEXTO)
  • PostgreSQL (BLOB como equivalente a BYTEA)
  • Netezza (decimal como equivalente a numérico)
  • Oracle (BLOB y CLOB con la instrucción SELECT)
  • SingleStore (BLOB y CLOB con la instrucción SELECT)

Nuevas operaciones para fuente Db2 de datos

Puede realizar las siguientes operaciones para los tipos de datos BLOB y CLOB paraDb2 fuente de datos:

  • INSERTAR
  • CREAR
  • CTAS
  • ALTER
  • DESCARTAR

Nuevas fuentes de datos Arrow Flight service basadas en

Ahora puede utilizar las siguientes fuentes de datos con Arrow Flight service:

  • Greenplum
  • Salesforce
  • MariaDB
  • Apache Derby

Para más información, consulte Arrow Flight service.

Nuevos orígenes de datos

Ahora puede utilizar las siguientes fuentes de datos:

  • Cassandra
  • BigQuery
  • ClickHouse
  • Apache Pinot

Para más información, ver Agregar un par de base de datos y catálogo.

Comando para recuperar el historial de ingesta

Ahora puede recuperar el estado de todos los trabajos de ingesta que se envían mediante ibm-lh get-status--all-jobs Comando CLI. Puede recuperar el estado de todos los trabajos de ingesta que se envían. Obtienes los registros históricos a los que tienes acceso. Para más información, ver Opciones y parámetros admitidos en la herramienta ibm-lh.

Funciones adicionales para la S2S autorización IBM Knowledge Catalog (IKC)

Además del acceso a los datos,IBM Knowledge CatalogS2S La autorización necesita acceso a metadatos y acceso a la API de la consola para integrarse conwatsonx.data. Se crean los siguientes roles nuevos para la configuración de acceso al servicio IKC:

  • Visor
  • Visor de metastore

Apache Políticas de los guardabosques

IBMwatsonx.data ahora apoyaApache Políticas de guardabosques para permitir la integración conPresto motores. Para más información, ver Apache Política de guardabosques.

Actualización de versión

  • Presto (Java ) el motor ahora está actualizado a la versión0.286.
  • El servicio Milvus ha sido actualizado a la versión 2.4.0. Las características importantes incluyen:
    • Mejor rendimiento (baja utilización de memoria)
    • Admite datos dispersos
    • Motor SPLADE incorporado para incrustación de vectores dispersos
    • BGEM3 Búsqueda híbrida (densa+escasa)

Hive Acceso a Metastore (HMS) en watsonx.data

Ahora puede obtener información de metadatos paraHive Metastore mediante el uso de API REST en lugar de obtener la información de los detalles del motor. Los detalles de HMS son utilizados por entidades externas para integrarse conwatsonx.data. Debe tener una función de administrador, administrador de Metastore o visor de Metastore para ejecutar la API.

Automatización semántica para el enriquecimiento de datos

La automatización semántica para el enriquecimiento de datos aprovecha la IA generativa conIBM Knowledge Catalog para comprender sus datos en un nivel más profundo y mejorarlos con enriquecimiento automatizado para que sean valiosos para el análisis. La integración de la capa semántica está disponible para los usuarios del plan Lite solo como una versión de prueba de 30 días. Para más información, ver Automatización semántica para el enriquecimiento de datos enwatsonx.data.

Optimizador de consultas para mejorar el rendimiento de las consultas

Ahora puede utilizar Query Optimizer para mejorar el rendimiento de las consultas procesadas por elPresto (C++) motor. Si Query Optimizer determina que la optimización es factible, la consulta se reescribe; de lo contrario, la optimización nativa del motor tiene prioridad. Para más información, ver Descripción general del Optimizador de consultas.

Nuevo nombre para Presto motor en watsonx.data

Presto se cambia el nombre aPresto (Java ).

Nuevo motor ( Presto C++) en watsonx.data

Puedes aprovisionar unPresto (C++) motor (versión0.286 ) enwatsonx.data para ejecutar consultas SQL en su fuente de datos y recuperar los datos consultados. Para más información, verPresto (C++) descripción general.

Uso de proxy para acceder a S3 y S3 buckets compatibles

Las aplicaciones externas y los motores de consulta pueden acceder alS3 yS3 cubos compatibles gestionados porwatsonx.data a través de unS3 apoderado. Para más información, ver UsandoS3 proxy para accederS3 yS3 cubos compatibles.

Indicador de función de mayúsculas y minúsculas mixtas para el motor Presto ( Java )

El indicador de función de mayúsculas y minúsculas, que permite cambiar entre el comportamiento que distingue entre mayúsculas y minúsculas y no distingue entre mayúsculas y minúsculas enPresto (Java ), está disponible. El indicador está configurado en APAGADO de forma predeterminada y se puede configurar en ENCENDIDO durante la implementación dewatsonx.data. Para obtener más información, consulte Presto(Java)mixed-case support overview.

Nuevo tipo de almacenamiento Google Cloud Storage

Ahora puedes usar un nuevo tipo de almacenamientoGoogle Cloud Storage. Para más información, ver Agregar un par de catálogo de almacenamiento.

31 de mayo de 2024-Versión 1.1.5

Provisión del motor Spark en el plan watsonx.data Lite

Ahora puede añadir un motor Spark de tamaño pequeño (nodo único) en la instancia del plan Lite watsonx.data. Para obtener más información, consulte watsonx.data Lite plan.

Actualizaciones relacionadas con laboratorios Spark

  • Cómo trabajar con cuadernos de Jupyter desde laboratorios Spark

: Ya puedes instalar la extensión Jupyter desde VS Code Marketplace dentro de tu laboratorio Spark y trabajar con Jupyter Notebooks. Para obtener más información, consulte Crear cuadernos Jupyter.

  • Acceso a Spark UI desde Spark labs

Ahora puede acceder a la interfaz de usuario (UI) de Spark desde Spark labs para supervisar diversos aspectos de la ejecución de una aplicación Spark. Para obtener más información, consulte Acceso a Spark UI desde Spark labs.

Nueva región para aprovisionar la IBM Cloud instancia

Ahora puede suministrar la instancia de IBM Cloud en la región de Sídney.

30 de abril de 2024-Versión 1.1.4

En abril de 2024 se lanzó una nueva watsonx.data versión de.

Esta versión incluye las siguientes características y actualizaciones:

Kerberos autenticación para HDFS conexiones

Ahora puede habilitar la autenticación Kerberos para conexiones seguras de Apache Hadoop Distributed File System (HDFS). Para obtener más información, consulte HDFS.

Nuevos orígenes de datos

Ahora están disponibles los siguientes orígenes de datos nuevos:

  • Oracle
  • Amazon Redshift
  • Informix
  • Prometheus

Para obtener más información, consulte Orígenes de datos.

Probar conexiones SSL

Ahora puede probar conexiones SSL para los orígenes de datos MongoDB y SingleStore.

Carga de archivos de descripción para fuente Apache Kafka de datos

El origen de datos Apache Kafka almacena datos como mensajes de bytes que los productores y consumidores deben interpretar. Para consultar estos datos, los consumidores primero deben correlacionarlos en columnas. Ahora, puede cargar archivos de descripción de tema que conviertan datos sin formato a un formato de tabla. Cada archivo debe ser un archivo JSON que contenga una definición para una tabla. Para cargar estos archivos JSON desde la interfaz de usuario, vaya a la página de visión general de la base de datos Apache Kafka que ha registrado y seleccione la opción Añadir tema. Para obtener más información, consulte Apache Kafka.

Planes de licencia para watsonx.data

IBM® watsonx.data ahora ofrece los siguientes planes de licencia.

  • Plan Lite
  • Plan de empresa

Para obtener más información sobre los distintos planes de licencia, consulte Planes de precios deIBM® watsonx.data.

Presto Actualización de la versión del motor ( Java )

ElPresto (Java ) el motor ahora está actualizado a la versión0.285.1.

Pausar o reanudar Milvus

Ahora puede pausar o reanudar el servicio Milvus. Poner en pausa el servicio puede evitar incurrir en cargos.

Spark ahora está disponible como motor nativo

Además de registrar motores Spark externos, ahora puede suministrar el motor Spark nativo en la instancia de IBM watsonx.data. Con el motor Spark nativo, puede gestionar completamente la configuración de Spark Engine, gestionar el acceso a Spark Engines y ver aplicaciones utilizando watsonx.data UI y puntos finales de API REST. Para obtener más información, consulte Suministro del motor de Spark nativo.

Ingerir datos utilizando motores Spark nativos

Ahora puede enviar trabajos de ingestión utilizando motores Spark nativos. Para más información, consulte Trabajar con distintos formatos de tabla.

27 de marzo de 2024-Versión 1.1.3

En marzo de 2024 se lanzó una nueva watsonx.data versión de.

Esta versión incluye las siguientes características y actualizaciones:

Nuevo tipo de datos para algunos orígenes de datos

Ahora puede utilizar el tipo de datos BINARY con la sentencia SELECT en el espacio de trabajo Consulta para crear y ejecutar consultas en los datos para los siguientes orígenes de datos:

  • Elasticsearch
  • SQL Server
  • MySQL

Nuevos tipos de datos: BLOB y CLOB están disponibles para las fuentes de datos MySQL, PostgreSQL, Snowflake, SQL Server y Db2. Puede utilizar estos tipos de datos sólo con sentencias SELECT en el espacio de trabajo Consulta para crear y ejecutar consultas en los datos.

Suprimir datos utilizando la característica DELETE FROM para orígenes de datos Iceberg

Ahora puede suprimir datos de tablas en orígenes de datos de Iceberg utilizando la característica DELETE FROM.

Puede especificar la modalidad de supresión de propiedad de tabla para tablas nuevas utilizando la modalidad de copia al escribir o la modalidad de fusión al leer (valor predeterminado).

Sentencia ALTER VIEW para origen de datos Iceberg

Ahora puede utilizar la siguiente sentencia SQL en el espacio de trabajo Consulta para crear y ejecutar consultas en los datos para ALTER VIEW:

ALTER VIEW nombre RENAME TO nombre_nuevo

Cargar certificados SSL para fuentes Netezza Performance Server de datos

Ahora puede examinar y cargar el certificado SSL para conexiones SSL en orígenes de datos de Netezza Performance Server. Los formatos de archivo válidos para el certificado SSL son .pem, .crt y .cer. Puede cargar certificados SSL utilizando la opción Añadir un par de base de datos-catálogo en el gestor de infraestructura.

Consultar datos de Db2 y Watson Query

Ahora puede consultar apodos creados en Db2 y tablas virtualizadas de instancias de Watson Query.

Conexión SSL para fuente IBMData Virtualization Manager for z/OS de datos

Ahora puede habilitar la conexión SSL para el origen de datos IBM Data Virtualization Manager for z/OS utilizando la interfaz de usuario Añadir base de datos para proteger y cifrar la conexión de base de datos. Seleccione Validar certificado para validar si el certificado SSL devuelto por el host es de confianza. Puede elegir proporcionar el nombre de host en el certificado SSL.

Utilizar datos del Apache Hudi catálogo

Ya puede conectarse a los datos del catálogo Apache Hudi y utilizarlos.

Añadir Milvus como servicio en watsonx.data

Ahora puede aprovisionar Milvus como un servicio en watsonx.data con las siguientes características:

  • Suministre diferentes variantes de almacenamiento como, por ejemplo, nodos de inicio, medios y grandes.

  • Asigne funciones de administrador o usuario a los usuarios de Milvus: La política de acceso de usuarios ya está disponible para los usuarios de Milvus. Mediante la interfaz de usuario de control de acceso, puede asignar funciones de administrador o usuario a los usuarios de Milvus y también conceder, revocar o actualizar el privilegio.

  • Configure el Almacenamiento de objetos para que Milvus almacene datos. Puede añadir o configurar un cubo personalizado y especificar el nombre de usuario, la contraseña, la región y URL del cubo.

Para más información, consulte Milvus.

Cargar datos por lotes utilizando la herramienta de ingestión ibm-lh

Ahora puede utilizar la herramienta de ingestión ibm-lh para ejecutar procedimientos de ingestión por lotes en modalidad no interactiva (desde fuera del contenedor ibm-lh-tools), utilizando el paquete ibm-lh-client. Para obtener más información, consulte ibm-lh commands and usage.

Creación de esquema utilizando la ingestión masiva en la consola web

Ahora puede crear un esquema utilizando el proceso de ingestión masiva en la consola web, si el esquema no se ha creado anteriormente.

Utiliza consultas de viaje en el tiempo en Apache Iceberg tablas

Ahora puede ejecutar las siguientes consultas de viaje en el tiempo utilizando ramas y etiquetas en las instantáneas de la tabla Apache Iceberg:

-SELECT *FROM <table name> FOR VERSION AS OF 'código-histórico'

-SELECT *FROM <table name> FOR VERSION AS OF 'ramificación-prueba'

Acceso a Cloud Object Storage sin credenciales Ahora puede acceder a su bucket Cloud Object Storage sin credenciales, utilizando el punto final del Servicio de Acceso a Datos (DAS).

28 de febrero de 2024-Versión 1.1.2

En febrero de 2024 se lanzó una nueva watsonx.data versión de.

Esta versión incluye las siguientes características y actualizaciones:

Conexión SSL para orígenes de datos

Ahora puede habilitar la conexión SSL para los siguientes orígenes de datos utilizando la interfaz de usuario Añadir base de datos para proteger y cifrar la conexión de base de datos.

  • Db2

  • PostgreSQL

Para obtener más información, consulte Adición de una base de datos.

Historial de trabajos de ingestión segura

Ahora, los usuarios solo pueden ver su propio historial de trabajos de ingestión. Los administradores pueden ver el historial de trabajos de ingestión para todos los usuarios.

Mejoras de SQL

Ahora puede utilizar las siguientes sentencias SQL en el espacio de trabajo Consulta para crear y ejecutar consultas en los datos:

  • Apache Iceberg fuentes de datos
    • CREAR VISTA
    • DROP VIEW
  • Orígenes de datos MongoDB
    • SUPRIMIR

Nuevos tipos de datos BLOB y CLOB para fuente Teradata de datos

Hay nuevos tipos de datos BLOB y CLOB disponibles para el origen de datos Teradata. Puede utilizar estos tipos de datos sólo con sentencias SELECT en el espacio de trabajo Consulta para crear y ejecutar consultas en los datos.

Crear una tabla nueva durante la ingestión de datos

Anteriormente, tenía que tener una tabla de destino en watsonx.data para ingerir datos. Ahora, puede crear una nueva tabla directamente desde el archivo de datos de origen (disponible en formato parquet o CSV) utilizando la ingestión de datos desde Data Manager. Puede crear la tabla utilizando los siguientes métodos de ingestión:

  • Ingestión de datos utilizando el cargador de copias de Iceberg.

  • Ingestión de datos utilizando Spark.

Realizar operaciones ALTER TABLE en una columna

Con un origen de datos Iceberg, ahora puede realizar operaciones ALTER TABLE en una columna para las conversiones de tipo de datos siguientes:

  • int a bigint

  • flotante a doble

  • decimal (num1, dec_dígitos) a decimal (num2, dec_dígitos), donde num2>num1.

Mejor rendimiento de las consultas utilizando archivos ordenados

Con una fuente de datos Apache Iceberg, puede generar archivos ordenados, lo que reduce la latencia del resultado de la consulta y mejora el rendimiento de Presto ( Java ). Los datos de la tabla Iceberg se ordenan durante el proceso de grabación en cada archivo.

Puede configurar el orden para ordenar los datos utilizando la propiedad de tabla sorted_by. Cuando cree la tabla, especifique una matriz de una o más columnas implicadas en la ordenación. Para inhabilitar la característica, establezca la propiedad de sesión sorted_writing_enabled en false.

31 de enero de 2024-Versión 1.1.1

En enero de 2024 se lanzó una nueva watsonx.data versión de.

Esta versión incluye las siguientes características y actualizaciones:

Data Virtualization Manager for z/OS®IBM conector

Ahora puede utilizar el nuevo conector de IBM Data Virtualization Manager for z/OS® para leer y escribir IBM Z® sin mover, replicar o transformar los datos. Para obtener más información, consulte Conexión a un origen de datos de IBM Data Virtualization Manager(DVM).

Teradata El conector está habilitado para múltiples ALTER TABLE instrucciones.

El conector Teradata ahora da soporte a las sentencias ALTER TABLE RENAME TO, ALTER TABLE DROP COLUMN y ALTER TABLE RENAME COLUMN column_name TO new_column_name.

Soporte para consultas de viajes en el tiempo

Conector Iceberg paraPresto (Java ) ahora admite consultas de viajes en el tiempo.

La propiedad format_version ahora muestra la versión actual

La propiedad format_version ahora muestra el valor correcto (versión actual) al crear una tabla Iceberg.

29 de noviembre de 2023-Versión 1.1.0

En noviembre de 2023 se lanzó una nueva watsonx.data versión de.

Esta versión incluye las siguientes características y actualizaciones:

Presto Comportamiento sensible a mayúsculas Java y minúsculas

ElPresto (Java ) el comportamiento cambia de no distinguir entre mayúsculas y minúsculas a distinguir entre mayúsculas y minúsculas. Ahora puede proporcionar los nombres de objeto en el formato de caso original como en la base de datos. Para más información, ver Configuración de búsqueda que distingue entre mayúsculas y minúsculas conPresto(Java).

característica de retrotracción

Puede utilizar la característica Retrotraer para retrotraer o recuperar en avance cualquier instantánea para tablas de Iceberg.

Capturar cambios de lenguaje de definición de datos (DDL)

Ahora puede capturar y realizar un seguimiento de los cambios DDL en watsonx.data utilizando un receptor de eventos.

Ingerir datos utilizando Spark

Ahora puede utilizar IBM Analytics Engine que funciona con Apache Spark para ejecutar trabajos de ingestión en watsonx.data.

Para obtener más información, consulte Ingestión de datos utilizando Spark.

Integración con Db2 y Netezza Performance Server

Ahora puede registrar motores de Db2 o Netezza Performance Server en la consola de watsonx.data.

Para obtener más información, consulte Registro de un motor.

Nuevos conectores

Ahora puede utilizar conectores en watsonx.data para establecer conexiones con los siguientes tipos de bases de datos:

  • Teradata
  • Delta Lake
  • Elasticsearch
  • SingleStoreDB
  • Snowflake

Para obtener más información, consulte Adición de una base de datos.

AWS EMR para Spark

Ahora puede ejecutar aplicaciones Spark desde Amazon Web Services Elastic MapReduce (AWS EMR) para conseguir los casos de uso de Spark watsonx.data:

  • Ingestión de datos
  • Consulta de datos
  • Mantenimiento de tabla

Para obtener más información, consulte Utilización del caso de uso de AWS EMR for Spark.

7 de julio de 2023-Versión 1.0.0

watsonx.data es una nueva arquitectura abierta que combina los elementos del almacén de datos y los modelos de lago de datos. Las mejores características y optimizaciones disponibles en watsonx.data lo convierten en una opción óptima para la automatización y la analítica de datos de próxima generación. En el primer release (watsonx.data 1.0.0), se da soporte a las características siguientes:

  • Crear, escalar, pausar, reanudar y eliminar elPresto (Java ) motor de consultas
  • Asociación y disociación de un catálogo con un motor
  • Exploración de objetos de catálogo
  • Adición y supresión de un par de base de datos-catálogo
  • Actualización de credenciales de base de datos
  • Adición y supresión de un par de bucket-catalog
  • Exploración de objetos de grupo
  • Carga de datos
  • exploración de datos
  • Consulta de datos
  • Historial de consultas