watsonx.data のリリース・ノート

これらのリリース・ノートでは、IBM® watsonx.data の最新の更新について、日付別にまとめて説明します。

watsonx.data as a Service on IBM Cloud with gen AI experienceの新機能については、 watsonx.data as a Service on IBM Cloud with gen AI experienceのリリースノートをご覧ください。

watsonx.data on-prem の新機能については、 watsonx.data のリリースノートをご覧ください。

watsonx.data オンプレミアムプレミアムの新機能については、オンプレミアムプレミアムのリリースノートをご覧ください。

2025年6月11日 - バージョン 2.2

watsonx.data 2.2.0 バージョンは段階的にリリースされ、すべての地域で利用できるわけではない。 2.2.0 リリースがお住まいの地域で利用可能かどうかについては、 IBM サポートにお問い合わせください。

エンジンとサービスの強化

本リリース（ watsonx.data ）では、以下のエンジンとサービスの強化が行われている：

プロキシホストルートを使用して Milvus サービスに接続するための新しい API バージョンを導入。詳細は、 Milvus サービスへの接続を参照。
Presto (C++) エンジンでは、 Hive と Iceberg カタログがリージョン設定で有効になりました。詳細については、 Presto （C++）エンジンのプロビジョニングを参照してください。
新しいGlutenアクセラレーションSparkエンジン：GlutenアクセラレーションSparkエンジンをプロビジョニングし、Spark SQLフレームワークの高いスケーラビリティとネイティブライブラリの高いパフォーマンスを活用して、複雑な分析ワークロードを実行できるようになりました。新しいGlutenアクセラレーション・スパーク・エンジンでの作業については、 Glutenアクセラレーション・スパーク・エンジンでの作業を参照してください。
SparkジョブでIcebergテーブルデータを変換することで、ワークスペースクエリーを高速に実行：Icebergテーブルの読み込みを高速化するために、Sparkジョブを使用してIcebergテーブルデータをMerge-on-Read（MOR）形式からCopy-on-Write（COW）形式に変換できるようになりました。詳細については、 MoR から CoW への変換のためのSparkジョブの投入を参照。

CPDCTL CLI の機能強化

このリリースの watsonx.data では、 IBM Cloud Pak for Data Command Line Interface ( IBM cpdctl) に以下の機能強化が加えられている：

tablemaint コマンドを使用すると、 watsonx.data でさまざまな Iceberg テーブルのメンテナンス操作を実行できます。
CPDCTL API 機能を使用して、リストアップできるアプリケーションの上限と、アプリケーションのフィルタリングに使用できるフィルタ基準を設定できます。
wx-data service コマンドを使用すると、テーブルの一覧表示、QHMM が有効なバケットの一覧の取得、QHMM 関連の統計やクエリの監視など、サービス性に関連するさまざまな操作を実行できます。

詳細については、 IBM cpdctlを参照のこと。

統合の機能拡張

watsonx.data の今回のリリースでは、他のサービスとの統合が以下のように強化されている：

新しい配送方法：テーブルとして配信 watsonx.data

サポートされているデータソースを使用したデータ製品は、 watsonx.data のテーブルとして配信メソッドを使用して、 watsonx.data テーブルのインスタンスに配信できるようになりました。この方法では、適切な権限を持つユーザーが新しいテーブルを作成したり、既存のテーブルに追加したりすることができる。詳細については、 Data Product Hub との統合を参照してください。

新しい配達方法：でのアクセス watsonx.data

watsonx.data 配信方法でアクセスすることで、 watsonx.data インスタンスから作成されたデータ製品を購読できるようになりました。この方法によって、消費者は Data Product Hub を通して watsonx.data のリソースに直接アクセスすることができる。配信後、コンシューマーには、 watsonx.data インスタンスへのアクセス方法と、アクセスできる特定のリソースの詳細が表示されます。詳細については、 Data Product Hub との統合を参照してください。

以下の方法でSparkクエリサーバーに接続し、クエリを実行してデータを分析できるようになりました。
- DBeaver の使用 ( JDBC クライアント)
- Java ( JDBC クライアント) コードの使用
- Python ( PyHive JDBC クライアント)の使用
詳細については、 Spark JDBC Driverを使用したSparkクエリサーバーへの接続を参照してください。

課金機能強化

watsonx.data の本リリースでは、課金機能に以下の機能強化が施されている：

請求の詳細化：ユーザーは請求明細を明細形式で表示できるようになり、より詳細で透明性の高い請求が可能になります
課金精度：ユーザーの課金使用量は、これまでのハイウォーターマーク方式に代わり、1分単位で追跡されるようになりました

クエリー履歴の監視と管理（QHMM）の強化

watsonx.data の今回のリリースでは、以下の QHMM の強化が導入されている：

クエリモニタリングページがクイックスタートウィザードの設定から削除され、バケットの設定ページに統合されました。 QHMMストレージの有効化、無効化、詳細設定は、クイック・スタート・ウィザードのバケット設定ページから直接行えるようになりました。更新されたクイック・スタート・ウィザードのセットアップについては、クイック・スタートを参照してください。

データソースとストレージの強化

このリリースの watsonx.data には、以下のストレージ強化が含まれている：

New Technology LAN Manager (NTLM) 認証および Microsoft Entra 認証で SQL Server を使用できるようになりました。 NTLM は Windows ベースのチャレンジ・レスポンス認証方式である。詳しくは SQL Server.

アクセス管理の強化

watsonx.dataのこのリリースでは、以下のアクセス管理機能が強化されています：

エクスポート機能を使用して、既存のリソースポリシーをダウンロードし、別の必要な環境にインポートすることができます。これにより一貫性が確保され、スムーズな移行が可能になる。インポート・エクスポート機能の使用方法については、ユーザー・アクセスの管理を参照してください。
カタログ管理者または管理者ロールを持つグループに属するユーザーは、カタログへのアクセスを削除できるようになりました。コンポーネントのユーザを削除する方法の詳細については、ユーザ・アクセスの管理を参照してください。
管理者以外のユーザーは読み取り専用で、設定セクション内のドライバーマネージャーページを表示できるようになりました。これにより、管理者に相談することなく、アクティブなドライバーのリストとその詳細を確認することができる。詳細については、ドライバーマネージャーを参照してください。

監査とトラッキングの強化

本リリース（ watsonx.data ）では、以下の監査および追跡機能が強化された：

追跡可能なイベントのリストには、MDS ThriftサーバーとMDS Restサーバーに関連する詳細なアクティビティが含まれるようになり、アプリケーションとユーザーがこれらの重要なコンポーネントとどのようにやり取りしているかを把握できるようになりました。詳細については、 MDS Thriftサーバーイベントおよび MDS Restサーバーイベントを参照してください。

非推奨フィーチャー

このリリースでは、以下の機能が非推奨となります：

Milvus RESTホストを使用するAPI（接頭辞が /api/v1 のAPI）は、 watsonx.data v2.2 をもって非推奨となります。
Azure Data Lake Storage (ADLS) は現在非推奨となっており、今後のリリースで削除される予定です。 Gen1 ADLS Gen1 が利用できないため、ADLS Gen2 に移行する必要があります。
ユーザ名として ibmlhapikey と ibmlhtoken を使用するユーザ認証方法は、現在非推奨となっており、将来のリリースで削除される予定です。代わりに ibmlhapikey_username と ibmlhtoken_username が使えます。詳細については、 watsonx.data のアクセス管理とガバナンスを参照のこと。

2025 年 4 月 10 日 - バージョン 2.1.2 Hotfix 1

エンジンとサービスの強化

本リリース（ watsonx.data ）では、以下のサービスが強化されました：

Milvus ベクター・データベースの軽量なシングルノード・デプロイメントである Tiny Milvus を導入。

Tiny Milvus は、 Milvus のコア体験を提供し、 watsonx.ai プラットフォームでの使用に特化して設計されています。最小限のリソースでベクトルベースのAI探索を行うためのエントリーポイントとして機能し、効果的なデータ管理と分析を支援する。これは、 watsonx.data で利用可能な他の Milvus 構成とは異なるもので、より広範なスケーラビリティとエンタープライズグレードの機能をサポートしています。

Tiny Milvus は最大 10K のベクターをサポートしており、重いインフラを必要としない迅速な試験や初期の実験に適している。本番用のワークロードを想定していない。

Tiny Milvus の使用方法については、 watsonx.data Milvus ベクターストアのセットアップを参照してください。

04 2025年4月 - バージョン 2.1.2

watsonx.data 2.1.2 バージョンは段階的に異なる地域にリリースされ、すべての地域で利用できるわけではない。 2.1.2 リリースがお住まいの地域で利用可能かどうかについては、 IBM サポートにお問い合わせください。現在、 watsonx.data 2.1.1 バージョンを使用している場合は、ドキュメントを参照してください、 watsonx.data 2.1.1.

データソースとストレージの強化

このリリースの watsonx.data には、以下のストレージ強化が含まれている：

これで IBM Db2 for i データソースに接続できます。については IBM Db2 for i については IBM Db2 for i.

コネクティビティの強化

watsonx.data の本リリースには、以下の接続性強化が含まれている：

仮想プライベートエンドポイントを使用して、 watsonx.data インスタンスに安全かつプライベートに接続できるようになりました。 watsonx.data におけるネットワーク・エンドポイントの設定については、仮想プライベート・エンドポイントの設定を参照。

統合の機能拡張

watsonx.data の今回のリリースでは、他のサービスとの統合が強化され、以下の機能が追加されました

Presto (C++) エンジンを watsonx.data と統合する際に、 IBM Knowledge Catalog ガバナンス・ポリシーを定義できるようになりました。 IBM Knowledge Catalog （IKC）への接続については、 IBM Knowledge Catalog （IKC）への接続を参照してください。
ODBC ドライバ (Simba または CData) の選択に基づいて、ターゲット Presto エンジン用の設定ファイルをエクスポートできるようになり、 watsonx.data との接続をより簡単に確立できるようになりました。この機能強化により、 PowerBI を使用して Presto エンジンの詳細を手動で設定する手間が省けます。コンフィグファイルを使用した Presto への接続については、コンフィグファイルを使用した Presto への接続を参照してください。
Data Product Hub との統合 : watsonx.data を DPH と統合することで、SQL テーブルとクエリを特定のユースケースに合わせたデータ製品にパッケージ化することができます。詳細については、 Data Product Hub との統合を参照してください。

摂取促進

watsonx.data のこのリリースには、以下のインジェスト機能強化が含まれている：

外部Sparkエンジンを使用するIngestionジョブは、 watsonx.data 内でログを提供するようになりました。この機能強化により、ユーザーはクラウドプラットフォーム（ SaaS インスタンス）上の watsonx.data 内で直接、ジョブの実行を効率的に特定し、トラブルシューティングできるようになりました。インジェスト手順の詳細は、ウェブコンソールからSparkを使ってデータをインジェストするでご覧いただけます。

エンジンとサービスの強化

本リリース（ watsonx.data ）では、以下のエンジンとサービスの強化が行われている：

Azure Data Lake Storage Gen2 with AccessKey Authmode with Spark engineを使用して、Sparkアプリケーションを送信しながらデータを保存できるようになりました。 Azure Data Lake Storage Gen2 については、 Azure Data Lake Storage を参照。

クエリー・ワークスペースの強化

今回のリリースでは、 watsonx.data、以下のクエリ・ワークスペースが強化された：

1つまたは複数の実行中のクエリをキャンセルするオプションが追加されました。さらに、クエリーがキャンセルされた後や正常に完了した後にワークシートからクエリーを削除できるので、ワークスペースの整理整頓が簡単になります。詳細については、 SQLクエリの実行を参照してください。

アクセス管理の強化

watsonx.dataのこのリリースでは、以下のアクセス管理機能が強化されています：

管理者は IBM Db2 および IBM Netezza のアクセスを設定できるようになった。 IBM Netezza IBM Db2 エンジンの閲覧、編集、管理を行う watsonx.data ユーザーにロールを割り当てることができます。リソースレベルのパーミッションについては、 (Db2 および Netezza ) を参照のこと。
管理者は、独自のスキーマを作成および表示する際に、ユーザーまたはロールに特定の権限を付与または取り消すことができるようになりました。データ・ポリシー・ルールについては、データ・ポリシー・ルールの管理を参照してください。
以前は非推奨であった DAS プロキシフローは削除され、 watsonx.data では利用できなくなりました。

クエリー履歴の監視と管理（QHMM）の強化

watsonx.data のこのリリースでは、以下の QHMM の機能強化が行われている：

watsonx.data でクエリ監視を設定する際に、QHMM カタログに関連付けられている Presto エンジンを選択できるようになりました。 QHMMの設定については、クエリ・モニタリングの設定を参照してください。
これで、移行スクリプトを使って、 watsonx.data の移行元バケットから移行先バケットに QHMM データを転送できるようになりました。移行スクリプトの使用方法の詳細については、 QHMMシェルスクリプトの使用方法を参照してください。

CPDCTL CLI の機能強化

watsonx.data の本リリースでは、 IBM Cloud Pak for Data Command Line Interface ( IBM cpdctl) に以下の機能強化が加えられている：

バージョン 2.1.2 以降、 wx-data コマンドがデフォルトで利用できるようになり、 watsonx.data でインジェスト、エンジン管理などの操作ができるようになった。
wx-data engine create と wx-data engine delete コマンドを使用して、 watsonx.data で利用可能なすべてのエンジンのプロビジョニングと削除を行うことができます。
sparkjob コマンドを使用すると、Spark アプリケーションの送信、一覧表示、詳細の取得ができます。
INSTANCE_ID インスタンス環境を設定する際に使用される。 WX_DATA_INSTANCE_ID

詳細については、 IBM cpdctlを参照のこと。

2025年2月28日 - バージョン 2.1.1

新たに利用可能になったリージョン

watsonx.data トロント地域で、ライトプランとエンタープライズプランが利用可能になりました。プロビジョニングについては、Provisioning watsonx.data Lite プランおよび Provisioning watsonx.data Enterprise プランをご覧ください。

データソースとストレージの強化

watsonx.data の今回のリリースには、以下のストレージ機能強化が含まれています

現在、以下のデータソースとストレージの接続をテストすることができます
- Apache Phoenix
- IBM Data Virtualization Manager
- BigQuery
- Google Cloud Storage
Register table および Load tableメタデータAPI を使用して、オブジェクトストレージ上に既存のHudiおよびDeltaテーブルを登録し、ロードできるようになりました。

摂取促進

インジェストジョブが完了すると、 インジェスト履歴ページから直接インジェストされたデータにアクセスできるようになりました。これにより、ワークフローが効率化され、時間の節約にもなります。

統合の機能拡張

watsonx.data の今回のリリースでは、他のサービスとの統合が強化され、以下の機能が追加されました

接続情報ページに、以下の内容が追加されました
- Presto DBT統合のための構成の詳細。 DBT との統合に必要な Presto の設定の詳細は、このページからコピーできます。
- Tableau との統合に必要な Presto エンジンの構成の詳細を含むTDSファイルをエクスポートするオプション。

詳細は、接続情報の取得を参照してください。

エンジンとサービスの強化

watsonx.dataのこのリリースでは、以下のエンジンとサービスの強化が導入されています：

Sparkエンジン詳細ページの 「アプリケーション」タブから、Sparkアプリケーションを作成できるようになりました。詳細については、「コンソールからのSparkアプリケーションの送信」を参照してください。
Sparkのバージョン、 3.5.4 を使って、 watsonx.data でアプリケーションを実行できるようになった。 watsonx.data、 Apache Spark 3.4.4、 Apache Spark 3.5.4 が対応バージョンです。
Milvus 以下を許可する:
- Milvus では、複数のベクトルカラムに基づくハイブリッド GroupBy 検索が可能になり、また、検索クエリを実行する際のグループサイズをカスタマイズできるようになりました。詳細については、カスタム検索については、 watsonx Assistant を watsonx.data Milvus に接続するを参照してください。
- Milvus 現在、最大1,024次元の30億ベクトルを格納できるカスタムサイズをサポートしています。
- Milvus 現在、あらかじめ設定されたTシャツのサイズ（S、M、L）またはカスタムサイズの間で、拡大または縮小が可能になりました。詳細は、「 Milvus サービスの追加」を参照してください。
watsonx.data 2.1.1 バージョンから、 Milvus 2.5.0 がサポートされています。詳細については、 Milvus。

アクセス管理の強化

watsonx.dataのこのリリースでは、以下のアクセス管理機能が強化されています：

watsonx.data のアクセス管理サービス（AMS）は、 Presto からの受信リクエストに JSON Web トークン（JWT）認証を使用できるようになりました。これにより、安全で効率的なアクセス制御が実現します。詳細については、「 Presto エンジンへの Presto CLI（リモート）による接続」を参照してください。
インフラストラクチャコンポーネントにユーザーとロールを20件ずつまとめて割り当てることができるようになりました。詳しくは、ユーザーのアクセス権限の管理を参照してください。
Apache Ranger Hadoop SQL ポリシーを使用して、Spark エンジンでデータを管理できるようになりました。 Sparkエンジンが Hadoop クラスタからデータにアクセスする際に、Rangerポリシーを定義することができます。 Rangerポリシーを有効にすることで、強固なデータセキュリティとガバナンスが確保されます。 Ranger ポリシーを使用すると、テーブルの権限設定（ L3 ）、行レベルのフィルタリング、およびデータのカラムマスクを設定することができます。詳細は、「リソースに対する Apache Ranger ポリシーの有効化」を参照してください。

CPDCTL CLI の機能強化

IBM CPDCTL 現在、 watsonx.data のさまざまな操作の設定と管理には CLI が使用されている。 CPDCTL CLI を使用すると、構成設定の管理、取り込みジョブの実行、エンジン、データソース、ストレージの管理が可能です。現在、これらの操作を実行するために、以下の2つのプラグインが使用されています

config- watsonx.data のサービス環境とユーザーを設定します。
wx-data- watsonx.data で、取り込み、エンジン管理などの他の操作を行う。詳細については、 IBM cpdctl をご覧ください。

watsonx.data 開発者版は、 CPDCTL バージョン以降で有効になりました。 IBM v1.6.104

非推奨フィーチャー

このリリースでは、以下の機能が非推奨となります：

データアクセスサービス（DAS）プロキシ機能は現在非推奨となっており、今後のリリースで削除される予定です。オブジェクトストレージ（ S3、ADLS、ABS）にアクセスするには、DASプロキシ機能を使用することはできません。 DASプロキシフローを使用していて問題が発生した場合は、 IBM サポートまでご連絡ください。 DAS機能の概要については、「データアクセスサービス（DAS）」を参照してください。
IBM クライアントパッケージは現在非推奨となっており、今後のリリースでは削除される予定です。 Clientパッケージ内のユーティリティおよびコマンドは、 IBM CPDCTL CLIに置き換えられます。 IBM CPDCTL CLI の使用方法の詳細については、 IBM cpdctl をご覧ください。

2025年2月4日 - バージョン 2.1.0 Hotfix 2

ライトプランの機能強化: IBM® watsonx.data シドニー地域でライトプランが利用可能になりました。シドニーリージョンでライトプランのインスタンスをプロビジョニングする詳細については、「ライトプランのプロビジョニング」を参照してください。

2025年1月10日 - バージョン 2.1.0 ホットフィックス1

エンタープライズプランの機能強化: IBM Cloud を使用してシドニーリージョンでエンタープライズプランのインスタンスをプロビジョニングする場合は、 lakehouse-enterprise-mcsp というプラン名を使用する必要があります。詳細については、「CLI によるインスタンスのプロビジョニング」を参照してください。

2024年12月13日 - バージョン 2.1.0

データソースとストレージの強化

このリリースには、以下の新しいデータソースとストレージの機能強化が含まれています：

これで、 Apache Phoenix のデータソースに接続できます。詳細については、こちらをご覧ください。 Apache Phoenix
MySQL データソースを使用している場合、Configurationsページの Driver manager セクションでドライバを管理できるようになりました。これらのドライバーはそれぞれ、一連の検証ステップを経る。 MySQL 接続のテストはできなくなりました。詳細については、「 MySQL 」を参照してください。

バージョン 2.1.0 にアップグレードすると、既存の MySQL カタログはエンジンにリンクされなくなります。これは、 MySQL カタログとエンジン間の接続を再確立する必要があることを意味する。

テスト接続機能は、Arrow Flight service サービスがサポートする以下のデータソースで使用できるようになりました：
- Apache Derby
- Salesforce
- Greenplum
- MariaDB
これで、 Azure Data Lake Storage（ADLS）と IBM Data Virtualization Manager for z/OS データ・ソースの接続をテストできます。

統合の機能拡張

watsonx.dataのこのリリースでは、他のサービスとの統合が以下のように新規または強化されました：

Configurations ページからDataband接続を有効にすることができます。詳細については、 Databandを使用してSparkアプリケーションの実行を監視するを参照してください。
以下の統合について、 watsonx.data インスタンス > 設定 > 接続情報ページから Presto 接続情報を取得できるようになりました：
- BIツール
- DataBuildTool (dbt)
watsonx.data バージョン 2.1 以降、次のポリシーエンジンのいずれか 1 つとのみ統合できます：
- Apache Ranger
- IBM Knowledge Catalog (IKC)

詳細については、「接続情報」を参照してください。

IBM Manta Data Lineageと watsonx.dataを統合して、Manta UIを通じてSparkからジョブ、ラン、データセット・イベントをキャプチャして公開できるようになりました。詳細については、 IBM Manta Data Lineage を参照してください。
Presto 用の dbt アダプタで、 Prestoのすべてのデータ型を使用できるようになりました。 dbt_project.ymlの column_typesにデータ型を指定する。詳細については、 dbt- watsonx-prestoのインストールと使用を参照してください。

エンジンとサービスの強化

watsonx.dataのこのリリースでは、以下のエンジンとサービスの強化が導入されています：

AccessKey Authmode を備えた Azure Data Lake Storage Gen2 と Presto (C++) エンジンを備えた Google Cloud Storageを使用できるようになりました。 Sparkアプリケーションを送信する際に Azure (ADLS) および Google Cloud Storage を使用してデータを保存できるようになりました。詳細については Azure および Google Cloud Storage を参照してください。
Google Cloud Storage （GCS）とデータアクセスサービス（DAS）を使用して、Sparkアプリケーションを送信しながらデータを保存できるようになりました。詳細については、ネイティブSparkエンジンを使用したSparkアプリケーションの提出を参照してください。
Spark Access Controlエクステンションを有効にして、 Hive カタログとHudiカタログにアクセスして操作できるようになりました。詳細については、外部Spark用のSparkアクセス制御拡張を使用したSparkアプリケーション投稿の強化およびネイティブSpark用のSparkアクセス制御拡張を使用したSparkアプリケーション投稿の強化を参照してください。
watsonx.aiノートブックの実行環境として watsonx.data エンジンを選択できるようになった。 watsonx.ai ノートブックの実行環境としてSparkエンジンを選択できるようになりました。これにより、 watsonx.data ネイティブSparkエンジン上でJupyterノートブックを実行できるようになります。詳しくは、 watsonx.ai ノートブックの使い方をご覧ください。
Presto 管理者がAPIを通じてJMXメトリクスを設定できるようになりました。現在、JMX プロパティ名のキーには英数字のみが使用できます。詳しくはプレストエンジンのアップデートを参照してください。

ibm-lhユーティリティによる履歴情報の照会

ibm-lhユーティリティを使用すると、以下のクエリ履歴情報を取得できます：

クエリーの基本情報
失敗したクエリの基本的なエラー情報。
クエリの統計情報。
メモリ情報を照会する。
ガベージコレクション情報を照会する。
トップタイムのクエリ
クエリのメモリ使用量の詳細。
2つのテーブルを結合した後の情報。
テーブルのすべての列を含む情報。
クエリのエラーに関する情報。
すべてのエラーコードの数。
すべての失敗メッセージの数。
すべての故障の種類を数える。

詳細については、 ibm-lh ユーティリティを使用した QHMM ログの取得を参照してください。

摂取強化

watsonx.dataのこのリリースでは、以下のインジェスト機能が強化されました：

ターゲットテーブルのプレビュー ：取り込みジョブを送信する前に、ターゲットテーブルのスキーマをプレビューし、カラムヘッダやデータ型を編集できるようになりました。これにより検証を行い、データが正しいテーブル構造に取り込まれるようにする。詳細については、ウェブコンソールからSparkを使用してデータを取り込むを参照してください。
テーブル作成のための Javaのインジェスト ：Data Managerには、 Javaのインジェストフローを使用してテーブルを作成するオプションが追加されました。詳しくはテーブルの作成とウェブコンソールからSparkを使ってデータを取り込むを参照のこと。
ソースストレージのサポートを強化 ：
- Azure Data Lake Storage（ADLS）：ADLSから直接データをインジェストできるようになりました。
- Google Cloud Storage (GCS)：GCSから直接データを取り込めるようになりました。
トランジェントストレージ ：ローカルインジェストのステージング領域として使用する外部バケットを選択できるようになりました。ストレージが指定されていない場合、 watsonx.dataは適切なバケツを推測して選択することができます。詳細については、ウェブコンソールからSparkを使用してデータを取り込むを参照してください。

メタデータ・サービス（MDS）の紹介

2.1 リリースから、 watsonx.dataは Hive Metastore (HMS)の代わりにMetadata Service (MDS)を使用します。 MDSは最新のオープンカタログAPI、Unity Catalog API、 Apache Iceberg REST Catalog APIと互換性があり、より幅広いツールとの統合と柔軟性の向上を可能にします。この新しいアーキテクチャは、既存のThriftまたはHMSインターフェイスを通じてSparkと Presto クライアントを引き続きサポートしながら、同等のパフォーマンスを提供する。詳細はメタデータ・サービス（MDS）の概要を参照。

MDSはテスト環境で使用し、その後本番環境で使用することをお勧めします。

非推奨フィーチャー

このリリースでは、以下の機能は非推奨です：

イベント・リスナーを通じて watsonx.dataの DDL変更をキャプチャするREST API機能は、 watsonx.data リリース・バージョン 2.1 1から廃止されます。

13 11月 2024 - バージョン2.0.4修正プログラム

ライトプランの強化

このHotfixリリースには、以下のLiteプランの機能強化が含まれています：

Lite プランには、Prestoエンジンに関連付けられた読み取り専用のサンプルIBMCOS ストレージが含まれるようになり、サンプル・データとベンチマーク・データのクエリをサポートします。
高性能ユースケースのためのtpcdsサンプル・ワークシートと、データエンジニアリングとGenAIのユースケースのためのGosalesサンプル・ワークシートで作業できるようになりました。
クエリオプティマイザーは、ハイパフォーマンスBIユースケースで自動的に有効になりました。

2024年10月29日 - バージョン2.0.4

エンジンとサービスの強化

このリリースには、以下のエンジンとサービスの強化が含まれています：

PrestoJava) およびPresto(C++) ワーカーの 'task.max-drivers-per-task プロパティのデフォルト値が、vCPUs 数に基づいて設定されるようになりました。
Query History Monitoring and Management (QHMM) の Query monitoring ページから、ファイルの刈り込み機能を有効にすることができます。また、QHMMストレージバケットの最大サイズとしきい値のパーセンテージを設定することもできます。ファイルのアップロード中、またはクリーンアップ・スケジューラが実行されたとき（デフォルトは24時間ごと）にしきい値に達すると、古いデータが削除される。詳細については、クエリー監視の設定を参照してください。
Query History Monitoring and Management (QHMM) は、デフォルトのIBMManaged trial バケット (wxd-system) に診断データを保存しなくなりました。診断データを格納するには、QHMM でサポートされているストレージ・タイプを使用する必要があります。独自のストレージを使用する方法の詳細については、クエリー監視の設定を参照してください。
JSONファイルの'wxdQueryOptimized パラメータをチェックすることで、クエリの最適化ステータスを確認できるようになりました。詳細については、Presto(C++)CLI またはクエリワークスペースからのクエリの実行を参照してください。

データソースの強化

このリリースには、以下のデータソースとストレージの機能強化が含まれています：

テスト接続機能が以下のデータソースで利用可能になりました：
- Apache Pinot
- Cassandra
- Prometheus
新しいデータソース SAP HANA が利用可能になりました。 Configurations ページにある Driver manager を使用して、SAP HANAデータソースのドライバを管理できます。これらのドライバーはそれぞれ、一連の検証を受ける。 SAP HANAデータソースとBYOJプロセスの詳細については、SAP HANA を参照してください。

ライト・プラン

使いやすさを向上させるため、ライトプランのユーザーにはシステムカタログ（cmxとsystem）が非表示になりました。 Presto（C++）エンジンを使用したLiteプランのインスタンスには、ベンチマークカタログとして「tpch 含まれ、PrestoJavaエンジンを使用したインスタンスには、ベンチマークカタログとして「tpch」および「tpcds」が含まれる。

非推奨フィーチャー

このリリースでは、以下の機能が非推奨となります：

イベント・リスナーを通してwatsonx.dataのDDL変更を捕捉するREST API機能は、このリリースで非推奨となり、バージョン2.1リリースでwatsonx.dataから削除されます。
Apache Spark 3.3ランタイムのサポートは廃止されました。 Spark3.44にアップグレードする必要があります。 Apache Sparkのバージョンを更新するには、Sparkエンジンの詳細を編集するを参照してください。

2024年9月25日 - バージョン 2.0.3

データソースとストレージの強化

このリリースには、以下の新しいデータソースとストレージの機能強化が含まれています：

Milvusで Azure Data Lake Storage Gen1 Blobと Google Cloud Storageを有効にできるようになりました。詳しくは ADLS Gen1 Blob と Google Cloud Storage をご覧ください。
カタログを添付しなくても、新しいデータ・ソースを作成したり、エンジンに追加したりすることができます。カタログは後の段階でデータソースに添付することができる。
Presto ( Java ) エンジン用の Apache Ozone ストレージを使用できるようになりました。詳しくは Apache Ozone.
これで、Apache Kafka データソースが SCRAM (Salted Challenge Response Authentication Mechanism) 認証メカニズムを使用するように設定できます。自己署名証明書をアップロードできます。詳しくは、Apache Kafka を参照してください。

統合の機能拡張

watsonx.dataのこのリリースでは、他のサービスとの統合が以下のように新規または強化されました：

watsonx.data と Data Build Tool (dbt) for Spark エンジンを統合して、watsonx.data 内でインプレースのデータ変換を行えるようになりました。詳しくは dbt統合についてをご覧ください。
watsonx.dataをDatabandと統合することができます。この統合は、 Spark UI Spark Historyを超えた洞察を提供することで、モニタリング機能を強化することができる。詳細については、Databandを使用したSparkアプリケーション実行の監視を参照してください。
watsonx.dataを以下のBusiness Intelligence（BI）ビジュアライゼーションツールと統合すると、接続されたデータソースにアクセスし、魅力的でインタラクティブなデータビジュアライゼーションを構築できます：
- Tableau
- Looker
- ドーモ
- Qlik
- PowerBI
詳細については、BI視覚化ツールについてを参照してください。

エンジンとサービスの強化

watsonx.dataのこのリリースでは、以下のエンジンとサービスの強化が導入されています：

Iceberg テーブルは Query Optimizer でサポートされています。詳細については、クエリ・オプティマイザを参照してください。
データ構築ツール (dbt-watsonx-presto) アダプタを使用して、Presto (Java) エンジン用のデータモデルを構築、テスト、文書化できるようになりました。詳しくは dbt-watsonx-presto を参照のこと。
Presto (C++) エンジンで、列名の大文字と小文字の不一致を避けるための新しいカスタマイズプロパティ (file-column-names-read-as-lower-case) が利用可能になりました。詳しくは Presto(C++) のカタログプロパティを参照してください。

アクセス管理の強化

watsonx.dataのこのリリースでは、以下のアクセス管理機能が強化されています：

データポリシーのルールを定義するために、ユーザーとユーザーグループを追加できるようになりました。詳細はデータ・ポリシーを参照。
管理者はTPCDSとTPCHカタログを選択して、アクセス制御ポリシーを作成できるようになりました。選択」は、これらのカタログでルールを定義するために唯一許された操作である。データ・ポリシーを定義するには、データ・ポリシーを参照。
リソースグループの作成後、管理者がリソースグループの設定を編集できるようになりました。詳細については、Presto リソースグループを設定するを参照してください。

データ・ソースのIBM Knowledge Catalogガバナンス・ポリシー

これで、IBM Knowledge Catalog ガバナンスポリシーを Presto の以下のデータソースに適用できます：

Oracle
PostgreSQL
MySQL
SQL Server
Db2

摂取強化

watsonx.dataのこのリリースでは、インジェスト・ワークフローに以下の改良が加えられました：

これで、データ・ソースを使用して取り込みジョブを送信できます。詳細については、ウェブコンソールからSparkを使ってデータを取り込むを参照してください。
AVRO、ORCファイル形式でのデータ取り込みが可能になりました。詳しくは、データ取り込みについてをご覧ください。
アップロードされたファイルをプレビューしたり、テーブルのヘッダーをクリックしてカラム名を編集することができます。詳細については、ウェブコンソールからSparkを使ってデータを取り込むを参照してください。
インジェストジョブに関連するSparkログにアクセスし、表示することができます。詳細については、取り込みジョブのためのSparkログへのアクセスを参照してください。

ライト・プラン

以下の3つのユースケースに基づいて、ライトプランインスタンスをプロビジョニングできます。リストから1つのユースケースを選択して次に進みます：

Generative AI（ジェネレーティブAI）：このオプションを使って、ジェネレーティブAIのユースケースを探ることができる。プロビジョニングされたインスタンスには、 Presto、 Milvus、Sparkが含まれる。
ハイパフォーマンスBI：このオプションを使用すると、BIの視覚化機能を調べることができます。プロビジョニングされたインスタンスには、Presto（C++）とSparkが含まれる。
データエンジニアリングワークロード：データエンジニアリングワークロードを使用して、様々なワークロード駆動型のユースケースを検討することができる。プロビジョニングされたインスタンスには、Presto（Java）とSparkが含まれています。

詳しくはライトプランをご覧ください。

2024年8月27日 - バージョン 2.0.2

データソースとストレージの強化

このリリースには、以下の新しいデータソースとストレージの機能強化が含まれています：

コンテンツ・アウェア・ストレージ（CAS）は現在、データ・アクセス・サービス（DAS）と呼ばれている。
Apache Hive がバージョン 4.0.0 にアップグレードされました。
これで、Storage details ページから DAS エンドポイントを表示できるようになりました。詳細については、ストレージ・オブジェクトの探索を参照してください。

統合の機能拡張

watsonx.dataのこのリリースでは、他のサービスとの統合が以下のように新規または強化されました：

IBM Knowledge Catalog のガバナンス機能を、watsonx.data プラットフォーム内の SQL ビューに使用できるようになりました。詳細については、IBM Knowledge Catalog(IKC) との統合を参照してください。
IBM watsonx.data が Apache Ranger ポリシーをサポートし、Presto (C++) エンジンでデータを管理できるようになりました。詳細については、Apacheレンジャーポリシー。

エンジンとサービスの強化

watsonx.dataのこのリリースでは、以下のエンジンとサービスの強化が導入されています：

インスタンス管理者が Presto でリソースグループを構成できるようになりました。詳しくは、リソースグループを参照してください。
APIを使ってクエリーを実行し、結果を取得できるようになった。詳細は API を参照。
API のカスタマイズにより、Presto (Java) のログレベルを設定または変更できるようになりました。詳細は API を参照。
Iceberg Spark AnalyzeプロシージャでNumber of Distinct Values（NDV）列統計を生成して、Spark Cost-Based Optimizer（CBO）を強化し、クエリプランニングを改善できるようになりました。
カスタムデータソースオプションを使用して、Presto (Java) エンジンの Black Hole および Local File コネクタに接続できるようになりました。詳細については、カスタム・データ・ソースを参照してください。
Presto エンジンと Milvus サービス用のJSONスニペットを生成できるようになりました。 IBM Cloud Pak for Data と watsonx の watsonx.data Presto と Milvus コネクターの UI にコピー・ペーストすることで、接続の作成を簡単にすることができます。詳細は、接続情報の取得を参照してください。

アクセス管理の強化

watsonx.dataのこのリリースでは、以下のアクセス管理機能が強化されています：

Presto (C++) エンジンへのアクセスを制御できるようになりました。詳しくは Engine(Presto(Java)または Presto(C++)) を参照してください。
ユーザーおよびユーザーグループへのコンポーネントアクセスの一括付与が可能になりました。詳しくは、ユーザーのアクセス権限の管理を参照してください。
Presto で、DEBUG 情報を含むシステムアクセス制御 (SAC) プラグインログを取得できるようになりました。詳細については、APIのカスタマイズを参照してください。

摂食機能の強化

watsonx.dataのこのリリースでは、以下のインジェスト機能が強化されました：

watsonx.dataのインジェスト・ワークフローは、インジェスト・ジョブの送信が簡素化され、ローカル・ファイルのインジェストをサポートするようになりました。詳細については、ウェブコンソールからSparkを使ってデータを取り込むを参照してください。
JSONファイル形式でのデータ取り込みが可能になりました。詳しくは、データ取り込みについてをご覧ください。
CSV ファイルのプロパティが ibm-lh data-copy をサポートするパラメータとして利用できるようになりました。詳細については、ibm-lhツールでサポートされているオプションとパラメータを参照してください。
新しい環境変数は ibm-lh tool コマンドラインからSparkに取り込むことができます。詳細については、ibm-lhツールのコマンドラインによるスパークの取り込みを参照してください。

2024年8月1日 - バージョン 2.0.1

データ・ソース

認証メカニズムとして IBM API キーを使用することで、Db2 データソースに接続できるようになりました。詳細については、IBM Db2 を参照してください。
Presto (C++) エンジンを Arrow Flight service データソースと関連付けることができるようになりました。読み取り専用操作に対応。次の Arrow Flight service データソースがサポートされています：
- Salesforce
- MariaDB
- Greenplum
- Apache Derby

詳細については、矢印Flight service。

以下の新しいデータベースが Presto (Java) エンジンで利用可能です：
- Redis
- Apache Druid
- 詳しくは、Redis と Apache Druid を参照してください。

統合

IBM Knowledge Catalog と IBM watsonx.data を統合する場合、テーブル内の個々の行に対してデータ保護ルールを構成して、ユーザーがテーブル内の行のサブセットにアクセスできるようにすることができます。詳細については、行のフィルタリングを参照してください。
次の Apache Ranger ポリシーを Presto (Java) エンジンに適用できます：
- 行レベルのフィルタリング：ユーザは、テーブル内の行のサブセットにアクセスできます。詳細については、行レベルフィルタリングポリシーの追加を参照してください。
- 列のマスキング：機密データを表示する代わりに、マスクされた値を表示するようにユーザーを制限します。詳細については、カラム・マスキング・ポリシーの追加を参照してください。
IBM watsonx.data とオンプレミスの IBM DataStage を統合できるようになりました。 DataStage サービスを使って、IBM watsonx.data からデータを読み込むことができます。詳細については、DataStageとの統合を参照してください。

認証と許可

Sparkのアクセスコントロール・エクステンションは、追加認証を可能にし、アプリケーション提出時のセキュリティを強化する。 spark 構成で拡張機能を有効にすると、IBM watsonx.data カタログにアクセスし、Spark ジョブを通して操作することが許可されたユーザーのみになります。詳細については、Sparkアクセス制御拡張を使用したSparkアプリケーション投稿の強化を参照してください。
IBM watsonx.data が Azure Data Lake Storage および Azure Blob Storage のオブジェクトストレージプロキシと署名をサポートするようになりました。詳細は、DASプロキシを使ってADLSとABS互換のバケットにアクセスするを参照してください。
Lightweight Directory Access Protocol (LDAP) が Teradata および Db2 データソースに対して提供されるようになりました。ユーザーはサーバーレベルでこの設定を行う必要がある。 Teradataでは、UIで認証メカニズムのタイプを明示的にLDAPとして選択します。詳細は Teradataを参照。

ADLS と ABS バケットにアクセスするための DAS プロキシと LDAP の機能強化は、2.0.1 の Tech preview にあります。

Milvusはユーザーのパーティションレベルの分離をサポートするようになりました。管理者は、パーティションに対する特定のユーザーアクションを許可することができます。詳細はサービス（ Milvus ）を参照。

ストレージ

これで、IBM watsonx.data の Presto (Java) エンジンに以下のストレージを追加できます：
- Azure データレイク・ストレージ Gen2
- Azure データレイク・ストレージ Gen1 Blob

詳細については、Azure Data Lake Storage Gen2 および Azure Data Lake Storage Gen1 Blob を参照してください。

ユーザが登録したストレージのバケットのアクセスキーとシークレットキーを変更することができます。この機能は、デフォルトのバケット、ADLS、Google Cloud Storageには適用されません。この機能は、新しい認証情報がテスト接続に成功した場合にのみ使用できる。

エンジン

MongoDB データソースで ALTER TABLE ADD、DROP、RENAME 列ステートメントを使用できるようになりました。
Presto がサポートされていないデータ型をどのように扱うかを設定できるようになりました。詳しくは、ignore-unsupported-datatypesを参照のこと。

カタログ

インフラストラクチャマネージャページの[関連付けの管理]から、UIを通じてカタログをエンジンに一括で関連付けたり、関連付け解除したりできるようになりました。

APIのカスタマイズとプロパティ

Presto (C++) ワーカー用に、以下のカスタマイズパラメータが追加されました：
- システム・メモリ制限-GB
- システム・メモ・シュリンク・GB
- システム・メモ・プッシュバック有効
詳細は、Presto(C++)- ワーカーノードの設定プロパティを参照してください。
Presto(C++)コーディネータノードに optimizer.size-based-join-flipping-enabled が追加されました。詳細は、Presto(C++)の設定プロパティ - コーディネータノードを参照してください。
パフォーマンスのためのデータキャッシュとフラグメント結果キャッシュをサポートするために、APIのカスタマイズを強化しましたimprovement.For 詳細は、Presto(Java)- コーディネータノードとワーカーノードの設定プロパティと Presto(Java)のカタログ・プロパティを参照してください。

インフラストラクチャー・マネージャー

インフラストラクチャマネージャのページでは、以下の値の検索機能を使用できます：
- データベース名
- 登録ホスト名
- ユーザー名で作成
ベルアイコンの下にある通知セクションの「Do Not Disturb」トグルスイッチで、ポップアップ通知の有効／無効を切り替えられるようになりました。
接続情報は、設定ページの接続情報タイルの下にあります。この情報はJSONスニペットにコピーしてダウンロードできる。

クエリ・ワークスペース

新しいドロップダウン・リストから必要なカタログとスキーマを選択することで、パス <catalog>.<schema> を指定することなく、SQL クエリ・ワークスペースを通じてスキーマ配下のすべてのテーブルに対してクエリを実行できます。詳細は SQLクエリの実行を参照してください。

watsonx.dataの料金プラン

アカウントの上限である2000RUに達する前に既存のライトプランインスタンスを削除し、新しいインスタンスを作成してアカウントで利用可能な残りのリソースユニットを消費できるようになりました。詳しくは watsonx.data Liteプランをご覧ください。

2024年7月3日 - バージョン2.0.0

データソースの新しいデータ型

一部のデータソースでは、次の新しいデータ型が利用できるようになりました。これらのデータタイプには、データ管理者ページの下にある列を追加オプション。

BLOB
- Db2
- Teradata
- Oracle
- MySQL
- SingleStore
CLOB
- Db2
- Teradata
- Oracle
BINARY
- SQL Server
- MySQL

数値データ型はサポートされていないため、watsonx.data、小数点データ型を数値データ型の同等の代替として使用することができます。Netezza情報元。

クエリワークスペースのSELECTステートメントでBLOBおよびCLOBデータ型を使用して、データに対してクエリを構築および実行できるようになりました。OracleそしてSingleStoreデータソース。

BLOBとCLOBデータ型が使用できるようになりました。MySQLそしてPostgreSQLこれらのデータ型はLONGTEXT、BYTEA、TEXTと同等のデータソースとして扱われます。Presto（Java）。これらのデータ型はCLOBとBLOBにマッピングされます。Presto（Java) データソースに LONGTEXT、TEXT、および BYTEA データ型の既存のテーブルがある場合。

MySQL(CLOB は LONGTEXT と同等)
PostgreSQL (CLOB は TEXT と同等)
PostgreSQL (BLOB は BYTEA と同等)
Netezza（小数は数値と同等）
Oracle(SELECT ステートメントを使用した BLOB および CLOB)
SingleStore(SELECT ステートメントを使用した BLOB および CLOB)

新しいオペレーションDb2情報元

BLOBおよびCLOBデータ型に対して、以下の操作を実行できます。Db2情報元：

挿入
作成
シーティーエーエス
ALTER
DROP

新しい矢Flight serviceベースのデータソース

Arrowで以下のデータソースが使用できるようになりましたFlight service:

Greenplum
Salesforce
MariaDB
Apache Derby

詳細については、矢印Flight service。

新しいデータ・ソース

以下のデータソースを使用できるようになった：

Cassandra
BigQuery
ClickHouse
Apache Pinot

詳細については、データベースとカタログのペアの追加。

摂取履歴を取得するコマンド

ibm-lh get-statusを使用して、送信されたすべての取り込みジョブのステータスを取得できるようになりました。--all-jobsCLI コマンド。送信されたすべての取り込みジョブのステータスを取得できます。アクセスできる履歴レコードを取得します。詳細については、 ibm-lh ツールでサポートされているオプションとパラメータ。

追加の役割IBM Knowledge Catalog（IKC）S2S承認

データアクセス以外にも、IBM Knowledge CatalogS2S認証にはメタデータアクセスとコンソールAPIアクセスが必要であり、watsonx.data。 IKC サービスアクセス構成用に次の新しいロールが作成されます。

ビューアー
メタストアビューア

Apacheレンジャーポリシー

IBMwatsonx.data現在サポートしていますApacheレンジャーポリシーは、統合を許可しますPrestoエンジン。詳細については、 Apacheレンジャーポリシー。

バージョン・アップグレード

Presto（Java) エンジンがバージョンにアップグレードされました0.286 。
Milvus サービスが 2.4.0にバージョンアップしました。重要な機能は次のとおりです:
- パフォーマンスの向上（メモリ使用率が低い）
- スパースデータのサポート
- スパースベクトル埋め込み用の組み込みSPLADEエンジン
- イギリスM3ハイブリッド（密+疎）検索

Hiveメタストア（HMS）へのアクセスwatsonx.data

メタデータ情報を取得できるようになりましたHiveエンジンの詳細から情報を取得する代わりに、REST API を使用してメタストアを作成します。 HMSの詳細は外部組織によって統合されるために使用されますwatsonx.data。 API を実行するには、管理者、メタストア管理者、またはメタストア閲覧者のロールが必要です。

データ強化のためのセマンティック自動化

データエンリッチメントのためのセマンティックオートメーションは、生成AIを活用し、IBM Knowledge Catalogデータをより深く理解し、自動化されたエンリッチメントによってデータを強化して、分析に役立つものにします。セマンティックレイヤー統合は、Lite プランユーザーのみが 30 日間の試用版として利用できます。詳細については、データ強化のためのセマンティックオートメーションwatsonx.data。

クエリパフォーマンスを向上させるクエリオプティマイザー

クエリオプティマイザーを使用して、クエリのパフォーマンスを向上させることができます。Presto(C++) エンジン。クエリオプティマイザーが最適化が可能であると判断すると、クエリは書き換えられます。それ以外の場合は、ネイティブエンジンの最適化が優先されます。詳細については、クエリオプティマイザーの概要。

新しい名前Prestoエンジンwatsonx.data

Prestoは次のように改名されますPresto（Java）。

新エンジン（PrestoC++)でwatsonx.data

プロビジョニングできるのはPresto(C++) エンジン ( バージョン0.286 ）でwatsonx.dataデータソースに対して SQL クエリを実行し、クエリされたデータを取得します。詳細については、Presto(C++) 概要。

プロキシを使用してアクセスするS3そしてS3互換性のあるバケット

外部アプリケーションやクエリエンジンは、S3そしてS3互換性のあるバケットはwatsonx.dataを通じてS3プロキシ。詳細については、使用S3アクセスするためのプロキシS3そしてS3互換性のあるバケット。

大文字と小文字が混在する機能フラグPresto（Java）エンジン

大文字と小文字を区別する動作と区別しない動作を切り替えることができる大文字と小文字の混合機能フラグ。Presto（Java）、利用可能です。このフラグはデフォルトではオフに設定されており、展開中にオンに設定することができます。watsonx.data。詳しくは、 Presto(Java)mixed-case support overview を参照してください。

新しいストレージタイプGoogle Cloud Storage

新しいストレージタイプを使用できるようになりましたGoogle Cloud Storage。詳細については、ストレージカタログペアの追加。

2024 年 5 月 31 日-バージョン 1.1.5

watsonx.data ライト・プランでの Spark エンジンのプロビジョン

watsonx.data ライト・プラン・インスタンスに、小さいサイズの Spark エンジン (単一ノード) を追加できるようになりました。詳しくは watsonx.data Liteプランをご覧ください。

Spark ラボに関連した更新

Spark ラボからの Jupyter ノートブックの操作

: VS Code MarketplaceからJupyterエクステンションをSparkラボにインストールし、Jupyterノートブックで作業できるようになりました。詳細については、Jupyterノートブックを作成するを参照してください。

Spark labsから Spark UIにアクセスする

Spark labsからSparkのユーザーインターフェース（UI）にアクセスして、Sparkアプリケーションの実行状況をさまざまな角度から監視できるようになりました。詳細については、 Spark labsから Spark UIにアクセスするを参照してください。

IBM Cloud インスタンスをプロビジョンするための新しいリージョン

これで、シドニー地域で IBM Cloud インスタンスをプロビジョンできるようになりました。

2024 年 4 月 30 日-バージョン 1.1.4

watsonx.data、2024年4月に新バージョンがリリースされた。

このリリースには以下の機能とアップデートが含まれている：

HDFS 接続用のKerberos 認証

セキュアな Apache Hadoop Distributed File System (HDFS) 接続に対して Kerberos 認証を有効にできるようになりました。詳しくは、 HDFS を参照してください。

新しいデータ・ソース

以下の新しいデータ・ソースが使用可能になりました。

Oracle
Amazon Redshift
Informix
Prometheus

詳しくは、データ・ソースを参照してください。

SSL 接続のテスト

MongoDB および SingleStore データ・ソースの SSL 接続をテストできるようになりました。

Apache Kafka データ・ソースの説明ファイルのアップロード

Apache Kafka データ・ソースは、プロデューサーおよびコンシューマーが解釈する必要があるバイト・メッセージとしてデータを保管します。このデータを照会するには、コンシューマーはまずデータを列にマップする必要があります。これで、生データを表形式に変換するトピック記述ファイルをアップロードできるようになりました。各ファイルは、表の定義を含む JSON ファイルでなければなりません。これらの JSON ファイルを UI からアップロードするには、登録した Apache Kafka データベースの概要ページに移動し、 「トピックの追加」 オプションを選択します。詳しくは、 Apache Kafka を参照してください。

watsonx.data

IBM® watsonx.data では、以下のライセンス・プランが提供されるようになりました。

ライト・プラン
Enterprise プラン

さまざまなライセンス・プランについて詳しくは、 IBM® watsonx.data の料金プランを参照してください。

Presto（Java）エンジンバージョンアップグレード

のPresto（Java) エンジンがバージョンにアップグレードされました0.285.1 。

一時停止または再開

Milvusのサービスを一時停止または再開することができます。サービスを一時停止すると、料金が発生しない可能性があります。

Spark をネイティブ・エンジンとして使用できるようになりました

外部 Spark エンジンの登録に加えて、 IBM watsonx.data インスタンスでネイティブ Spark エンジンをプロビジョンできるようになりました。ネイティブ Spark エンジンを使用すると、 watsonx.data UI および REST API エンドポイントを使用して、Spark Engine 構成を完全に管理し、Spark エンジンへのアクセスを管理し、アプリケーションを表示することができます。詳しくは、ネイティブ Spark エンジンのプロビジョニングを参照してください。

ネイティブ Spark エンジンを使用したデータの取り込み

ネイティブ Spark エンジンを使用して取り込みジョブを実行依頼できるようになりました。詳細については、異なる表形式での作業を参照してください。

2024 年 3 月 27 日-バージョン 1.1.3

watsonx.data、2024年3月に新バージョンがリリースされた。

このリリースには以下の機能とアップデートが含まれている：

一部のデータ・ソースの新しいデータ・タイプ

これで、照会ワークスペースの SELECT ステートメントで BINARY データ・タイプを使用して、以下のデータ・ソースのデータに対して照会を作成および実行できるようになりました。

Elasticsearch
SQL Server
MySQL

新しいデータタイプ： BLOBとCLOBは、 MySQL, PostgreSQL, Snowflake、 SQL Server、 Db2 のデータソースで利用可能です。これらのデータ・タイプは、照会ワークスペース内の SELECT ステートメントでのみ使用して、データに対して照会を作成および実行することができます。

Iceberg データ・ソースの DELETE FROM 機能を使用したデータの削除

DELETE FROM 機能を使用して、Iceberg データ・ソースの表からデータを削除できるようになりました。

新規表の表プロパティー削除モードは、コピー・オン・ライト・モードまたはマージ・オン・リード・モード (デフォルト) のいずれかを使用して指定できます。詳しくは、 SQL ステートメントを参照してください。

Iceberg データ・ソースの ALTER VIEW ステートメント

照会ワークスペースで以下の SQL ステートメントを使用して、ALTER VIEW のデータに対して照会を作成および実行できるようになりました。

ALTER VIEW name RENAME TO new_name (ビュー名を new_name に変更)

Netezza Performance Server データ・ソースの SSL 証明書のアップロード

これで、 Netezza Performance Server データ・ソースで SSL 接続用の SSL 証明書を参照してアップロードできるようになりました。 SSL 証明書の有効なファイル・フォーマットは、.pem、.crt、および .cer です。インフラストラクチャー・マネージャーで「データベースとカタログのペアを追加する」オプションを使用して、SSL 証明書をアップロードできます。

Db2 および Watson Queryからのデータの照会

Db2 で作成されたニックネームと仮想表を Watson Query インスタンスから照会できるようになりました。

IBM Data Virtualization Manager for z/OS データ・ソースの SSL 接続

「データベースの追加」ユーザー・インターフェースを使用してデータベース接続を保護および暗号化することにより、 IBM Data Virtualization Manager for z/OS データ・ソースの SSL 接続を有効にできるようになりました。ホストから返された SSL 証明書が信頼できるかどうかを検証するには、「証明書の検証」を選択します。 SSL 証明書にホスト名を指定することを選択できます。

Apache Hudi カタログからのデータの使用

これで、 Apache Hudi カタログに接続し、そこからのデータを使用できるようになりました。

watsonx.dataのサービスとして Milvusを追加する。

watsonx.dataのサービスとして Milvusを提供できるようになりました：

スターター・ノード、中規模ノード、大規模ノードなど、さまざまなストレージ・バリアントをプロビジョンします。
Milvus ユーザに管理者またはユーザのロールを割り当てます： Milvus ユーザがユーザアクセスポリシーを利用できるようになりました。アクセスコントロールUIを使用して、 Milvus ユーザに管理者またはユーザのロールを割り当て、権限を付与、取り消し、または更新することができます。
Milvusがデータを保存するObjectストレージを設定します。カスタムバケットを追加または設定し、ユーザ名、パスワード、リージョン、バケット URLを指定することができます。

詳細については、 Milvus。

ibm-lh 取り込みツールを使用したバッチでのデータのロード

ibm-lh 取り込みツールを使用して、ibm-lh-client パッケージを使用することにより、非対話モード (ibm-lh-tools コンテナーの外部から) でバッチ取り込み手順を実行できるようになりました。詳しくは、 ibm-lh コマンドおよび使用法を参照してください。

Web コンソールでの一括取り込みを使用したスキーマの作成

スキーマが以前に作成されていない場合、Web コンソールで一括取り込みプロセスを使用してスキーマを作成できるようになりました。

Apache Iceberg テーブルでタイムトラベル・クエリーを使用する。

Apache Iceberg テーブルスナップショットのブランチとタグを使用して、以下のタイムトラベルクエリーを実行できるようになりました：

-SELECT *FROM <table name> FOR VERSION AS OF 'historical-tag'

-SELECT *FROM <table name> FOR VERSION AS OF 'テスト・ブランチ'

認証情報なしでCloud Object Storageにアクセスする。 Data Access Service (DAS) エンドポイントを使うことで、Cloud Object Storage バケットに認証情報なしでアクセスできるようになりました。 DAS エンドポイントの取得の詳細については、DASエンドポイントの取得を参照してください。

2024 年 2 月 28 日-バージョン 1.1.2

watsonx.data、2024年2月に新バージョンがリリースされた。

このリリースには以下の機能とアップデートが含まれている：

データ・ソースの SSL 接続

「データベースの追加」 ユーザー・インターフェースを使用してデータベース接続を保護および暗号化することで、以下のデータ・ソースに対して SSL 接続を有効にできるようになりました。

Db2
PostgreSQL

詳しくは、データベースの追加を参照してください。

取り込みジョブ履歴の保護

ユーザーは、自分の取り込みジョブ履歴のみを表示できるようになりました。管理者は、すべてのユーザーの取り込みジョブ履歴を表示できます。

SQL の機能強化

クエリー・ワークスペースで以下の SQL ステートメントを使用して、データに対するクエリーを作成および実行できるようになりました。

Apache Iceberg データソース
- CREATE VIEW
- DROP VIEW
MongoDB データ・ソース
- 削除

Teradata データ・ソースの新規データ・タイプ BLOB および CLOB

Teradata データ・ソースでは、新しいデータ・タイプ BLOB および CLOB を使用できます。これらのデータ・タイプは、照会ワークスペース内の SELECT ステートメントでのみ使用して、データに対して照会を作成および実行することができます。

データ取り込み中に新しい表を作成する

以前は、データを取り込むために watsonx.data にターゲット表が必要でした。これで、 データ・マネージャーからのデータ取り込みを使用して、ソース・データ・ファイル (parquet または CSV 形式で使用可能) から直接新しい表を作成できるようになりました。以下の取り込み方法を使用して、表を作成できます。

Iceberg コピー・ローダーを使用したデータの取り込み。
Spark を使用したデータの取り込み。

列に対する ALTER TABLE 操作の実行

Iceberg データ・ソースでは、以下のデータ・タイプ変換のために列に対して ALTER TABLE 操作を実行できるようになりました。

int から bigint へ
float から double へ
decimal (num1, dec_digits) を decimal (num2, dec_digits) に変換します。ここで、 num2>num1です。

ソート・ファイルを使用した照会パフォーマンスの向上

Apache Iceberg データ・ソースを使用すると、ソートされたファイルを生成できるため、クエリ結果の待ち時間が短縮され、 Presto ( Java ) のパフォーマンスが向上します。 Iceberg テーブル内のデータは、各ファイル内の書き込みプロセス中にソートされます。

sorted_by テーブル・プロパティーを使用して、データをソートする順序を構成できます。テーブルを作成するときに、ソートに関係する 1 つ以上の列の配列を指定します。この機能を無効にするには、セッション・プロパティー sorted_writing_enabled を false に設定します。

2024 年 1 月 31 日-バージョン 1.1.1

watsonx.data、2024年1月に新バージョンがリリースされた。

このリリースには以下の機能とアップデートが含まれている：

IBM Data Virtualization Manager for z/OS® コネクタ

新しい IBM Data Virtualization Manager for z/OS® コネクターを使用して、データの移動、複製、変換を行うことなく、 IBM Z® の読み取りと書き込みを行うことができるようになりました。詳しくは、 IBM Data Virtualization Manager(DVM)データ・ソースへの接続を参照してください。

Teradata コネクターは、複数の ALTER TABLE ステートメントに対応しています

Teradata コネクターは、 ALTER TABLE RENAME TO、 ALTER TABLE DROP COLUMN、および ALTER TABLE RENAME COLUMN column_name TO new_column_name ステートメントをサポートするようになりました。

タイム・トラベル照会のサポート

氷山コネクタPresto（Java) はタイムトラベルクエリをサポートするようになりました。

プロパティー format_version に現行バージョンが表示されるようになりました

プロパティー format_version に、Iceberg テーブルの作成時に正しい値 (現行バージョン) が表示されるようになりました。

2023 年 11 月 29 日-バージョン 1.1.0

watsonx.data、2023年11月に新バージョンがリリースされた。

このリリースには以下の機能とアップデートが含まれている：

Presto（Java) 大文字と小文字を区別する動作

のPresto（Java) の動作が、大文字と小文字を区別しないものから区別するものに変更されました。これで、データベースの場合と同様に、元の大/小文字の形式でオブジェクト名を指定できるようになりました。詳細については、大文字と小文字を区別する検索設定Presto（Java）。

ロール・バック機能

ロールバック機能を使用して、Iceberg 表の任意のスナップショットにロールバックまたはロールフォワードすることができます。

データ定義言語 (DDL) の変更のキャプチャー

イベント・リスナーを使用して、 watsonx.data で DDL の変更をキャプチャーして追跡できるようになりました。詳しくは、 DDL 変更のキャプチャーを参照してください。

Spark を使用したデータの取り込み

Apache Spark を搭載した IBM Analytics Engine を使用して、watsonx.data でインジェスト・ジョブを実行できるようになりました。

詳しくは、 Spark を使用したデータの取り込みを参照してください。

Db2 および Netezza Performance Server

Db2 または Netezza Performance Server エンジンを watsonx.data コンソールに登録できるようになりました。

詳しくは、エンジンの登録を参照してください。

新しいコネクター

watsonx.data でコネクターを使用して、以下のタイプのデータベースへの接続を確立できるようになりました。

Teradata
Delta Lake
Elasticsearch
SingleStoreDB
Snowflake

詳しくは、データベースの追加を参照してください。

AWS スパーク用EMR

Amazon Web Services Elastic MapReduce (AWS EMR) から Spark アプリケーションを実行して、 watsonx.data Spark ユース・ケースを実現できるようになりました。

データの取り込み
データの照会
表の保守

詳しくは、 Using AWS EMR for Spark use case を参照してください。

2023 年 7 月 7 日-バージョン 1.0.0

watsonx.data は、データウェアハウス・モデルとデータレイク・モデルのエレメントを結合した新しいオープン・アーキテクチャーです。 watsonx.data で使用可能なクラス最高の機能および最適化により、次世代のデータ分析および自動化に最適な選択肢となります。最初のリリース (watsonx.data 1.0.0) では、以下の機能がサポートされます。

作成、拡大縮小、一時停止、再開、削除Presto（Java) クエリエンジン
カタログとエンジンとの関連付けおよび関連付け解除
カタログ・オブジェクトの探索
データベースとカタログのペアの追加と削除
データベース資格情報の更新
バケットとカタログのペアの追加および削除
バケット・オブジェクトの探索
データのロード
データの検証
データの照会
照会履歴