watsonx.data のリリース・ノート

これらのリリース・ノートでは、IBM® watsonx.data の最新の更新について、日付別にまとめて説明します。

watsonx.data as a Service on IBM Cloud with gen AI experienceの新機能については、 watsonx.data as a Service on IBM Cloud with gen AI experienceのリリースノートをご覧ください。

watsonx.data on-prem の新機能については、 watsonx.data のリリースノートをご覧ください。

オンプレミス版 watsonx.data Premium の新機能については、オンプレミス版 Premium のリリースノートを参照してください。

テクノロジー・プレビュー機能また、現在プレビュー中の機能を含むテクノロジー・プレビュー・セクションもご用意しています。これらの機能は一般的に利用可能なものではなく、リリース前に変更される可能性があります。テクノロジープレビュー項目のリリースノートを見るには、テクノロジープレビューをご覧ください。

2025年12月10日 - バージョン 2.3

インスタンスプロビジョニングの強化

今回のリリースでは、以下の機能 watsonx.data 強化を導入します：

以下の新しいリージョンで、仮想プライベートエンドポイント（VPE）を有効にした watsonx.data インスタンスのプロビジョニングが可能になりました：ダラス（us-south）、 Washington DC （us-east）、フランクフルト（eu-de）。プロビジョニング中にVPEを有効にするには、CLIコマンドに "vpe_required":"true" パラメータを追加してください。 VPE有効化インスタンスのプロビジョニング方法については、「仮想プライベートエンドポイント（VPE）有効化インスタンスのプロビジョニング」を参照してください。

データソースとストレージの強化

watsonx.data の本リリースでは、以下のデータソースとストレージの機能強化が導入されている：

データソースにガバナンスポリシーを IBM Knowledge Catalog 適用できるようになりました。 MongoDB 詳しくは、 IBM Knowledge Catalog （IKC）への接続を参照。
Data Lake Storage Gen2 を Presto ( Azure C++) と ServicePrincipal 認証を使用して関連付けることが可能になりました。
単一のオブジェクトストレージバケットまたはコンテナに、複数のIcebergタイプのカタログを関連付けることが可能になりました。各カタログは、適切なデータ分離を確保するため、ストレージ上で重複しない一意のベースパスを設定する必要があります。

以下に例を示します。
- Catalog1 関連付けられる可能性がある s3a://mybucket/foo/bar
- Catalog2 関連付けられる可能性がある s3a://mybucket/lorem/ipsum
この機能強化により、同一ストレージ内のデータを論理的に分離し、複数のカタログ間で再利用することが容易になり、柔軟性と整理性が向上します。この動作は、すべての新規ライトプランインスタンスに適用され、これらはアカウント単位で管理されるようになりました。詳細については、「単一のストレージに複数の Apache Iceberg カタログを追加する」を参照してください。

この機能は watsonx.data Liteインスタンスでのみ利用可能です。以前は、各オブジェクトストレージのバケットまたはコンテナは、単一のカタログにのみリンクすることができました。

エンジンとサービスの強化

watsonx.dataのこのリリースでは、以下のエンジンとサービスの強化が導入されています：

Prestissimoは現在、テーブル Apache Iceberg 書き込み時のパフォーマンスが従来 Java の実装と比較して向上しています。以下の機能が利用可能です：
- パーティション化されたテーブルのサポート - Prestissimoはパーティション化されたIcebergテーブルへの書き込みを実行し、バッチ評価を用いてパーティション変換を効率的に適用します。 ID、時間変換（年、月、日、時間）、バケット、切り捨てをサポートし、Iceberg準拠のパーティションディレクトリパスを生成します。
- データファイル統計情報の収集 - 書き込み操作中、Prestissimoはレコード数、ファイルサイズ、パーティション詳細など、重要なデータファイル統計情報を収集し、Icebergマニフェストファイルに報告します。
- ソート済みテーブル書き込みサポート - Prestissimoはソート済みIcebergテーブルへの書き込みをサポートし、ソート済みデータを活用するワークロード向けに最適化されたクエリパフォーマンスを実現します。
エンタープライズプラン向け柔軟なキャパシティを備えたサーバーレスSpark

オンデマンド容量
- エンタープライズ watsonx.data プランでは、Sparkエンジンがサーバーレスモデルをサポートしつつ、必要に応じて専用容量を割り当てる柔軟性も提供します。
- サーバーレスプラットフォーム上でSparkジョブを実行することで、各Sparkエンジン専用のノードが不要になります。
- サーバーレス Spark 環境は、最大リソースクォータが 8 vCPUs、メモリが 32 GB の共有ノードプールを提供します。
この動作はすべての新規 watsonx.data インスタンスに適用され、これらはアカウントスコープとなります。

専用容量
- より高い容量を必要とするワークロードの場合、カスタマイズ可能なメモリ構成で専用ノードをプロビジョニングできます。サーバーレスおよびオンデマンドキャパシティの詳細については、「Sparkキャパシティの管理」を参照してください。
- Spark Engineの作成プロセスは、エンジン名、Sparkバージョン、ホームバケット、関連カタログといった必須情報のみに焦点を当てることで簡素化されました。一方、キャパシティ予約タスクはエンジン詳細ページの新しい「キャパシティ管理」タブに移動されました。この更新により、作成フローから容量設定が削除され、エンジンのセットアップがより迅速かつ簡素化されます。
- エンジン作成後、[キャパシティ]タブでVMフレーバーの管理、ノードプールの設定、オンデマンドフォールバックのしきい値設定が可能です。
この動作はすべての新規 watsonx.data インスタンスに適用され、これらはアカウントスコープとなります。

エンタープライズプランの最大リソースクォータは256 vCPUs、メモリは1024 GBです。この制限を引き上げるには、サポート IBM に連絡する必要があります。

サーバーレスおよびオンデマンドキャパシティの詳細については、「Sparkキャパシティの管理」を参照してください。

ライトプランインスタンスにおけるアカウントレベルのコンポーネント永続化

カタログ、データベース、バケットアカウントレベルのコンポーネントとそのメタデータプロパティを、個々のインスタンスとは独立して保持できるようになりました。インスタンスが削除されても、これらのコンポーネントはアカウントおよびリージョン内の他のインスタンスから引き続きアクセス可能です。この動作は、すべての新規ライトプランインスタンスに適用され、これらはアカウント単位で管理されるようになりました。

LiteプランインスタンスにおけるIcebergカタログ間でのスキーマ名再利用

以前は、3部構成の名前（<catalog>.<schema>.<table>）を使用してテーブルを参照する場合、スキーマ名は1つのSQL watsonx.data Serverインスタンス内のすべてのカタログで一意である必要がありました。この制限により、異なるカタログ内で同じ名前を持つスキーマを作成することが妨げられました。この制限はIcebergカタログでは解除されます。複数のIcebergカタログ間でスキーマ名を再利用できるようになりました。以下に例を示します。

myiceberg_catalog1.abcschema.mytable
myiceberg_catalog2.abcschema.mytable

この動作は、すべての新規ライトプランインスタンスに適用され、これらはアカウント単位で管理されるようになりました。

スキーマ名は、Deltaや Hive Hudiなどの他のカタログタイプ全体でも一意である必要があります。

アクセス管理の強化

watsonx.dataのこのリリースでは、以下のアクセス管理機能が強化されています：

管理者はコンテキストベースの制限ポリシーを作成し、信頼できるIPアドレスを定義できます。指定ユーザーが安全にアクセスできるよう、信頼済みIP watsonx.data アドレスを設定できるようになりました（UIおよびAPI）。この機能により、承認済みIPアドレスからのトラフィックのみがユーザーインターフェースとAPIにアクセスできるようになり、追加の保護層が提供されます。定義された範囲外のIPアドレスからの watsonx.data アクセス試行はすべてブロックされます。詳細については、「IPベースの制御によるUIアクセスの保護」を参照してください。
軽量な新しいCPGがダウンロード可能なプラグインとして利用可能になりました。これにより、あらゆるポリシーエンジン（例： ApacheIBM Knowledge Catalog Ranger、Collibra）とのシームレスな統合が可能になります。詳細については、共通ポリシーゲートウェイ(CPG)コネクタを参照してください。

課金機能強化

watsonx.data の本リリースでは、課金機能に以下の機能強化が施されている：

コンポーネント watsonx.data の計測は現在、ランタイムレベルで動作し、エンジンに関連付けられた各ランタイムの開始、停止、および一時停止イベントを捕捉します。エンジン消費量とリソース使用状況を明確に可視化します。のようなエンジンでは Presto、これは一対一の対応関係のままですが、Sparkでは複数のランタイムサブタイプ（例：Kernel、 HistoryServer, Application）が導入され、それぞれが稼働時間と非稼働時間を個別に追跡されます。ユーザーインターフェースは、各ランタイムにスコープされたランタイムレベルのアクティビティバーとイベント履歴リンクを表示することでこれらの変更を反映し、明確さと正確性を確保します。詳細については、「計測と使用状況のエクスペリエンス」を参照してください。この動作はすべての新規 watsonx.data インスタンスに適用され、これらはアカウントスコープとなります。

ライトプランの機能強化：

今回のリリースでは、Liteプランに watsonx.data 以下の機能強化を導入します：

複数のユースケースのサポートを廃止したことで、ライトプランのプロビジョニングが簡素化されました watsonx.data。すべての新しいインスタンスはデフォルトの Generative AI ユースケースでプロビジョニングされます。データエンジニアリングおよび Power BI ユースケースは廃止され、利用できなくなりました。 CLIプロビジョニング方式は、一貫性と効率性を確保するため、デフォルトの Generative AI ユースケースのみを許可するようになりました。

OpenTelemetry 強化

このリリースでは、( Java ) エンジン Presto 向けに watsonx.data 以下の強化された可観測性と監視機能を導入します。

( Java )エンジン Presto との OpenTelemetry 統合が可能になり、クエリの実行とシステムパフォーマンスを監視できます。 OpenTelemetry トレースやメトリクスなどのテレメトリデータの収集を可能にし、 Prometheus Instana、およびなどのツールを使用して Grafana 可視化および分析できます。詳細については、を参照してください OpenTelemetry。
新しいInstana Grafana およびダッシュボード - Instanaおよび Grafana ダッシュボードを使用してパフォーマンスを監視し、システムの健全性とパフォーマンスに関するより包括的なビューを提供できるようになりました。詳細については、ダッシュボードのサポートを参照してください。

クエリー・オプティマイザーの強化

このリリースでは、 watsonx.dataクエリオプティマイザに以下の機能強化を導入します。

クエリオプティマイザのデフォルトのクエリ書き換えタイムアウトは、設定可能になりました。バージョンから 2.3、PATCH APIを使用してプロパティを更新することで optplus.query-timeout-seconds、このタイムアウト値を変更できます。詳細については、「クエリオプティマイザのクエリ書き換えタイムアウトの更新」を参照してください。
クエリ最適化プログラムにおけるおよび Iceberg Hive メタストア登録のサポート（の Lite watsonx.data インスタンス向け）

Query Optimizerは、 Hive、Icebergカタログ用の異なるメタストア・タイプをサポートしています。

ユーザーが登録できるようになった：
- Hive カタログの watsonx-data-hive メタストア・タイプを使用しています。
- iceberg-rest メタストア・タイプを使用するアイスバーグ・カタログ。
この機能強化により、よりきめ細かな制御が可能になり、進化するメタストアアーキテクチャとの互換性が高まります。登録は、更新された構文とプロパティを用いた手順 REGISTER_EXT_METASTORE で行われます。

本リリース以降、統合 watsonx-data メタストアタイプのレガシーサポートは、Enterprise版では継続して提供されますが、Liteインスタンスでは利用できなくなります。詳細については、 Query Optimizerとメタストアの手動同期を参照してください。

Lite watsonx.data プランにおけるプロトコルサポート HTTP よりも節約を優先

メタデータサービス（MDS）は、以前のバイナリ watsonx.data プロトコルではなく、現在プロトコ HTTP ルを介してThriftサービスを実行しています。この変更はサービスエンドポイントと接続構成に影響します。

主な変更点：

MDS Thrift Protocol (thrift://) は Thrift Over HTTP (https://) に変更されました。
すべての Thrift API 呼び出しは、MDS Thrift サービスに対して HTTPS 経由で実行される必要があります account_idHTTP。
Icebergカタログに関連するAPIを呼び出す際には、 catalog クエリパラメータが必須です。

Spark および Presto エンジン内では watsonx.data、これらの更新は新規カタログと移行済みカタログの両方に自動的に適用されます。 Spark、およびなどの外部エンジンについては Netezza、ユーザーは新しいプロトコル、ポート、 Db2 クエリパラメータを反映させるため、接続設定を手動で更新する必要があります。

マルチテナントメタデータサービス（MDS）の機能強化

今回のリリースでは、MDSに以下の watsonx.data 機能強化を導入します。

AccountId MDS RESTサービス（Iceberg CatalogおよびUnity Catalog）へのすべての直接呼び出しに、現在必要です。このヘッダーを含まないリクエストは失敗します。
Iceberg操作のエンドポイントは、から /mds/iceberg に更新されました /api/v1/iceberg。

詳細については、 APIドキュメントを参照してください。

CPDCTL CLI の機能強化

watsonx.data の本リリースでは、 IBM Cloud Pak for Data Command Line Interface ( IBM cpdctl) に以下の機能強化が加えられている：

CPDCTL の bucket, engine, ingestion, component, および service コマンドに対して下位互換性が有効化されました。

CPDCTL バージョン以降 1.8.85 では、これらのコマンドがバージョンより前のリリース watsonx.data に接続 2.2.1 できるようになり、環境間の統合と互換性がより円滑に確保されます。

wx-data bucket list-objects list コマンド bucket の新しいオプションは、バケットに追加されたオブジェクト watsonx.data を一覧表示します。バケット内のコマンド bucket 関連操作の詳細については、 watsonx.databucket を参照してください。
フラグ --api-key が検証に失敗するエッジケースに対処するための回避策 sparkjob create``tablemaint として、隠しフラグが --en-apikey 利用可能になりました。詳細については、 cpdctl wx-data コマンドの使用方法と使用例に関する追加情報をご覧ください。

Gen AI搭載チャットインターフェース watsonx.data

人工知能搭載のチャットインターフェース「 watsonx.data アシスタント」と会話し、質問を投げかけることができます IBM® watsonx.data。アシスタントは、製品ドキュメント IBM に関する知識に基づいて、あなたの watsonx.data 質問に回答します。製品についてより簡単かつ迅速に探求し学ぶのに役立ちます。この機能を有効にして使用を開始するには、 Assistant - 搭載チャット watsonx.datagenAI インターフェースを参照してください。

取得サービス

今回のリリースでは、以下の検索サービスの watsonx.data 機能強化を導入します：

コンソール watsonx.data で、インスタンスレベルでの検索サービス向けAIモデルの gpt-oss-120b 設定が可能になりました。検索サービス向けAIモデルの構成に関する情報は、を参照してください検索サービス向けAIモデルの設定。

摂取促進

今回のリリースでは、以下の取り込み watsonx.data 機能の強化を導入します：

取り込み画面のターゲットパネルに新しいトグルが追加され、取り込まれたIceberg形式テーブルの削除モードを制御できるようになりました。デフォルトモードはコピーオンライト（COW） です。 Merge-on-Read モードに切り替えると、取り込み時の行単位削除が可能になります。

非推奨フィーチャー

このリリースでは以下の機能が非推奨となります：

ユーザー認証に使用されるユーザー ibmlhtoken 名 ibmlhapikey とは、バージョンから非推奨となり 2.2.0、削除予定と発表されました。現在、サポートは 2.3.0 完全に撤去されました。

認証するには、新しい形式を使用する必要があります：

ibmlhapikey_<username>

ibmlhtoken_<username>

詳細については、. のアクセス管理とガバナンス watsonx.data を参照してください。

テクノロジー・プレビューの特徴

このリリースでは、技術プレビューの機能で追加のアップデートと機能強化が利用可能です。このリリースのテクノロジープレビューの更新内容を確認するには、テクノロジープレビューを参照してください 2.3。

13 11月 2025 - バージョン 2.2.2 新機能1 ( NF1 )

NF12.2.2watsonx.data バージョンは段階的に異なる地域にリリースされており、すべての地域で利用可能なわけではありません。お住まいの地域でこの NF12.2.2 リリースが利用可能かどうかについては、サポート IBM にお問い合わせください。

テクノロジー・プレビューの特徴: このリリースでは、技術プレビューの機能で追加のアップデートと機能強化が利用可能です。このリリースの技術プレビューアップデートを確認するには、技術プレビュー 2.2.2 NF1 を参照してください。
非推奨フィーチャー: UI を使用して watsonx.data Lite インスタンスを作成する場合、 High Performance BI と Data Engineering のユースケースは非推奨となります。これらのユースケースでも、CLIを使用して watsonx.data Liteインスタンスを作成できます。しかし、これらのユースケースはバージョン 2.3.1 でCLIから削除される。

2025年10月31日 - バージョン 2.2.2

エンジンとサービスの強化

watsonx.dataのこのリリースでは、以下のエンジンとサービスの強化が導入されています：

Milvus watsonx.data では、ベクトル・データ、インデックス・ファイル、バイナリ・ログを格納するための以下の外部ストレージ・タイプをサポートするようになった： (GCS)、 Data Lake Storage (ADLS)、ストレージ・タイプ。 Google Cloud Storage Azure Gen1 S3-compatible
Milvus スターターTシャツのサイズでは、スケーリング機能が無効になりました。 Milvus スターターTシャツのサイズから他のサイズに変更することはできません。より大きなコンフィギュレーションからスターターへのスケールバックも禁止されている。

データソースとストレージの強化

watsonx.data の本リリースでは、以下のデータソースとストレージの機能強化が導入されている：

これで、 IBM Knowledge Catalog ガバナンス・ポリシーをデータ・ソースに適用できます。 Teradata。詳しくは、 IBM Knowledge Catalog （IKC）への接続を参照。
カタログに関連付けずに、アクティブ状態のストレージを作成できるようになった。この強化により、手動でアクティベーションを行う必要がなくなった。
トポロジービューで ACL 対応ストレージの ACL 機能を有効/無効にできるようになりました。詳細については、 ACL 対応ストレージの ACL の無効化または有効化を参照してください。
スケーラブルな分散ファイルシステムである GlusterFS, を、 MinIO のストレージバックエンドとして使用できるようになりました。詳細については、「 MinIO を使用した GlusterFS 複製ストレージの設定」を参照してください。
カスタム S3 ストレージオプションを使用して、 watsonx.data の S3 互換オブジェクトストレージを構成できるようになりました。詳しくは、カスタム S3 ストレージを参照。
Azure Data Lake Storage (ADLS) と Google Cloud Storage の認証情報を更新できるようになりました。
以下のデータ・ソースについて、インスタンス・コンソール・データベースまたはデータ・プラットフォーム内のデフォルト・カタログのいずれかに接続の詳細を保存することを選択できるようになりました：
- IBM Db2
- IBM Netezza
- MySQL
- Oracle
- PostgreSQL
- Snowflake
- SQL Server

Delta Lake カタログがSparkのアクセス制御拡張機能で利用可能に

Sparkのアクセスコントロールエクステンションで Delta Lake カタログを使用できるようになり、Sparkアプリケーション送信時のセキュリティが強化されました。この機能により、認可されたユーザーのみがSparkジョブを通じて watsonx.data カタログにアクセスし、操作できるようになる。詳細については、Sparkアクセス制御拡張を使用したSparkアプリケーション投稿の強化を参照してください。

Sparkアプリケーションのペイロードをカスタマイズする

watsonx.data で Spark アプリケーションを提出する際、アプリケーションのペイロードをカスタマイズして以下の機能を含めることができます：

アイデンポテンシー・キー：クライアントとサーバーの通信に障害が発生した場合でも、アプリケーションの送信が一度だけ処理されるようにする。
最大実行時間の制御：Sparkアプリケーションの最大実行時間を定義します。タイムアウトが指定されていない場合、ジョブはその所要時間にかかわらず、完了するまで実行され続ける。

詳細については、 Sparkアプリケーション投稿用のパラメータのカスタマイズを参照してください。

コモン・ポリシー・ゲートウェイ（CPG）

コモン・ポリシー・ゲートウェイ（CPG）のプロビジョニングがオプションになった。ポリシー・エンジンが明示的に必要でない限り、CPG を自動プロビジョニングせずに watsonx.data インスタンスを作成できます。この機能により、CPGのプロビジョニングは完全にオプションとなり、リバーシブルとなった。 RangerやIKCのようなお客様必要な場合は、CPGを後でプロビジョニングすることができる。詳細については、共通ポリシーゲートウェイエンジンの有効化または無効化を参照してください。

CPDCTL CLI の機能強化

watsonx.data の本リリースでは、 IBM Cloud Pak for Data Command Line Interface ( IBM cpdctl) に以下の機能強化が加えられている：

新しい access-control コマンド・グループを使用して、 watsonx.data インスタンス内のリソースのアクセス・ポリシーを管理します。これには、ユーザーとグループのアクセスの表示、更新、取り消しが含まれます。詳しくは、アクセス制御を参照のこと。

データ・マネージャーの強化

ユーザーはカスタムパスでスキーマを作成し、より詳細なレベルでデータを表示・同期できるようになった。この新機能により、ユーザーはカタログ全体を同期させる代わりに、特定のディレクトリ（例えば、 /test1 や /test1/schema1 ）だけを同期させ、そのパス下のテーブルを取得することができる。このターゲット同期機能は、データ管理のパフォーマンスと精度を向上させる。

統合の機能拡張

IBM watsonx.data Mantaとの統合により、 Presto、カラムレベルの系統追跡をサポートするようになりました。この機能強化により、ユーザーは詳細なカラムの依存関係、リレーションシップ、メタデータの変更を調査できるようになり、データフローをより深く洞察できるようになり、パイプライン全体のトレーサビリティが向上しました。

非推奨フィーチャー

IBM クライアントパッケージは非推奨であり、 ibm-lh-client パッケージのインストールとサポートは、 2.3.0 リリース watsonx.data からは利用できないものとする。クライアントパッケージのユーティリティとコマンドは、 IBM CPDCTL CLIに置き換えられます。ユーザーはCPDCTLを移行し、探求することが奨励される。 IBM CPDCTL CLI の使用方法については、 IBM cpdctl を参照。

クライアントパッケージの同等の機能には、以下の利用可能なツールを使用します：

python-run / - 標準の環境を使用して、Spark スクリプトを開発および実行する。 dev-sandbox Python
presto-run / CLI - 公式 Presto Presto CLI を使用して、に対して SQL クエリを実行する。 watsonx.data
cert-mgmt- 証明書を管理するには、 HTTPS JVM keytool を使用する。

2025 年 9 月 23 日 - バージョン 2.2.1 新機能導入（NFI）

NFI版 as a Service watsonx.data のリリースノート（ IBM Cloud 生成AI体験付き）については、 2.2.1NFI版 as 2.2.1 a Service IBMwatsonx.data の新機能導入（NFI）をご覧ください。

メタデータ・サービスの強化: watsonx.data の Metadata Service (MDS) が、Iceberg および Unity REST API を介した Vended Credential の発行をサポートするようになった。一時的な認証情報を要求することで、外部のメタデータ・コンシューマーは、長期間のアクセス・キーを管理する必要なく、オブジェクト・ストレージからデータに安全にアクセスできるようになった。

ベンダー認証情報サポート機能は、Google Google Cloud Storage Cloud Storage (GCS)、Google Azure Data Amazon S3 Lake Storage (ADLS) などのストレージでのみ利用 watsonx.data 可能です。ストレージ Amazon S3 向けのベンダー発行認証情報のサポートを有効にするには、メタデータコンシューマーは S3 コンポーネントをに登録する際にロールARN（Amazonリソース名 watsonx.data ）フィールドを指定する必要があります。詳細については、ストレージ Amazon S3 の追加を参照してください。

2025年9月11日 - バージョン 2.2.1

エンジンとサービスの強化

本リリース（ watsonx.data ）では、以下のエンジンとサービスの強化が行われている：

watsonx.data APIにバージョン v3 を導入。 watsonx.data バージョン 2.3 まで、バージョン v2 を使い続けることができる。 API ドキュメント(v3 ) を参照のこと。
Spark 4.0 に Spark ランタイムを設定した watsonx.data Spark エンジンをプロビジョニングできるようになり、Spark 4.0 で Spark アプリケーションを実行できるようになりました。サポートされるSparkのバージョンの詳細については、サポートされるSparkのバージョンを参照してください。
watsonx.data の Milvus サービスがバージョン 2.5.12 にアップグレードされた。
オープンソースの Milvus バックアップツールを使って、 watsonx.data 内の Milvus からデータをバックアップおよびリストアできるようになりました。
watsonx.data の Gluten accelerated Spark エンジンは、Spark バージョン 3.5 を使用してアプリケーションを実行できるようになりました。サポートされるSparkのバージョンの詳細については、サポートされるSparkのバージョンを参照してください。
watsonx.data の Milvus で Vector Transport Service (VTS) を使用して、システム間でベクターデータを移行または管理できるようになりました。詳細については、ベクター・トランスポート・サービスの利用を参照してください。

クエリー・オプティマイザーの強化

オプティマイザー・ダッシュボードでクエリ・パフォーマンスの改善を監視できるようになりました。オプティマイザは、関連カタログのクエリプランを積極的に管理し、 Presto （C++）エンジンのパフォーマンスを向上させている。詳細については、オプティマイザー・ダッシュボードからの統計更新の管理を参照してください。

アクセス管理の強化

watsonx.dataのこのリリースでは、以下のアクセス管理機能が強化されています：

watsonx.data の Milvus サービスの特権管理には、以下のグローバル特権が含まれるようになりました：
- DescribeDatabase- 指定したデータベースに関する詳細情報を提供する。
- AlterDatabase- 既存のデータベースのプロパティを変更する。

Milvus におけるユーザー・アクセス管理の詳細については、 watsonx.data の「定義済みのロールと権限」を参照してください。

CPDCTL CLI の機能強化

watsonx.data の本リリースでは、 IBM Cloud Pak for Data Command Line Interface ( IBM cpdctl) に以下の機能強化が加えられている：

CPDCTL バージョン 1.8.25 以降、互換性は watsonx.data バージョン 2.2.1 以上に制限されます。この変更は、 v3 APIへのメジャーアップグレードの一環として、 v2 APIサポートが廃止されたことによるものです。 CPDCTL の旧バージョンをお使いの方は、 CPDCTL リリースアーカイブをご参照ください。

API仕様の更新により、一部のコマンドが変更されている可能性があります。最新のコマンド構文を確認し、それに合わせるには、 --help オプションを使用する。
watsonx.data バージョン 2.2.1 からは、cpdctl を通して HashiCorp Vault を使用し、安全なシークレット管理と合理化された自動化ワークフローを実現できます。
service コマンド wx-data service generate-engine-dump の下に新しいオプションが追加され、 Presto ワーカーノードと watsonx.data コーディネータノードのダンプを生成できるようになりました。 watsonx.data の保守性関連操作のための service コマンドの詳細については、 service を参照のこと。
watsonx.data の様々なコンポーネントのコンフィギュレーションの詳細とステータスを取得するには、新しい component コマンドを使用します。 watsonx.data の様々なコンポーネントのコンフィギュレーション詳細を取得する component コマンドの詳細については、 wx-data のコマンドと使用法を参照のこと。
CPDCTL バージョン 1.8.5 以降、ユーザーは instance ID を環境変数として設定する必要がなくなりました。このメソッドは非推奨であり、将来のリリースで削除されます。代わりに、 profile コマンドを使用して instance ID を直接設定する。 instance ID を環境変数として設定する方法の詳細については、 config コマンドと使用法を参照のこと。

データソースとストレージの強化

以下のデータソースについて、データプラットフォームからカタログとプロジェクトをインポートできるようになりました：

IBM Db2
IBM Netezza
MySQL
Oracle
PostgreSQL
Snowflake
SQL Server

データエンリッチメントのためのセマンティックオートメーション

watsonx.data は、ユーザーが自然言語を使用してデータを照会できるセマンティック検索機能をサポートし、データ探索をより直感的かつ効率的にします。セマンティック検索機能の詳細については、 watsonx.data のセマンティック検索の実行を参照してください。

パブリック・プレビューの強化

コンフィギュレーション UIからパブリックプレビュー機能にアクセスできるようになりました。コンフィギュレーションUIから、 watsonx.data パブリックプレビュー機能に簡単にアクセスし、管理できるようになりました。パブリックプレビュー中の機能はプレビュータグで強調表示され、簡単に識別できる。各機能を有効または無効にすることで、その機能を試すことができます。各パブリックプレビュー機能には、その詳細なドキュメントへのリンクが含まれており、その機能についてより詳しく知ることができます。パブリック・プレビューの機能の詳細については、 watsonx.data （パブリック・プレビュー）の新機能をご覧ください。

非推奨フィーチャー

このリリースでは以下の機能が非推奨となります：

watsonx.data API バージョン v2 は非推奨となりました。

watsonx.data API バージョン v2 は、バージョン 2.2.1 から watsonx.data 開発者版から完全に削除された。バージョン 2.3 で watsonx.data ソフトウェア版から完全に削除されます。継続的な互換性と新機能へのアクセスを確保するため、サポートされる最新の API バージョン ( v3 ) に移行する必要があります。

watsonx.data で外部 Spark エンジンを登録するオプションは、このリリースでは非推奨となっており、バージョン 2.3 で削除される予定です。 watsonx.data には、Gluten-accelerated Spark エンジン（Gluten accelerated Spark エンジンのプロビジョニング）やネイティブの watsonx.data Spark エンジン（Provisioning a Spark engine ）など、直接プロビジョニングして使用できる組み込み Spark エンジンがすでに含まれています。

05 August 2025 - バージョン 2.2.0 新機能1 ( NF1 )

BLOBおよびCLOBデータ型のサポート

watsonx.data、BLOBとCLOBデータ型のサポートが更新され、連携クエリーエンジンとして Presto、SQL標準に沿ったものとなった。

サポートを読む BLOB と CLOB は JDBC ベースの連携システムから読み込むことができる。読み込まれると、以下のようにマッピングされる：

BLOBからVARBINARYへ
CLOBからVARCHARへ

サポートを書く： BLOBとCLOBデータの書き込みもサポートされており、以下のように扱われる：

バイナリデータ用のVARBINARY
文字データ用のVARCHAR

テーブルサポートを作成する：新しいテーブルを作成する際に、カラム・タイプとしてBLOBやCLOBを使用することはできません。このような使用例では、VARBINARYとVARCHARのみがサポートされている。

エンジンのバージョンアップ

Presto ( Java ) および Presto (C++) エンジンは、バージョン 0.294 にアップグレードされました。

watsonx BI への接続

watsonx.data と IBM watsonx BI を接続することで、さまざまなデータソースにあるデータに直接アクセスできるようになり、データサイエンティストやデータアナリストがデータを利用しやすくなりました。 watsonx BI への接続については、「watsonx BI との統合」を参照してください。

ライトプランの機能強化

このリリースの watsonx.data では、以下のライトプランの機能強化が行われている：

LiteプランのサーバーレスSparkエンジン： watsonx.data LiteプランインスタンスのSparkエンジンはサーバーレスモデルで動作します。 Sparkジョブをサーバーレスプラットフォームで実行できるようになり、Sparkエンジンごとに専用ノードを用意する必要がなくなった。サーバーレス・スパークでは、最大8 vCPU×32 GBのリソース割り当て制限があり、ユーザーはノードの共有プールにアクセスできる。スパークのランタイムは、専用ノードではなく、データプレーン内の利用可能なノードにスケジューリングされる。 Liteプランインスタンスをプロビジョニングし、その中にSparkエンジンを作成する方法については、 Liteプラン用のサーバーレスSparkエンジンのプロビジョニングを参照してください。
Presto ( Java ) エンジンには、新しいライトサイズ構成が導入され、実験や初期段階の開発目的のためのシングルノード配備セットアップを提供する。 Lite Presto ( Java ) エンジンは、 watsonx.data Lite プランインスタンスでのみ利用可能です。詳細については、 Presto(Java)エンジンのプロビジョニング」を参照してください。

摂取促進

watsonx.data のこのリリースには、以下のインジェスト機能強化が含まれている：

.txtファイル形式でのデータ取り込みが可能になりました。この機能強化により柔軟性が向上し、ユーザーは既存のサポート形式に加えてプレーンテキストファイルもシームレスにアップロードできるようになりました。

サービスの機能拡張

2つの設定を使用して、 クエリのタイムアウトを設定できるようになりました： 最大クエリ実行時間とクエリ・クライアント・タイムアウトです。詳細については watsonx.data のユーザー設定の管理: セッションタイムアウト、クエリタイムアウト、およびログインメッセージ設定を参照してください。

11 2025年7月

watsonx.data、2025年7月11日に新バージョンがリリースされ、以下の変更が加えられた：

新たに利用可能になったリージョン: watsonx.data AWS がムンバイ地域で利用可能になった。

07 July 2025 - バージョン 2.2.0 Hotfix 1

watsonx.data のバージョン 2.2 ホットフィックスが2025年7月7日にリリースされた。このリリースには、セキュリティアップデートと修正が含まれています。

2025年6月11日 - バージョン 2.2.0

エンジンとサービスの強化

本リリース（ watsonx.data ）では、以下のエンジンとサービスの強化が行われている：

プロキシホストルートを使用して Milvus サービスに接続するための新しい API バージョンを導入。詳細は、 Milvus サービスへの接続を参照。
Presto (C++) エンジンでは、 Hive と Iceberg カタログがリージョン設定で有効になりました。詳細については、 Presto （C++）エンジンのプロビジョニングを参照してください。
新しいGlutenアクセラレーションSparkエンジン：GlutenアクセラレーションSparkエンジンをプロビジョニングし、Spark SQLフレームワークの高いスケーラビリティとネイティブライブラリの高いパフォーマンスを活用して、複雑な分析ワークロードを実行できるようになりました。新しいGlutenアクセラレーション・スパーク・エンジンでの作業については、 Glutenアクセラレーション・スパーク・エンジンでの作業を参照してください。
SparkジョブでIcebergテーブルデータを変換することで、ワークスペースクエリーを高速に実行：Icebergテーブルの読み込みを高速化するために、Sparkジョブを使用してIcebergテーブルデータをMerge-on-Read（MOR）形式からCopy-on-Write（COW）形式に変換できるようになりました。詳細については、 MoR から CoW への変換のためのSparkジョブの投入を参照。
Spark API の機能を使用して、一覧表示できるアプリケーションの上限と、Spark アプリケーションのフィルタリングに使用できるフィルタ基準を構成できます。

CPDCTL CLI の機能強化

このリリースの watsonx.data では、 IBM Cloud Pak for Data Command Line Interface ( IBM cpdctl) に以下の機能強化が加えられている：

tablemaint コマンドを使用すると、 watsonx.data でさまざまな Iceberg テーブルのメンテナンス操作を実行できます。
wx-data service コマンドを使用すると、テーブルの一覧表示、QHMM が有効なバケットの一覧の取得、QHMM 関連の統計やクエリの監視など、サービス性に関連するさまざまな操作を実行できます。

詳細については、 IBM cpdctlを参照のこと。

統合の機能拡張

watsonx.data の今回のリリースでは、他のサービスとの統合が以下のように強化されている：

新しい配送方法：テーブルとして配信 watsonx.data

サポートされているデータソースを使用したデータ製品は、 watsonx.data のテーブルとして配信メソッドを使用して、 watsonx.data テーブルのインスタンスに配信できるようになりました。この方法では、適切な権限を持つユーザーが新しいテーブルを作成したり、既存のテーブルに追加したりすることができる。詳細については、 Data Product Hub との統合を参照してください。

新しい配達方法：でのアクセス watsonx.data

watsonx.data 配信方法でアクセスすることで、 watsonx.data インスタンスから作成されたデータ製品を購読できるようになりました。この方法によって、消費者は Data Product Hub を通して watsonx.data のリソースに直接アクセスすることができる。配信後、コンシューマーには、 watsonx.data インスタンスへのアクセス方法と、アクセスできる特定のリソースの詳細が表示されます。詳細については、 Data Product Hub との統合を参照してください。

以下の方法でSparkクエリサーバーに接続し、クエリを実行してデータを分析できるようになりました。
- DBeaver の使用 ( JDBC クライアント)
- Java ( JDBC クライアント) コードの使用
- Python ( PyHive JDBC クライアント)の使用
詳細については、 Spark JDBC Driverを使用したSparkクエリサーバーへの接続を参照してください。

課金機能強化

watsonx.data の本リリースでは、課金機能に以下の機能強化が施されている：

請求の詳細化：ユーザーは請求明細を明細形式で表示できるようになり、より詳細で透明性の高い請求が可能になります
課金精度：ユーザーの課金使用量は、これまでのハイウォーターマーク方式に代わり、1分単位で追跡されるようになりました

クエリー履歴の監視と管理（QHMM）の強化

watsonx.data の今回のリリースでは、以下の QHMM の強化が導入されている：

クエリモニタリングページがクイックスタートウィザードの設定から削除され、バケットの設定ページに統合されました。 QHMMストレージの有効化、無効化、詳細設定は、クイック・スタート・ウィザードのバケット設定ページから直接行えるようになりました。更新されたクイック・スタート・ウィザードのセットアップについては、クイック・スタートを参照してください。

データソースとストレージの強化

このリリースの watsonx.data には、以下のストレージ強化が含まれている：

New Technology LAN Manager (NTLM) 認証および Microsoft Entra 認証で SQL Server を使用できるようになりました。 NTLM は Windows ベースのチャレンジ・レスポンス認証方式である。詳しくは SQL Server.

デフォルトでアクティブ状態の以下のストレージを作成できるようになった：

IBM Cloud Object Storage
Amazon S3
IBM Storage Ceph
MinIO
Google Cloud Storage
Azure Data Lake Storage
Apache Ozone

アクセス管理の強化

watsonx.dataのこのリリースでは、以下のアクセス管理機能が強化されています：

エクスポート機能を使用して、既存のリソースポリシーをダウンロードし、別の必要な環境にインポートすることができます。これにより一貫性が確保され、スムーズな移行が可能になる。インポート・エクスポート機能の使用方法については、ユーザー・アクセスの管理を参照してください。
カタログ管理者または管理者ロールを持つグループに属するユーザーは、カタログへのアクセスを削除できるようになりました。コンポーネントのユーザを削除する方法の詳細については、ユーザ・アクセスの管理を参照してください。
管理者以外のユーザーは読み取り専用で、設定セクション内のドライバーマネージャーページを表示できるようになりました。これにより、管理者に相談することなく、アクティブなドライバーのリストとその詳細を確認することができる。詳細については、ドライバーマネージャーを参照してください。

監査とトラッキングの強化

本リリース（ watsonx.data ）では、以下の監査および追跡機能が強化された：

追跡可能なイベントのリストには、MDS ThriftサーバーとMDS Restサーバーに関連する詳細なアクティビティが含まれるようになり、アプリケーションとユーザーがこれらの重要なコンポーネントとどのようにやり取りしているかを把握できるようになりました。詳細については、 MDS Thriftサーバーイベントおよび MDS Restサーバーイベントを参照してください。

非推奨フィーチャー

このリリースでは以下の機能が非推奨となります：

Milvus RESTホストを使用するAPI（接頭辞が /api/v1 のAPI）は、 watsonx.data v2.2 をもって非推奨となります。
Azure Data Lake Storage (ADLS) は現在非推奨となっており、今後のリリースで削除される予定です。 Gen1 ADLS Gen1 が利用できないため、ADLS Gen2 に移行する必要があります。
ユーザ名として ibmlhapikey と ibmlhtoken を使用するユーザ認証方法は、現在非推奨となっており、将来のリリースで削除される予定です。代わりに ibmlhapikey_<username> 、 ibmlhtoken_<username>。詳細については、 watsonx.data のアクセス管理とガバナンスを参照のこと。

2025 年 4 月 10 日 - バージョン 2.1.2 Hotfix 1

エンジンとサービスの強化

本リリース（ watsonx.data ）では、以下のサービスが強化されました：

Milvus ベクター・データベースの軽量なシングルノード・デプロイメントである Tiny Milvus を導入。

Tiny Milvus は、 Milvus のコア体験を提供し、 watsonx.ai プラットフォームでの使用に特化して設計されています。最小限のリソースでベクトルベースのAI探索を行うためのエントリーポイントとして機能し、効果的なデータ管理と分析を支援する。これは、 watsonx.data で利用可能な他の Milvus 構成とは異なるもので、より広範なスケーラビリティとエンタープライズグレードの機能をサポートしています。

Tiny Milvus は最大 10K のベクターをサポートしており、重いインフラを必要としない迅速な試験や初期の実験に適している。本番環境での使用を意図したものではありません。

Tiny Milvus の使用方法については、 watsonx.data Milvus ベクターストアのセットアップを参照してください。

04 2025年4月 - バージョン 2.1.2

データソースとストレージの強化

このリリースの watsonx.data には、以下のストレージ強化が含まれている：

これで IBM Db2 for i データソースに接続できます。については IBM Db2 for i については IBM Db2 for i.

コネクティビティの強化

watsonx.data の本リリースには、以下の接続性強化が含まれている：

仮想プライベートエンドポイントを使用して、 watsonx.data インスタンスに安全かつプライベートに接続できるようになりました。 watsonx.data におけるネットワーク・エンドポイントの設定については、仮想プライベート・エンドポイントの設定を参照。

統合の機能拡張

watsonx.data の今回のリリースでは、他のサービスとの統合が強化され、以下の機能が追加されました

Presto (C++) エンジンを watsonx.data と統合する際に、 IBM Knowledge Catalog ガバナンス・ポリシーを定義できるようになりました。 IBM Knowledge Catalog （IKC）への接続については、 IBM Knowledge Catalog （IKC）への接続を参照してください。
ODBC ドライバ (Simba または CData) の選択に基づいて、ターゲット Presto エンジン用の設定ファイルをエクスポートできるようになり、 watsonx.data との接続をより簡単に確立できるようになりました。この機能強化により、 PowerBI を使用して Presto エンジンの詳細を手動で設定する手間が省けます。コンフィグファイルを使用した Presto への接続については、コンフィグファイルを使用した Presto への接続を参照してください。
Data Product Hub との統合 : watsonx.data を DPH と統合することで、SQL テーブルとクエリを特定のユースケースに合わせたデータ製品にパッケージ化することができます。詳細については、 Data Product Hub との統合を参照してください。

摂取促進

watsonx.data のこのリリースには、以下のインジェスト機能強化が含まれている：

外部Sparkエンジンを使用するIngestionジョブは、 watsonx.data 内でログを提供するようになりました。この機能強化により、ユーザーはクラウドプラットフォーム（ SaaS インスタンス）上の watsonx.data 内で直接、ジョブの実行を効率的に特定し、トラブルシューティングできるようになりました。インジェスト手順の詳細は、ウェブコンソールからSparkを使ってデータをインジェストするでご覧いただけます。

エンジンとサービスの強化

本リリース（ watsonx.data ）では、以下のエンジンとサービスの強化が行われている：

Azure Data Lake Storage Gen2 with AccessKey Authmode with Spark engineを使用して、Sparkアプリケーションを送信しながらデータを保存できるようになりました。 Azure Data Lake Storage Gen2 については、 Azure Data Lake Storage を参照。

クエリー・ワークスペースの強化

今回のリリースでは、 watsonx.data、以下のクエリ・ワークスペースが強化された：

1つまたは複数の実行中のクエリをキャンセルするオプションが追加されました。さらに、クエリーがキャンセルされた後や正常に完了した後にワークシートからクエリーを削除できるので、ワークスペースの整理整頓が簡単になります。詳細については、 SQLクエリの実行を参照してください。

アクセス管理の強化

watsonx.dataのこのリリースでは、以下のアクセス管理機能が強化されています：

管理者は IBM Db2 および IBM Netezza のアクセスを設定できるようになった。 IBM Netezza IBM Db2 エンジンの閲覧、編集、管理を行う watsonx.data ユーザーにロールを割り当てることができます。リソースレベルのパーミッションについては、 (Db2 および Netezza ) を参照のこと。
管理者は、独自のスキーマを作成および表示する際に、ユーザーまたはロールに特定の権限を付与または取り消すことができるようになりました。データ・ポリシー・ルールについては、データ・ポリシー・ルールの管理を参照してください。
以前は非推奨であった DAS プロキシフローは削除され、 watsonx.data では利用できなくなりました。

クエリー履歴の監視と管理（QHMM）の強化

watsonx.data のこのリリースでは、以下の QHMM の機能強化が行われている：

watsonx.data でクエリ監視を設定する際に、QHMM カタログに関連付けられている Presto エンジンを選択できるようになりました。 QHMMの設定については、クエリ・モニタリングの設定を参照してください。
これで、移行スクリプトを使って、 watsonx.data の移行元バケットから移行先バケットに QHMM データを転送できるようになりました。移行スクリプトの使用方法の詳細については、 QHMMシェルスクリプトの使用方法を参照してください。

CPDCTL CLI の機能強化

watsonx.data の本リリースでは、 IBM Cloud Pak for Data Command Line Interface ( IBM cpdctl) に以下の機能強化が加えられている：

バージョン 2.1.2 以降、 wx-data コマンドがデフォルトで利用できるようになり、 watsonx.data でインジェスト、エンジン管理などの操作ができるようになった。
wx-data engine create と wx-data engine delete コマンドを使用して、 watsonx.data で利用可能なすべてのエンジンのプロビジョニングと削除を行うことができます。
sparkjob コマンドを使用すると、Spark アプリケーションの送信、一覧表示、詳細の取得ができます。
INSTANCE_ID インスタンス環境を設定する際に使用される。 WX_DATA_INSTANCE_ID

詳細については、 IBM cpdctlを参照のこと。

2025年2月28日 - バージョン 2.1.1

新たに利用可能になったリージョン

watsonx.data トロント地域で、ライトプランとエンタープライズプランが利用可能になりました。プロビジョニングについては、Provisioning watsonx.data Lite プランおよび Provisioning watsonx.data Enterprise プランをご覧ください。

データソースとストレージの強化

watsonx.data の今回のリリースには、以下のストレージ機能強化が含まれています

現在、以下のデータソースとストレージの接続をテストすることができます
- Apache Phoenix
- IBM Data Virtualization Manager
- BigQuery
- Google Cloud Storage
Register table および Load tableメタデータAPI を使用して、オブジェクトストレージ上に既存のHudiおよびDeltaテーブルを登録し、ロードできるようになりました。

摂取促進

インジェストジョブが完了すると、 インジェスト履歴ページから直接インジェストされたデータにアクセスできるようになりました。これにより、ワークフローが効率化され、時間の節約にもなります。

統合の機能拡張

watsonx.data の今回のリリースでは、他のサービスとの統合が強化され、以下の機能が追加されました

接続情報ページに、以下の内容が追加されました
- Presto DBT統合のための構成の詳細。 DBT との統合に必要な Presto の設定の詳細は、このページからコピーできます。
- Tableau との統合に必要な Presto エンジンの構成の詳細を含むTDSファイルをエクスポートするオプション。

詳細は、接続情報の取得を参照してください。

エンジンとサービスの強化

watsonx.dataのこのリリースでは、以下のエンジンとサービスの強化が導入されています：

Sparkエンジン詳細ページの 「アプリケーション」タブから、Sparkアプリケーションを作成できるようになりました。詳細については、「コンソールからのSparkアプリケーションの送信」を参照してください。
Sparkのバージョン、 3.5.4 を使って、 watsonx.data でアプリケーションを実行できるようになった。 watsonx.data、 Apache Spark 3.4.4、 Apache Spark 3.5.4 が対応バージョンです。
Milvus 以下を許可する:
- Milvus では、複数のベクトルカラムに基づくハイブリッド GroupBy 検索が可能になり、また、検索クエリを実行する際のグループサイズをカスタマイズできるようになりました。詳細については、カスタム検索については、 watsonx Assistant を watsonx.data Milvus に接続するを参照してください。
- Milvus 現在、最大1,024次元の30億ベクトルを格納できるカスタムサイズをサポートしています。
- Milvus 現在、あらかじめ設定されたTシャツのサイズ（S、M、L）またはカスタムサイズの間で、拡大または縮小が可能になりました。詳細は、「 Milvus サービスの追加」を参照してください。
watsonx.data 2.1.1 バージョンから、 Milvus 2.5.0 がサポートされています。詳細については、 Milvus。

アクセス管理の強化

watsonx.dataのこのリリースでは、以下のアクセス管理機能が強化されています：

watsonx.data のアクセス管理サービス（AMS）は、 Presto からの受信リクエストに JSON Web トークン（JWT）認証を使用できるようになりました。これにより、安全で効率的なアクセス制御が実現します。詳細については、「 Presto エンジンへの Presto CLI（リモート）による接続」を参照してください。
インフラストラクチャコンポーネントにユーザーとロールを20件ずつまとめて割り当てることができるようになりました。詳しくは、ユーザーのアクセス権限の管理を参照してください。
Apache Ranger Hadoop SQL ポリシーを使用して、Spark エンジンでデータを管理できるようになりました。 Sparkエンジンが Hadoop クラスタからデータにアクセスする際に、Rangerポリシーを定義することができます。 Rangerポリシーを有効にすることで、強固なデータセキュリティとガバナンスが確保されます。 Ranger ポリシーを使用すると、テーブルの権限設定（ L3 ）、行レベルのフィルタリング、およびデータのカラムマスクを設定することができます。詳細は、「リソースに対する Apache Ranger ポリシーの有効化」を参照してください。

CPDCTL CLI の機能強化

IBM CPDCTL 現在、 watsonx.data のさまざまな操作の設定と管理には CLI が使用されている。 CPDCTL CLI を使用すると、構成設定の管理、取り込みジョブの実行、エンジン、データソース、ストレージの管理が可能です。現在、これらの操作を実行するために、以下の2つのプラグインが使用されています

config- watsonx.data のサービス環境とユーザーを設定します。
wx-data- watsonx.data で、取り込み、エンジン管理などの他の操作を行う。詳細については、 IBM cpdctl をご覧ください。

watsonx.data 開発者向けエディションは、CPDCTL バージョン v1.6.104IBM 以降で有効になりました。

非推奨フィーチャー

このリリースでは以下の機能が非推奨となります：

データアクセスサービス（DAS）プロキシ機能は現在非推奨となっており、今後のリリースで削除される予定です。オブジェクトストレージ（ S3、ADLS、ABS）にアクセスするには、DASプロキシ機能を使用することはできません。 DASプロキシフローを使用していて問題が発生した場合は、 IBM サポートまでご連絡ください。 DAS機能の概要については、「データアクセスサービス（DAS）」を参照してください。
IBM クライアントパッケージは現在非推奨となっており、今後のリリースでは削除される予定です。 Clientパッケージ内のユーティリティおよびコマンドは、 IBM CPDCTL CLIに置き換えられます。 IBM CPDCTL CLI の使用方法については、 IBM cpdctl を参照。

2025年2月4日 - バージョン 2.1.0 Hotfix 2

ライトプランの機能強化: IBM® watsonx.data シドニー地域でライトプランが利用可能になりました。シドニーリージョンでライトプランのインスタンスをプロビジョニングする詳細については、「ライトプランのプロビジョニング」を参照してください。

2025年1月10日 - バージョン 2.1.0 ホットフィックス1

エンタープライズプランの機能強化: IBM Cloud を使用してシドニーリージョンでエンタープライズプランのインスタンスをプロビジョニングする場合は、 lakehouse-enterprise-mcsp というプラン名を使用する必要があります。詳細については、「CLI によるインスタンスのプロビジョニング」を参照してください。

2024年12月13日 - バージョン 2.1.0

データソースとストレージの強化

このリリースには、以下の新しいデータソースとストレージの機能強化が含まれています：

これで、 Apache Phoenix のデータソースに接続できます。詳細については、こちらをご覧ください。 Apache Phoenix
MySQL データソースを使用している場合、Configurationsページの Driver manager セクションでドライバを管理できるようになりました。これらのドライバーはそれぞれ、一連の検証ステップを経る。 MySQL 接続のテストはできなくなりました。詳細については、「 MySQL 」を参照してください。

バージョンにアップグレード 2.1.0 すると、既存の MySQL カタログはエンジンとのリンクが解除されます。これは、カタログとエンジ MySQL ンの間の接続を再確立する必要があることを意味します。

テスト接続機能は、 Arrow Flight service でサポートされている以下のデータソースで使用できるようになりました：
- Apache Derby
- Salesforce
- Greenplum
- MariaDB
これで、 Azure Data Lake Storage（ADLS）と IBM Data Virtualization Manager for z/OS データ・ソースの接続をテストできます。

統合の機能拡張

watsonx.dataのこのリリースでは、他のサービスとの統合が以下のように新規または強化されました：

Configurations ページからDataband接続を有効にすることができます。詳細については、 Databandを使用してSparkアプリケーションの実行を監視するを参照してください。
以下の統合について、 watsonx.data インスタンス > 設定 > 接続情報ページから Presto 接続情報を取得できるようになりました：
- BIツール
- DataBuildTool (dbt)
watsonx.data バージョン 2.1 以降、次のポリシーエンジンのいずれか 1 つとのみ統合できます：
- Apache Ranger
- IBM Knowledge Catalog (IKC)

詳細については、「接続情報」を参照してください。

IBM Manta Data Lineageと watsonx.dataを統合して、Manta UIを通じてSparkからジョブ、ラン、データセット・イベントをキャプチャして公開できるようになりました。詳細については、 IBM Manta Data Lineage を参照してください。
Presto 用の dbt アダプタで、 Prestoのすべてのデータ型を使用できるようになりました。 dbt_project.ymlの column_typesにデータ型を指定する。詳細については、 dbt- watsonx-prestoのインストールと使用を参照してください。

エンジンとサービスの強化

watsonx.dataのこのリリースでは、以下のエンジンとサービスの強化が導入されています：

AccessKey Authmode を備えた Azure Data Lake Storage Gen2 と Presto (C++) エンジンを備えた Google Cloud Storageを使用できるようになりました。 Sparkアプリケーションを送信する際に Azure (ADLS) および Google Cloud Storage を使用してデータを保存できるようになりました。詳細については Azure および Google Cloud Storage を参照してください。
Google Cloud Storage （GCS）とデータアクセスサービス（DAS）を使用して、Sparkアプリケーションを送信しながらデータを保存できるようになりました。詳細については、ネイティブSparkエンジンを使用したSparkアプリケーションの提出を参照してください。
Spark Access Controlエクステンションを有効にして、 Hive カタログとHudiカタログにアクセスして操作できるようになりました。詳細については、外部Spark用のSparkアクセス制御拡張を使用したSparkアプリケーション投稿の強化およびネイティブSpark用のSparkアクセス制御拡張を使用したSparkアプリケーション投稿の強化を参照してください。
watsonx.aiノートブックの実行環境として watsonx.data エンジンを選択できるようになった。 watsonx.ai ノートブックの実行環境としてSparkエンジンを選択できるようになりました。これにより、 watsonx.data ネイティブSparkエンジン上でJupyterノートブックを実行できるようになります。詳しくは、 watsonx.ai ノートブックの使い方をご覧ください。
Presto 管理者がAPIを通じてJMXメトリクスを設定できるようになりました。現在、JMX プロパティ名のキーには英数字のみが使用できます。詳しくはプレストエンジンのアップデートを参照してください。

ibm-lhユーティリティによる履歴情報の照会

ibm-lhユーティリティを使用すると、以下のクエリ履歴情報を取得できます：

クエリーの基本情報
失敗したクエリの基本的なエラー情報。
クエリの統計情報。
メモリ情報を照会する。
ガベージコレクション情報を照会する。
トップタイムのクエリ
クエリのメモリ使用量の詳細。
2つのテーブルを結合した後の情報。
テーブルのすべての列を含む情報。
クエリのエラーに関する情報。
すべてのエラーコードの数。
すべての失敗メッセージの数。
すべての故障の種類を数える。

詳細については、 ibm-lh ユーティリティを使用した QHMM ログの取得を参照してください。

摂取強化

watsonx.dataのこのリリースでは、以下のインジェスト機能が強化されました：

ターゲットテーブルのプレビュー ：取り込みジョブを送信する前に、ターゲットテーブルのスキーマをプレビューし、カラムヘッダやデータ型を編集できるようになりました。これにより検証を行い、データが正しいテーブル構造に取り込まれるようにする。詳細については、ウェブコンソールからSparkを使用してデータを取り込むを参照してください。
テーブル作成のための Javaのインジェスト ：Data Managerには、 Javaのインジェストフローを使用してテーブルを作成するオプションが追加されました。詳しくはテーブルの作成とウェブコンソールからSparkを使ってデータを取り込むを参照のこと。
ソースストレージのサポートを強化 ：
- Azure Data Lake Storage（ADLS）：ADLSから直接データをインジェストできるようになりました。
- Google Cloud Storage (GCS)：GCSから直接データを取り込めるようになりました。
トランジェントストレージ ：ローカルインジェストのステージング領域として使用する外部バケットを選択できるようになりました。ストレージが指定されていない場合、 watsonx.dataは適切なバケツを推測して選択することができます。詳細については、ウェブコンソールからSparkを使用してデータを取り込むを参照してください。

メタデータ・サービス（MDS）の紹介

2.1 リリースから、 watsonx.dataは Hive Metastore (HMS)の代わりにMetadata Service (MDS)を使用します。 MDSは最新のオープンカタログAPI、Unity Catalog API、 Apache Iceberg REST Catalog APIと互換性があり、より幅広いツールとの統合と柔軟性の向上を可能にします。この新しいアーキテクチャは、既存のThriftまたはHMSインターフェイスを通じてSparkと Presto クライアントを引き続きサポートしながら、同等のパフォーマンスを提供する。詳細はメタデータ・サービス（MDS）の概要を参照。

MDSはテスト環境で使用し、その後本番環境で使用することをお勧めします。

非推奨フィーチャー

このリリースでは、以下の機能は非推奨です：

イベント・リスナーを通じて watsonx.dataの DDL変更をキャプチャするREST API機能は、 watsonx.data リリース・バージョン 2.1 1から廃止されます。

13 11月 2024 - バージョン2.0.4修正プログラム

ライトプランの強化

このHotfixリリースには、以下のLiteプランの機能強化が含まれています：

Lite プランには、Prestoエンジンに関連付けられた読み取り専用のサンプルIBMCOS ストレージが含まれるようになり、サンプル・データとベンチマーク・データのクエリをサポートします。
高性能ユースケースのためのtpcdsサンプル・ワークシートと、データエンジニアリングとGenAIのユースケースのためのGosalesサンプル・ワークシートで作業できるようになりました。
クエリオプティマイザーは、ハイパフォーマンスBIユースケースで自動的に有効になりました。

2024年10月29日 - バージョン2.0.4

エンジンとサービスの強化

このリリースには、以下のエンジンとサービスの強化が含まれています：

PrestoJava) およびPresto(C++) ワーカーの 'task.max-drivers-per-task プロパティのデフォルト値が、vCPUs 数に基づいて設定されるようになりました。
Query History Monitoring and Management (QHMM) の Query monitoring ページから、ファイルの刈り込み機能を有効にすることができます。また、QHMMストレージバケットの最大サイズとしきい値のパーセンテージを設定することもできます。ファイルのアップロード中、またはクリーンアップ・スケジューラが実行されたとき（デフォルトは24時間ごと）にしきい値に達すると、古いデータが削除される。詳細については、クエリー監視の設定を参照してください。
Query History Monitoring and Management (QHMM) は、デフォルトのIBMManaged trial バケット (wxd-system) に診断データを保存しなくなりました。診断データを格納するには、QHMM でサポートされているストレージ・タイプを使用する必要があります。独自のストレージを使用する方法の詳細については、クエリー監視の設定を参照してください。
JSONファイルの'wxdQueryOptimized パラメータをチェックすることで、クエリの最適化ステータスを確認できるようになりました。詳細については、Presto(C++)CLI またはクエリワークスペースからのクエリの実行を参照してください。

データソースの強化

このリリースには、以下のデータソースとストレージの機能強化が含まれています：

テスト接続機能が以下のデータソースで利用可能になりました：
- Apache Pinot
- Cassandra
- Prometheus
新しいデータソース SAP HANA が利用可能になった。 SAP HANA データソースのドライバを管理するには、 Configurations ページの Driver manager を使用します。これらのドライバーはそれぞれ、一連の検証を受ける。

ライト・プラン

使いやすさを向上させるため、ライトプランのユーザーにはシステムカタログ（cmxとsystem）が非表示になりました。 Presto（C++）エンジンを使用したLiteプランのインスタンスには、ベンチマークカタログとして「tpch 含まれ、PrestoJavaエンジンを使用したインスタンスには、ベンチマークカタログとして「tpch」および「tpcds」が含まれる。

非推奨フィーチャー

このリリースでは以下の機能が非推奨となります：

イベント・リスナーを通してwatsonx.dataのDDL変更を捕捉するREST API機能は、このリリースで非推奨となり、バージョン2.1リリースでwatsonx.dataから削除されます。
Apache Spark 3.3ランタイムのサポートは廃止されました。 Spark3.44にアップグレードする必要があります。 Apache Sparkのバージョンを更新するには、Sparkエンジンの詳細を編集するを参照してください。

2024年9月25日 - バージョン 2.0.3

データソースとストレージの強化

このリリースには、以下の新しいデータソースとストレージの機能強化が含まれています：

Milvusで Azure Data Lake Storage Gen1 Blobと Google Cloud Storageを有効にできるようになりました。詳しくは ADLS Gen1 Blob と Google Cloud Storage をご覧ください。
カタログを添付しなくても、新しいデータ・ソースを作成したり、エンジンに追加したりすることができます。カタログは後の段階でデータソースに添付することができる。
Presto ( Java ) エンジン用の Apache Ozone ストレージを使用できるようになりました。詳しくは Apache Ozone.
これで、Apache Kafka データソースが SCRAM (Salted Challenge Response Authentication Mechanism) 認証メカニズムを使用するように設定できます。自己署名証明書をアップロードできます。詳しくは、Apache Kafka を参照してください。

統合の機能拡張

watsonx.dataのこのリリースでは、他のサービスとの統合が以下のように新規または強化されました：

watsonx.data と Data Build Tool (dbt) for Spark エンジンを統合して、watsonx.data 内でインプレースのデータ変換を行えるようになりました。詳しくは dbt統合についてをご覧ください。
watsonx.dataをDatabandと統合することができます。この統合は、 Spark UI Spark Historyを超えた洞察を提供することで、モニタリング機能を強化することができる。詳細については、Databandを使用したSparkアプリケーション実行の監視を参照してください。
watsonx.dataを以下のBusiness Intelligence（BI）ビジュアライゼーションツールと統合すると、接続されたデータソースにアクセスし、魅力的でインタラクティブなデータビジュアライゼーションを構築できます：
- Tableau
- Looker
- ドーモ
- Qlik
- PowerBI
詳細については、BI視覚化ツールについてを参照してください。

エンジンとサービスの強化

watsonx.dataのこのリリースでは、以下のエンジンとサービスの強化が導入されています：

Iceberg テーブルは Query Optimizer でサポートされています。詳細については、クエリ・オプティマイザを参照してください。
データ構築ツール (dbt-watsonx-presto) アダプタを使用して、Presto (Java) エンジン用のデータモデルを構築、テスト、文書化できるようになりました。詳しくは dbt-watsonx-presto を参照のこと。
Presto (C++) エンジンで、列名の大文字と小文字の不一致を避けるための新しいカスタマイズプロパティ (file-column-names-read-as-lower-case) が利用可能になりました。詳しくは Presto(C++) のカタログプロパティを参照してください。

アクセス管理の強化

watsonx.dataのこのリリースでは、以下のアクセス管理機能が強化されています：

データポリシーのルールを定義するために、ユーザーとユーザーグループを追加できるようになりました。詳細はデータ・ポリシーを参照。
管理者はTPCDSとTPCHカタログを選択して、アクセス制御ポリシーを作成できるようになりました。選択」は、これらのカタログでルールを定義するために唯一許された操作である。データ・ポリシーを定義するには、データ・ポリシーを参照。
リソースグループの作成後、管理者がリソースグループの設定を編集できるようになりました。詳細については、Presto リソースグループを設定するを参照してください。

データ・ソースのIBM Knowledge Catalogガバナンス・ポリシー

これで、IBM Knowledge Catalog ガバナンスポリシーを Presto の以下のデータソースに適用できます：

Oracle
PostgreSQL
MySQL
SQL Server
Db2

摂取強化

watsonx.dataのこのリリースでは、インジェスト・ワークフローに以下の改良が加えられました：

これで、データ・ソースを使用して取り込みジョブを送信できます。詳細については、ウェブコンソールからSparkを使ってデータを取り込むを参照してください。
AVRO、ORCファイル形式でのデータ取り込みが可能になりました。詳しくは、データ取り込みについてをご覧ください。
アップロードされたファイルをプレビューしたり、テーブルのヘッダーをクリックしてカラム名を編集することができます。詳細については、ウェブコンソールからSparkを使ってデータを取り込むを参照してください。
インジェストジョブに関連するSparkログにアクセスし、表示することができます。詳細については、取り込みジョブのためのSparkログへのアクセスを参照してください。

ライト・プラン

以下の3つのユースケースに基づいて、ライトプランインスタンスをプロビジョニングできます。リストから1つのユースケースを選択して次に進みます：

Generative AI（ジェネレーティブAI）：このオプションを使って、ジェネレーティブAIのユースケースを探ることができる。プロビジョニングされたインスタンスには、 Presto、 Milvus、Sparkが含まれる。
ハイパフォーマンスBI：このオプションを使用すると、BIの視覚化機能を調べることができます。プロビジョニングされたインスタンスには、Presto（C++）とSparkが含まれる。
データエンジニアリングワークロード：データエンジニアリングワークロードを使用して、様々なワークロード駆動型のユースケースを検討することができる。プロビジョニングされたインスタンスには、Presto（Java）とSparkが含まれています。

詳しくはライトプランをご覧ください。

2024年8月27日 - バージョン 2.0.2

データソースとストレージの強化

このリリースには、以下の新しいデータソースとストレージの機能強化が含まれています：

コンテンツ・アウェア・ストレージ（CAS）は現在、データ・アクセス・サービス（DAS）と呼ばれている。
Apache Hive がバージョン 4.0.0 にアップグレードされました。
これで、Storage details ページから DAS エンドポイントを表示できるようになりました。詳細については、ストレージ・オブジェクトの探索を参照してください。

統合の機能拡張

watsonx.dataのこのリリースでは、他のサービスとの統合が以下のように新規または強化されました：

IBM Knowledge Catalog のガバナンス機能を、watsonx.data プラットフォーム内の SQL ビューに使用できるようになりました。詳細については、IBM Knowledge Catalog(IKC) との統合を参照してください。
IBM watsonx.data が Apache Ranger ポリシーをサポートし、Presto (C++) エンジンでデータを管理できるようになりました。詳細については、Apacheレンジャーポリシー。

エンジンとサービスの強化

watsonx.dataのこのリリースでは、以下のエンジンとサービスの強化が導入されています：

インスタンス管理者が Presto でリソースグループを構成できるようになりました。詳しくは、リソースグループを参照してください。
APIを使ってクエリーを実行し、結果を取得できるようになった。詳細は API を参照。
API のカスタマイズにより、Presto (Java) のログレベルを設定または変更できるようになりました。詳細は API を参照。
Iceberg Spark AnalyzeプロシージャでNumber of Distinct Values（NDV）列統計を生成して、Spark Cost-Based Optimizer（CBO）を強化し、クエリプランニングを改善できるようになりました。
カスタムデータソースオプションを使用して、Presto (Java) エンジンの Black Hole および Local File コネクタに接続できるようになりました。詳細については、カスタム・データ・ソースを参照してください。
Presto エンジンと Milvus サービス用のJSONスニペットを生成できるようになりました。 IBM Cloud Pak for Data と watsonx の watsonx.data Presto と Milvus コネクターの UI にコピー・ペーストすることで、接続の作成を簡単にすることができます。詳細は、接続情報の取得を参照してください。

アクセス管理の強化

watsonx.dataのこのリリースでは、以下のアクセス管理機能が強化されています：

Presto (C++) エンジンへのアクセスを制御できるようになりました。詳しくは Engine(Presto(Java)または Presto(C++)) を参照してください。
ユーザーおよびユーザーグループへのコンポーネントアクセスの一括付与が可能になりました。詳しくは、ユーザーのアクセス権限の管理を参照してください。
Presto で、DEBUG 情報を含むシステムアクセス制御 (SAC) プラグインログを取得できるようになりました。詳細については、APIのカスタマイズを参照してください。

摂食機能の強化

watsonx.dataのこのリリースでは、以下のインジェスト機能が強化されました：

watsonx.dataのインジェスト・ワークフローは、インジェスト・ジョブの送信が簡素化され、ローカル・ファイルのインジェストをサポートするようになりました。詳細については、ウェブコンソールからSparkを使ってデータを取り込むを参照してください。
JSONファイル形式でのデータ取り込みが可能になりました。詳しくは、データ取り込みについてをご覧ください。
CSV ファイルのプロパティが ibm-lh data-copy をサポートするパラメータとして利用できるようになりました。詳細については、ibm-lhツールでサポートされているオプションとパラメータを参照してください。
新しい環境変数は ibm-lh tool コマンドラインからSparkに取り込むことができます。詳細については、ibm-lhツールのコマンドラインによるスパークの取り込みを参照してください。

2024年8月1日 - バージョン 2.0.1

データ・ソース

認証メカニズムとして IBM API キーを使用することで、Db2 データソースに接続できるようになりました。詳細については、IBM Db2 を参照してください。
Presto (C++) エンジンをデータソースに関連付けることができるようになった。 Arrow Flight service 読み取り専用操作に対応。以下の Arrow Flight service データソースがサポートされています：
- Salesforce
- MariaDB
- Greenplum
- Apache Derby

詳しくは Arrow Flight service.

以下の新しいデータベースが Presto (Java) エンジンで利用可能です：
- Redis
- Apache Druid
- 詳しくは、Redis と Apache Druid を参照してください。

統合

IBM Knowledge Catalog と IBM watsonx.data を統合する場合、テーブル内の個々の行に対してデータ保護ルールを構成して、ユーザーがテーブル内の行のサブセットにアクセスできるようにすることができます。詳細については、行のフィルタリングを参照してください。
次の Apache Ranger ポリシーを Presto (Java) エンジンに適用できます：
- 行レベルのフィルタリング：ユーザは、テーブル内の行のサブセットにアクセスできます。詳細については、行レベルフィルタリングポリシーの追加を参照してください。
- 列のマスキング：機密データを表示する代わりに、マスクされた値を表示するようにユーザーを制限します。詳細については、カラム・マスキング・ポリシーの追加を参照してください。
IBM watsonx.data とオンプレミスの IBM DataStage を統合できるようになりました。 DataStage サービスを使って、IBM watsonx.data からデータを読み込むことができます。詳細については、DataStageとの統合を参照してください。

認証と許可

Sparkのアクセスコントロール・エクステンションは、追加認証を可能にし、アプリケーション提出時のセキュリティを強化する。 spark 構成で拡張機能を有効にすると、IBM watsonx.data カタログにアクセスし、Spark ジョブを通して操作することが許可されたユーザーのみになります。詳細については、Sparkアクセス制御拡張を使用したSparkアプリケーション投稿の強化を参照してください。
IBM watsonx.data が Azure Data Lake Storage および Azure Blob Storage のオブジェクトストレージプロキシと署名をサポートするようになりました。詳細は、DASプロキシを使ってADLSとABS互換のバケットにアクセスするを参照してください。
Lightweight Directory Access Protocol (LDAP) が Teradata および Db2 データソースに対して提供されるようになりました。ユーザーはサーバーレベルでこの設定を行う必要がある。 Teradataでは、UIで認証メカニズムのタイプを明示的にLDAPとして選択します。詳細は Teradataを参照。

DASプロキシによるADLSおよびABSバケットへのアクセス機能とLDAP機能強化は、バージョン.において技術 2.0.1 プレビュー段階です。

Milvusはユーザーのパーティションレベルの分離をサポートするようになりました。管理者は、パーティションに対する特定のユーザーアクションを許可することができます。詳細はサービス（ Milvus ）を参照。

ストレージ

これで、IBM watsonx.data の Presto (Java) エンジンに以下のストレージを追加できます：
- Azure データレイクストレージ Gen2
- Azure データレイク・ストレージ Gen1 Blob

詳細については、 Azure Data Lake Storage Gen2 および Azure Data Lake Storage Gen1 Blob を参照。

ユーザが登録したストレージのバケットのアクセスキーとシークレットキーを変更することができます。この機能は、デフォルトのバケット、ADLS、Google Cloud Storageには適用されません。この機能は、新しい認証情報がテスト接続に成功した場合にのみ使用できる。

エンジン

MongoDB データソースで ALTER TABLE ADD、DROP、RENAME 列ステートメントを使用できるようになりました。
Presto がサポートされていないデータ型をどのように扱うかを設定できるようになりました。詳しくは、ignore-unsupported-datatypesを参照のこと。

カタログ

インフラストラクチャマネージャページの[関連付けの管理]から、UIを通じてカタログをエンジンに一括で関連付けたり、関連付け解除したりできるようになりました。

APIのカスタマイズとプロパティ

Presto (C++) ワーカー用に、以下のカスタマイズパラメータが追加されました：
- システム・メモリ制限-GB
- システム・メモ・シュリンク・GB
- システム・メモ・プッシュバック有効
詳細は、Presto(C++)- ワーカーノードの設定プロパティを参照してください。
Presto(C++)コーディネータノードに optimizer.size-based-join-flipping-enabled が追加されました。詳細は、Presto(C++)の設定プロパティ - コーディネータノードを参照してください。
パフォーマンスのためのデータキャッシュとフラグメント結果キャッシュをサポートするために、APIのカスタマイズを強化しましたimprovement.For 詳細は、Presto(Java)- コーディネータノードとワーカーノードの設定プロパティと Presto(Java)のカタログ・プロパティを参照してください。

インフラストラクチャー・マネージャー

インフラストラクチャマネージャのページでは、以下の値の検索機能を使用できます：
- データベース名
- 登録ホスト名
- ユーザー名で作成
ベルアイコンの下にある通知セクションの「Do Not Disturb」トグルスイッチで、ポップアップ通知の有効／無効を切り替えられるようになりました。
接続情報は、設定ページの接続情報タイルの下にあります。この情報はJSONスニペットにコピーしてダウンロードできる。

クエリ・ワークスペース

新しいドロップダウン・リストから必要なカタログとスキーマを選択することで、パス <catalog>.<schema> を指定することなく、SQL クエリ・ワークスペースを通じてスキーマ配下のすべてのテーブルに対してクエリを実行できます。詳細は SQLクエリの実行を参照してください。

watsonx.data 料金プラン

アカウントの上限である2000RUに達する前に既存のライトプランインスタンスを削除し、新しいインスタンスを作成してアカウントで利用可能な残りのリソースユニットを消費できるようになりました。詳しくは watsonx.data Liteプランをご覧ください。

2024年7月3日 - バージョン2.0.0

データソースの新しいデータ型

一部のデータソースでは、次の新しいデータ型が利用できるようになりました。これらのデータタイプには、データ管理者ページの下にある列を追加オプション。

BLOB
- Db2
- Teradata
- Oracle
- MySQL
- SingleStore
CLOB
- Db2
- Teradata
- Oracle
BINARY
- SQL Server
- MySQL

数値データ型はサポートされていないため、watsonx.data、小数点データ型を数値データ型の同等の代替として使用することができます。Netezza情報元。

クエリワークスペースのSELECTステートメントでBLOBおよびCLOBデータ型を使用して、データに対してクエリを構築および実行できるようになりました。OracleそしてSingleStoreデータソース。

BLOBとCLOBデータ型が使用できるようになりました。MySQLそしてPostgreSQLこれらのデータ型はLONGTEXT、BYTEA、TEXTと同等のデータソースとして扱われます。Presto（Java）。これらのデータ型はCLOBとBLOBにマッピングされます。Presto（Java) データソースに LONGTEXT、TEXT、および BYTEA データ型の既存のテーブルがある場合。

MySQL(CLOB は LONGTEXT と同等)
PostgreSQL (CLOB は TEXT と同等)
PostgreSQL (BLOB は BYTEA と同等)
Netezza（小数は数値と同等）
Oracle(SELECT ステートメントを使用した BLOB および CLOB)
SingleStore(SELECT ステートメントを使用した BLOB および CLOB)

データソース Db2 の新しい操作

BLOBおよびCLOBデータ型に対して、以下の操作を実行できます。Db2情報元：

挿入
作成
シーティーエーエス
ALTER
DROP

新規 Arrow Flight service ベースのデータソース

Arrow Flight service で以下のデータソースを使用できるようになりました：

Greenplum
Salesforce
MariaDB
Apache Derby

詳しくは Arrow Flight service.

新しいデータ・ソース

以下のデータソースをご利用いただけます：

Cassandra
BigQuery
ClickHouse
Apache Pinot

詳細については、データベースとカタログのペアの追加。

摂取履歴を取得するコマンド

ibm-lh get-statusを使用して、送信されたすべての取り込みジョブのステータスを取得できるようになりました。--all-jobsCLI コマンド。送信されたすべての取り込みジョブのステータスを取得できます。アクセスできる履歴レコードを取得します。詳細については、 ibm-lh ツールでサポートされているオプションとパラメータ。

(IKC) IBM Knowledge Catalog S2S 認可のための追加役割

データアクセス以外にも、IBM Knowledge CatalogS2S認証にはメタデータアクセスとコンソールAPIアクセスが必要であり、watsonx.data。 IKC サービスアクセス構成用に次の新しいロールが作成されます。

ビューアー
メタストアビューア

Apache レンジャーの方針

IBMwatsonx.data現在サポートしていますApacheレンジャーポリシーは、統合を許可しますPrestoエンジン。詳細については、 Apacheレンジャーポリシー。

バージョン・アップグレード

Presto（Java) エンジンがバージョンにアップグレードされました0.286 。
Milvus サービスが 2.4.0にバージョンアップしました。重要な機能は次のとおりです:
- パフォーマンスの向上（メモリ使用率が低い）
- スパースデータのサポート
- スパースベクトル埋め込み用の組み込みSPLADEエンジン
- イギリスM3ハイブリッド（密+疎）検索

Hive メタストア（HMS）へのアクセス watsonx.data

メタデータ情報を取得できるようになりましたHiveエンジンの詳細から情報を取得する代わりに、REST API を使用してメタストアを作成します。 HMSの詳細は外部組織によって統合されるために使用されますwatsonx.data。 API を実行するには、管理者、メタストア管理者、またはメタストア閲覧者のロールが必要です。

データ強化のためのセマンティック自動化

データエンリッチメントのためのセマンティックオートメーションは、生成AIを活用し、IBM Knowledge Catalogデータをより深く理解し、自動化されたエンリッチメントによってデータを強化して、分析に役立つものにします。セマンティックレイヤー統合は、Lite プランユーザーのみが 30 日間の試用版として利用できます。詳細については、データ強化のためのセマンティックオートメーションwatsonx.data。

クエリパフォーマンスを向上させるクエリオプティマイザー

クエリオプティマイザーを使用して、クエリのパフォーマンスを向上させることができます。Presto(C++) エンジン。クエリオプティマイザーが最適化が可能であると判断すると、クエリは書き換えられます。それ以外の場合は、ネイティブエンジンの最適化が優先されます。詳細については、クエリオプティマイザーの概要。

エンジン Presto への新しい名称 watsonx.data

Prestoは次のように改名されますPresto（Java）。

新しいエンジン（ Presto C++）を watsonx.data

プロビジョニングできるのはPresto(C++) エンジン ( バージョン0.286 ）でwatsonx.dataデータソースに対して SQL クエリを実行し、クエリされたデータを取得します。詳細については、Presto(C++) 概要。

プロキシを使用しておよび S3 互換性のある S3 バケットにアクセスする

外部アプリケーションやクエリエンジンは、S3そしてS3互換性のあるバケットはwatsonx.dataを通じてS3プロキシ。詳細については、使用S3アクセスするためのプロキシS3そしてS3互換性のあるバケット。

( Java ) エンジ Presto ンの大文字小文字混合機能フラグ

大文字と小文字を区別する動作と区別しない動作を切り替えることができる大文字と小文字の混合機能フラグ。Presto（Java）、利用可能です。このフラグはデフォルトではオフに設定されており、展開中にオンに設定することができます。watsonx.data。詳しくは、 Presto(Java)mixed-case support overview を参照してください。

新しいストレージタイプ Google Cloud Storage

新しいストレージタイプを使用できるようになりましたGoogle Cloud Storage。詳細については、ストレージカタログペアの追加。

2024 年 5 月 31 日-バージョン 1.1.5

Provision SparkエンジンをLiteプラン watsonx.data で提供

watsonx.data ライト・プラン・インスタンスに、小さいサイズの Spark エンジン (単一ノード) を追加できるようになりました。詳しくは watsonx.data Liteプランをご覧ください。

Spark ラボに関連した更新

Spark ラボからの Jupyter ノートブックの操作

: VS Code MarketplaceからJupyterエクステンションをSparkラボにインストールし、Jupyterノートブックで作業できるようになりました。詳細については、Jupyterノートブックを作成するを参照してください。

Spark labsから Spark UIにアクセスする

Spark labsからSparkのユーザーインターフェース（UI）にアクセスして、Sparkアプリケーションの実行状況をさまざまな角度から監視できるようになりました。詳細については、 Spark labsから Spark UIにアクセスするを参照してください。

インスタンス IBM Cloud 用にプロビジョニングする新しいリージョン

これで、シドニー地域で IBM Cloud インスタンスをプロビジョンできるようになりました。

2024 年 4 月 30 日-バージョン 1.1.4

の新しいバージョンが watsonx.data 2024年4月にリリースされました。

このリリースには以下の機能と更新が含まれています：

Kerberos 接続 HDFS の認証

セキュアな Apache Hadoop Distributed File System (HDFS) 接続に対して Kerberos 認証を有効にできるようになりました。詳しくは、 HDFS を参照してください。

新しいデータ・ソース

以下の新しいデータ・ソースが使用可能になりました。

Oracle
Amazon Redshift
Informix
Prometheus

詳しくは、データ・ソースを参照してください。

SSL 接続のテスト

MongoDB および SingleStore データ・ソースの SSL 接続をテストできるようになりました。

データソース Apache Kafka の説明ファイルのアップロード

Apache Kafka データ・ソースは、プロデューサーおよびコンシューマーが解釈する必要があるバイト・メッセージとしてデータを保管します。このデータを照会するには、コンシューマーはまずデータを列にマップする必要があります。これで、生データを表形式に変換するトピック記述ファイルをアップロードできるようになりました。各ファイルは、表の定義を含む JSON ファイルでなければなりません。これらの JSON ファイルを UI からアップロードするには、登録した Apache Kafka データベースの概要ページに移動し、 「トピックの追加」 オプションを選択します。詳しくは、 Apache Kafka を参照してください。

ライセンスプラン watsonx.data

IBM® watsonx.data では、以下のライセンス・プランが提供されるようになりました。

ライト・プラン
Enterprise プラン

さまざまなライセンス・プランについて詳しくは、 IBM® watsonx.data の料金プランを参照してください。

Presto ( Java ) エンジンバージョンアップグレード

のPresto（Java) エンジンがバージョンにアップグレードされました0.285.1 。

一時停止または再開 Milvus

Milvusのサービスを一時停止または再開することができます。サービスを一時停止すると、料金が発生しない可能性があります。

Spark をネイティブ・エンジンとして使用できるようになりました

外部 Spark エンジンの登録に加えて、 IBM watsonx.data インスタンスでネイティブ Spark エンジンをプロビジョンできるようになりました。ネイティブ Spark エンジンを使用すると、 watsonx.data UI および REST API エンドポイントを使用して、Spark Engine 構成を完全に管理し、Spark エンジンへのアクセスを管理し、アプリケーションを表示することができます。詳しくは、ネイティブ Spark エンジンのプロビジョニングを参照してください。

ネイティブ Spark エンジンを使用したデータの取り込み

ネイティブ Spark エンジンを使用して取り込みジョブを実行依頼できるようになりました。詳細については、異なる表形式での作業を参照してください。

2024 年 3 月 27 日-バージョン 1.1.3

の新しいバージョンが watsonx.data 2024年3月にリリースされました。

このリリースには以下の機能と更新が含まれています：

一部のデータ・ソースの新しいデータ・タイプ

これで、照会ワークスペースの SELECT ステートメントで BINARY データ・タイプを使用して、以下のデータ・ソースのデータに対して照会を作成および実行できるようになりました。

Elasticsearch
SQL Server
MySQL

新しいデータタイプ： BLOBとCLOBは、 MySQL, PostgreSQL, Snowflake、 SQL Server、 Db2 のデータソースで利用可能です。これらのデータ・タイプは、照会ワークスペース内の SELECT ステートメントでのみ使用して、データに対して照会を作成および実行することができます。

Iceberg データ・ソースの DELETE FROM 機能を使用したデータの削除

DELETE FROM 機能を使用して、Iceberg データ・ソースの表からデータを削除できるようになりました。

新規表の表プロパティー削除モードは、コピー・オン・ライト・モードまたはマージ・オン・リード・モード (デフォルト) のいずれかを使用して指定できます。

Iceberg データ・ソースの ALTER VIEW ステートメント

照会ワークスペースで以下の SQL ステートメントを使用して、ALTER VIEW のデータに対して照会を作成および実行できるようになりました。

ALTER VIEW name RENAME TO new_name (ビュー名を new_name に変更)

データ Netezza Performance Server ソース用のSSL証明書をアップロードする

これで、 Netezza Performance Server データ・ソースで SSL 接続用の SSL 証明書を参照してアップロードできるようになりました。 SSL 証明書の有効なファイル・フォーマットは、.pem、.crt、および .cer です。インフラストラクチャー・マネージャーで「データベースとカタログのペアを追加する」オプションを使用して、SSL 証明書をアップロードできます。

からデータを Db2 クエリする Watson Query

Db2 で作成されたニックネームと仮想表を Watson Query インスタンスから照会できるようになりました。

データ Data Virtualization Manager for z/OSIBM ソースのSSL接続

「データベースの追加」ユーザー・インターフェースを使用してデータベース接続を保護および暗号化することにより、 IBM Data Virtualization Manager for z/OS データ・ソースの SSL 接続を有効にできるようになりました。ホストから返された SSL 証明書が信頼できるかどうかを検証するには、「証明書の検証」を選択します。 SSL 証明書にホスト名を指定することを選択できます。

カタログ Apache Hudi のデータを使用する

Apache Hudi カタログのデータに接続し、使用できるようになりました。

サービスとして Milvus 追加 watsonx.data

watsonx.dataのサービスとして Milvusを提供できるようになりました：

スターター・ノード、中規模ノード、大規模ノードなど、さまざまなストレージ・バリアントをプロビジョンします。
Milvus ユーザに管理者またはユーザのロールを割り当てます： Milvus ユーザがユーザアクセスポリシーを利用できるようになりました。アクセスコントロールUIを使用して、 Milvus ユーザに管理者またはユーザのロールを割り当て、権限を付与、取り消し、または更新することができます。
Milvusがデータを保存するObjectストレージを設定します。カスタムバケットを追加または設定し、ユーザ名、パスワード、リージョン、バケット URLを指定することができます。

詳細については、 Milvus。

ibm-lh 取り込みツールを使用したバッチでのデータのロード

ibm-lh 取り込みツールを使用して、ibm-lh-client パッケージを使用することにより、非対話モード (ibm-lh-tools コンテナーの外部から) でバッチ取り込み手順を実行できるようになりました。詳しくは、 ibm-lh コマンドおよび使用法を参照してください。

Web コンソールでの一括取り込みを使用したスキーマの作成

スキーマが以前に作成されていない場合、Web コンソールで一括取り込みプロセスを使用してスキーマを作成できるようになりました。

テーブル Apache Iceberg 内でタイムトラベルクエリを使用する

Apache Iceberg テーブルスナップショットのブランチとタグを使用して、以下のタイムトラベルクエリーを実行できるようになりました：

-SELECT *FROM <table name> FOR VERSION AS OF 'historical-tag'

-SELECT *FROM <table name> FOR VERSION AS OF 'テスト・ブランチ'

認証情報なしで Cloud Object Storage にアクセス Data Access Service (DAS) エンドポイントを使用して、認証情報なしで Cloud Object Storage バケットにアクセスできるようになりました。

2024 年 2 月 28 日-バージョン 1.1.2

の新しいバージョンが watsonx.data 2024年2月にリリースされました。

このリリースには以下の機能と更新が含まれています：

データ・ソースの SSL 接続

「データベースの追加」 ユーザー・インターフェースを使用してデータベース接続を保護および暗号化することで、以下のデータ・ソースに対して SSL 接続を有効にできるようになりました。

Db2
PostgreSQL

詳しくは、データベースの追加を参照してください。

取り込みジョブ履歴の保護

ユーザーは、自分の取り込みジョブ履歴のみを表示できるようになりました。管理者は、すべてのユーザーの取り込みジョブ履歴を表示できます。

SQL の機能強化

クエリー・ワークスペースで以下の SQL ステートメントを使用して、データに対するクエリーを作成および実行できるようになりました。

Apache Iceberg データソース
- CREATE VIEW
- DROP VIEW
MongoDB データ・ソース
- 削除

データ Teradata ソース用の新しいデータ型 BLOB および CLOB

Teradata データ・ソースでは、新しいデータ・タイプ BLOB および CLOB を使用できます。これらのデータ・タイプは、照会ワークスペース内の SELECT ステートメントでのみ使用して、データに対して照会を作成および実行することができます。

データ取り込み中に新しい表を作成する

以前は、データを取り込むために watsonx.data にターゲット表が必要でした。これで、 データ・マネージャーからのデータ取り込みを使用して、ソース・データ・ファイル (parquet または CSV 形式で使用可能) から直接新しい表を作成できるようになりました。以下の取り込み方法を使用して、表を作成できます。

Iceberg コピー・ローダーを使用したデータの取り込み。
Spark を使用したデータの取り込み。

列に対する ALTER TABLE 操作の実行

Iceberg データ・ソースでは、以下のデータ・タイプ変換のために列に対して ALTER TABLE 操作を実行できるようになりました。

int から bigint へ
float から double へ
decimal (num1, dec_digits) を decimal (num2, dec_digits) に変換します。ここで、 num2>num1です。

ソート・ファイルを使用した照会パフォーマンスの向上

Apache Iceberg データ・ソースを使用すると、ソートされたファイルを生成できるため、クエリ結果の待ち時間が短縮され、 Presto ( Java ) のパフォーマンスが向上します。 Iceberg テーブル内のデータは、各ファイル内の書き込みプロセス中にソートされます。

sorted_by テーブル・プロパティーを使用して、データをソートする順序を構成できます。テーブルを作成するときに、ソートに関係する 1 つ以上の列の配列を指定します。この機能を無効にするには、セッション・プロパティー sorted_writing_enabled を false に設定します。

2024 年 1 月 31 日-バージョン 1.1.1

の新しいバージョンが watsonx.data 2024年1月にリリースされました。

このリリースには以下の機能と更新が含まれています：

Data Virtualization Manager for z/OS®IBM コネクタ

新しい IBM Data Virtualization Manager for z/OS® コネクターを使用して、データの移動、複製、変換を行うことなく、 IBM Z® の読み取りと書き込みを行うことができるようになりました。詳しくは、 IBM Data Virtualization Manager(DVM)データ・ソースへの接続を参照してください。

Teradata コネクタは複数の ALTER TABLE ステートメントに対して有効化されています

Teradata コネクターは、 ALTER TABLE RENAME TO、 ALTER TABLE DROP COLUMN、および ALTER TABLE RENAME COLUMN column_name TO new_column_name ステートメントをサポートするようになりました。

タイム・トラベル照会のサポート

氷山コネクタPresto（Java) はタイムトラベルクエリをサポートするようになりました。

プロパティー format_version に現行バージョンが表示されるようになりました

プロパティー format_version に、Iceberg テーブルの作成時に正しい値 (現行バージョン) が表示されるようになりました。

2023 年 11 月 29 日-バージョン 1.1.0

の新しいバージョンが watsonx.data 2023年11月にリリースされました。

このリリースには以下の機能と更新が含まれています：

Presto ( Java ) 大文字小文字を区別する動作

のPresto（Java) の動作が、大文字と小文字を区別しないものから区別するものに変更されました。これで、データベースの場合と同様に、元の大/小文字の形式でオブジェクト名を指定できるようになりました。詳細については、大文字と小文字を区別する検索設定Presto（Java）。

ロール・バック機能

ロールバック機能を使用して、Iceberg 表の任意のスナップショットにロールバックまたはロールフォワードすることができます。

データ定義言語 (DDL) の変更のキャプチャー

イベントリスナーを使用することで、 watsonx.data の DDL 変更をキャプチャして追跡できるようになりました。

Spark を使用したデータの取り込み

Apache Spark を搭載した IBM Analytics Engine を使用して、watsonx.data でインジェスト・ジョブを実行できるようになりました。

詳しくは、 Spark を使用したデータの取り込みを参照してください。

との統合 Db2 Netezza Performance Server

Db2 または Netezza Performance Server エンジンを watsonx.data コンソールに登録できるようになりました。

詳しくは、エンジンの登録を参照してください。

新しいコネクター

watsonx.data でコネクターを使用して、以下のタイプのデータベースへの接続を確立できるようになりました。

Teradata
Delta Lake
Elasticsearch
SingleStoreDB
Snowflake

詳しくは、データベースの追加を参照してください。

AWS EMR for Spark

Amazon Web Services Elastic MapReduce (AWS EMR) から Spark アプリケーションを実行して、 watsonx.data Spark ユース・ケースを実現できるようになりました。

データの取り込み
データの照会
表の保守

詳しくは、 Using AWS EMR for Spark use case を参照してください。

2023 年 7 月 7 日-バージョン 1.0.0

watsonx.data は、データウェアハウス・モデルとデータレイク・モデルのエレメントを結合した新しいオープン・アーキテクチャーです。 watsonx.data で使用可能なクラス最高の機能および最適化により、次世代のデータ分析および自動化に最適な選択肢となります。最初のリリース (watsonx.data 1.0.0) では、以下の機能がサポートされます。

作成、拡大縮小、一時停止、再開、削除Presto（Java) クエリエンジン
カタログとエンジンとの関連付けおよび関連付け解除
カタログ・オブジェクトの探索
データベースとカタログのペアの追加と削除
データベース資格情報の更新
バケットとカタログのペアの追加および削除
バケット・オブジェクトの探索
データのロード
データの検証
データの照会
照会履歴