版本說明 watsonx.data

使用這些版本注意事項可瞭解依日期分組的 IBM® watsonx.data 最新更新。

有關 watsonx.data as a Service on IBM Cloud 與 gen AI 體驗的新內容，請參閱 watsonx.data as a Service on IBM Cloud 與 gen AI 體驗的發佈說明。

如需 watsonx.data on-prem 的新功能，請參閱 watsonx.data 發行紀錄。

有關 watsonx.data Premium 本地部署版的最新功能，請參閱《本地部署版 Premium 版本說明》。

技術預覽功能：我們也提供技術預覽部分，包括目前正在預覽的功能。這些功能尚未普遍可用，且可能在發佈前有所變更。若要檢視技術預覽項目的發行說明，請參閱技術預覽。

2025年12月10日 - 版本 2.3

實例配置增強功能

此版本的 watsonx.data 引進了以下強化功能：

您現在可以在以下新增區域啟用虛擬私有端點 (VPE) 來配置 watsonx.data 執行個體：達拉斯 (us-south)、華盛頓特區 (us-east) 以及法蘭克福 (eu-de)。要在配置期間啟用 VPE，請在 CLI 命令中加入 "vpe_required":"true" 參數。有關如何配置啟用 VPE 的執行個體的資訊，請參閱《配置啟用虛擬私有端點(VPE)的執行個體》。

資料來源和儲存增強

本版 watsonx.data 引入了以下資料來源和儲存增強功能：

您現在可以將 IBM Knowledge Catalog 治理政策套用至資料來源。MongoDB 如需詳細資訊，請參閱 Connecting to IBM Knowledge Catalog(IKC)。
您現在可以 ServicePrincipal 透過身份驗證，將 Azure Data Lake Storage Gen2 與 Presto (C++) 關聯起來。
您現在可以將多個冰山型目錄與單一物件儲存桶或容器關聯。每個目錄必須在儲存裝置上配置獨特且不重疊的基礎路徑，以確保資料隔離的正確性。

例如：
- Catalog1 可能與...相關 s3a://mybucket/foo/bar
- Catalog2 可能與...相關 s3a://mybucket/lorem/ipsum
此項強化功能使您能更輕鬆地在同一儲存空間內邏輯性地分離資料，並在多個目錄間重複使用這些資料，從而提升靈活性與組織性。此行為適用於所有新的精簡方案實例，這些實例現已設為帳戶範圍。如需更多資訊，請參閱《將多個 Apache Iceberg 目錄新增至單一儲存空間》。

此功能僅適用於 watsonx.data 精簡版實例。先前，每個物件儲存桶或容器只能連結到單一目錄。

引擎和服務增強

此版本的watsonx.data引入了以下引擎和服務增強功能：

Prestissimo 現已提供相較於 Java 其他實作方案更優異的表格 Apache Iceberg 寫入效能。以下功能可用：
- 分區表支援 - Prestissimo 可寫入分區 Iceberg 表，並透過批次評估高效執行分區轉換。它支援身分識別、時間轉換（年、月、日、時）、桶式分區與截斷操作，並能生成符合 Iceberg 標準的分區目錄路徑。
- 資料檔案統計資料收集 - 在寫入操作期間，Prestissimo 會收集並將關鍵資料檔案統計資料匯報至 Iceberg 清單檔案，包含記錄數、檔案大小及區塊詳細資訊。
- 排序表格寫入支援 - Prestissimo 支援寫入排序 Iceberg 表格，為能從排序資料中獲益的工作負載提供最佳化的查詢效能。
具備彈性容量的無伺服器 Spark 企業方案

隨需容量
- 在企業 watsonx.data 方案中，Spark 引擎支援無伺服器模式，同時仍提供彈性空間，可在需要時分配專用容量。
- 在無伺服器平台上執行 Spark 工作，可免除為每個 Spark 引擎配置專用節點的需求。
- 無伺服器 Spark 環境提供共享節點池，其最大資源配額為 8 vCPUs 個節點及 32 GB 記憶體。
此行為適用於所有新 watsonx.data 建立的實例，這些實例現已設為帳戶範圍。

專用容量
- 對於需要更高容量的工作負載，您可以配置具備可自訂記憶體設定的專用節點。有關無伺服器與隨需容量的詳細資訊，請參閱《管理 Spark 容量》。
- Spark Engine 的建立流程現已簡化，僅需關注核心細節——引擎名稱、Spark 版本、主儲存桶及關聯目錄——同時將容量預留任務移至引擎詳細資訊頁面的新「容量管理」標籤頁。此更新移除了建立流程中的容量設定步驟，使引擎設定更快速且更簡化。
- 建立引擎後，您可在「容量」標籤頁下管理虛擬機器規格、設定節點群組，並設定隨需使用模式的降級閾值。
此行為適用於所有新 watsonx.data 建立的實例，這些實例現已設為帳戶範圍。

企業方案的最大資源配額為 256 GB vCPUs 處理器核心與 1024 GB 記憶體。若要提高此限制，您必須聯絡 IBM 支援部門。

有關無伺服器與隨需容量的詳細資訊，請參閱《管理 Spark 容量》。

精簡方案實例的帳戶層級元件持久化

您現在可以獨立於個別執行個體之外，保留帳戶層級元件（例如目錄、資料庫、儲存桶及其元資料屬性）。當某個執行個體被刪除時，這些元件仍可從同一帳戶和區域內的任何其他執行個體存取。此行為適用於所有新的精簡方案實例，這些實例現已設為帳戶範圍。

在 Lite 方案實例中跨 Iceberg 目錄重複使用模式名稱

先前，當使用三部分名稱（<catalog>.<schema>.<table>）參照資料表時，架構名稱必須在 watsonx.data 單一資料庫實例內的所有目錄中保持唯一性。此限制防止在不同目錄中建立同名的架構。此限制對冰山目錄不適用。您現在可以在多個 Iceberg 目錄中重複使用模式名稱。例如：

myiceberg_catalog1.abcschema.mytable
myiceberg_catalog2.abcschema.mytable

此行為適用於所有新的精簡方案實例，這些實例現已設為帳戶範圍。

模式名稱在其他目錄類型（ Hive 例如 Delta 和 Hudi）中仍須保持唯一性。

存取管理增強

此版本的watsonx.data引入了以下存取管理增強功能：

管理員可建立基於情境的限制政策，並定義受信任的IP位址。您現在可設定受信任的 IP 位址，為指定使用者啟用對 watsonx.data (使用者介面與 API) 的安全存取權限。此功能透過確保僅允許來自核准IP位址的流量存取使用者介面與API，為系統增添額外的防護層級。任何試圖從定義範圍外的IP位址存取 watsonx.data 的行為都將被阻擋。如需更多資訊，請參閱《使用基於 IP 的控制來保護 UI 存取》。
一款全新的輕量級 CPG 現已作為可下載外掛程式推出，可與任何政策引擎（例如 Ranger Apache、IBM Knowledge Catalog Collibra）無縫整合。如需更多資訊，請參閱通用政策閘道 (CPG) 連接器。

帳單強化

此 watsonx.data 版本對帳單功能進行了以下增強：

元件計量 watsonx.data 功能現已於執行階段運作，可擷取與引擎綁定的每個執行階段之啟動、停止及暫停事件。它能清晰呈現引擎的消耗量與資源使用狀況。對於引擎如 Presto，這仍是一對一的映射關係，而 Spark 則引入了多種執行階段子類型（例如 Kernel、HistoryServer, Application），每種子類型都會獨立追蹤其活躍與非活躍時數。使用者介面將透過顯示執行階段層級的活動列與事件歷史連結來反映這些變更，這些連結會針對每個執行階段進行範圍限定，以確保清晰度與精確性。如需更多資訊，請參閱計量與使用體驗。此行為適用於所有新 watsonx.data 建立的實例，這些實例現已設為帳戶範圍。

精簡方案升級：

本次版本更新為精簡方案 watsonx.data 帶來以下強化功能：

精簡方案的配置流程 watsonx.data 現已簡化，因其移除了對多種使用情境的支持。所有新實例均採用預設 Generative AI 使用案例進行配置。資料工程與 Power BI 使用案例已遭廢棄，不再提供。命令列介面（CLI）的配置方法現僅允許預設 Generative AI 使用案例，以確保體驗的一致性與流暢性。

OpenTelemetry 強化

此版本為 ( Java ) 引擎 watsonx.data 引入了以下增強 Presto 的可觀察性與監控功能。

您現在可以整合 OpenTelemetry 與 Presto ( Java ) 引擎，以監控查詢執行與系統效能。 OpenTelemetry 可擷取遙測數據（例如追蹤記錄與指標），並能透過Instana、Prometheus 等工具進行視覺化 Grafana 呈現與分析。欲了解更多資訊，請參閱 OpenTelemetry。
全新 Instana 與 Grafana 儀表板 - 您現在可透過 Instana 與 Grafana 儀表板監控效能，並獲得更全面的系統健康狀態與效能概覽。更多詳細資訊，請參閱支援儀表板。

查詢優化器增強

此版本的為查詢watsonx.data 優化器引入了以下增強功能。

查詢優化器的預設查詢重寫時限現已可配置。從版本開始，您可以透過 2.3 更新屬性 optplus.query-timeout-seconds，使用 PATCH API 變更此超時值。如需更多資訊，請參閱《更新查詢優化器的查詢重寫超時設定》。
在 Lite 實例的查詢優化器中支援 Hive 及 watsonx.data Iceberg 元數據儲存庫註冊。

查詢最佳化器支援 Hive 和 Iceberg 目錄的不同元端儲存類型。

使用者現在可以註冊：
- Hive 使用 watsonx-data-hive 元端儲存類型的目錄。
- Iceberg 目錄使用 iceberg-rest metastore 類型。
此增強功能可提供更細緻的控制，並與不斷演進的元資料庫架構相容。註冊是透過程序完成 REGISTER_EXT_METASTORE，該程序採用更新的語法與屬性。

自此版本起，企業版將繼續支援舊版 watsonx-data 統一元數據儲存類型，而精簡版實例則不再提供此功能。如需詳細資訊，請參閱手動將 Query Optimizer 與 metastore 同步。

節省優先於 HTTP 協議支援在 watsonx.data 精簡方案中

元數據服務（MDS）現已 watsonx.data 改用 Thrift 服務透過 HTTP HTTP 協定運行，取代了先前使用的二進位協定。此變更將影響服務端點及連線設定。

主要變更：

MDS 節省協議 (thrift://) 已變更為節省協議 HTTP (https://) 之上。
所有透過 HTTPS 向 MDS Thrift HTTP 服務發起的 Thrift API 呼叫，皆必須使用 account_id SSL 加密。
在調用涉及 Iceberg 目錄的 API 時，查詢 catalog 參數是必需的。

對於 Spark 及 Presto 引擎內的 watsonx.data 更新，無論是新建或遷移的目錄，這些更新都會自動套用。對於外部引擎（如 Spark、Db2 ） Netezza 等，使用者必須手動更新連線設定，以反映新的通訊協定、連接埠及查詢參數。

多租戶元數據服務（MDS）增強功能

此版本為 MDS watsonx.data 帶來以下強化功能：

AccountId 現要求所有直接呼叫 MDS REST 服務（Iceberg 目錄與 Unity 目錄）的操作皆須使用此方式。未包含此標頭的請求將失敗。
冰山操作的終端點現已從更新 /mds/iceberg 為 /api/v1/iceberg。

如需更多資訊，請參閱 API 文件。

CPDCTL CLI 增強功能

本版 watsonx.data 對 IBM Cloud Pak for Data 指令行介面 ( IBM cpdctl) 進行了下列增強：

CPDCTL 中的，engine, ingestion, component, bucket 及 service 指令已啟用向後相容性。

自 CPDCTL 版本 1.8.85 起，這些指令現可連接至低於版本 watsonx.data 的舊版系統，確保跨環境 2.2.1 整合與相容性更為流暢。

在命令 bucket 下的新 wx-data bucket list-objects 選項會列出儲存桶中新增的物件 watsonx.data。有關在 bucket 中執行 bucket 命令 watsonx.data 相關操作的詳細資訊，請參閱 bucket。
現已提供一項 --en-apikey 隱藏標記作為替代方案，用以處理邊緣情況——當該 --api-key 標記在 sparkjob create 和 `` tablemaint 指令中無法通過驗證時。如需更多資訊，請參閱 cpdctl wx-data 指令使用說明與範例的補充說明。

由通用人工智慧驅動的聊天介面 watsonx.data

您現在可以透過由通用人工智慧驅動的聊天介面與助理對話，watsonx.data 向其提出關於 IBM® watsonx.data 的問題。助理根據其對 IBM 產品 watsonx.data 文件的知識，回答您關於的疑問。它有助於更輕鬆、更快速地探索和了解產品。要啟用此功能並開始使用，請參閱 watsonx.data「助理 - genAI 智慧聊天介面」。

擷取服務

此版本的 watsonx.data 引進了以下檢索服務的強化功能：

您現在可以在控制台 watsonx.data 的實例層級設定用於檢索服務 gpt-oss-120b 的 AI 模型。有關為檢索服務配置人工智慧模型的資訊，請參閱《為檢索服務配置人工智慧模型》。

攝取增強

本次版本更新 watsonx.data 引入了以下資料匯入功能強化：

在資料匯入畫面的目標面板中新增了一個切換按鈕，用於控制匯入的 Iceberg 格式表格的刪除模式，其預設模式為寫入複製（Copy-on-Write, COW）。切換至讀取時合併模式，可在資料攝取過程中啟用行級刪除功能。

已淘汰的特性

本版本中以下功能已廢棄：

用於使用者驗證的使用者名稱 ibmlhapikey``ibmlhtoken 和已宣布自版本 2.2.0 起廢棄，並標記為將予移除。現在，該 2.3.0 支援功能已完全移除。

要進行驗證，您必須使用新格式：

ibmlhapikey_<username>

ibmlhtoken_<username>

如需更多資訊，請參閱《存取管理與治理》 watsonx.data。

技術預覽功能

對於此版本，技術預覽功能下提供了額外的更新和增強功能。要檢視此版本的技術預覽更新，請參閱技術預覽 2.3。

2025 年 11 月 13 日 - 版本 2.2.2 新功能 1 ( NF1 )

NF12.2.2watsonx.data 此版本將分階段於不同地理區域推出，並非所有地區皆可使用。若要了解此 NF12.2.2 版本是否於您所在地區提供，請聯絡 IBM 支援部門。

技術預覽功能: 對於此版本，技術預覽功能下提供了額外的更新和增強功能。若要檢視此版本的技術預覽更新，請參閱，技術預覽 2.2.2 NF1。
已淘汰的特性: 透過使用者介面建立 watsonx.data Lite 範例時，High Performance BI 和 Data Engineering 用例已被廢棄。您仍可使用 CLI 建立具有這些使用個案的 watsonx.data Lite 範例。不過，這些使用個案將會在 2.3.1 版的 CLI 中移除。

2025 年 10 月 31 日 - 版本 2.2.2

引擎和服務增強

此版本的watsonx.data引入了以下引擎和服務增強功能：

Milvus 中的 watsonx.data 現在支援下列外部儲存類型，以儲存向量資料、索引檔案和二進位日誌：Google Cloud Storage (GCS), Azure Data Lake Storage (ADLS) Gen1，和 S3-compatible 儲存類型。
Milvus Starter T 恤尺寸的縮放功能現已停用。您不能再從 Milvus Starter T 恤尺寸縮放到任何其他尺寸。也不允許從較大的組態縮回 Starter。

資料來源和儲存增強

本版 watsonx.data 引入了以下資料來源和儲存增強功能：

現在您可以將 IBM Knowledge Catalog 治理政策套用到資料來源，Teradata。如需詳細資訊，請參閱 Connecting to IBM Knowledge Catalog(IKC)。
現在您可以在活動狀態中建立儲存，而無需將其與目錄相關聯。這項強化功能免除了手動啟動的需要。
現在您可以在拓樸檢視中，在啟用 ACL 的儲存設備上啟用和停用 ACL 功能。如需詳細資訊，請參閱在啟用 ACL 的儲存設備上停用或啟用 ACL。
您現在可以使用 GlusterFS, 這個可擴充的分散式檔案系統，作為 MinIO 的支援儲存後端。如需詳細資訊，請參閱使用 MinIO 設定 GlusterFS 複製儲存。
現在您可以使用自訂 S3 儲存選項，在 watsonx.data 中設定任何 S3 相容的物件儲存。如需詳細資訊，請參閱自訂 S3 儲存。
您現在可以更新 Azure Data Lake Storage (ADLS) 和 Google Cloud Storage 的憑證。
現在您可以選擇將連線詳細資訊儲存於下列資料來源的實例主控台資料庫或資料平台內的預設目錄中：
- IBM Db2
- IBM Netezza
- MySQL
- Oracle
- PostgreSQL
- Snowflake
- SQL Server

Delta Lake 目錄現可使用 Spark 存取控制延伸功能

您現在可以使用 Delta Lake 目錄與 Spark 存取控制擴充，在 Spark 應用程式提交期間實現增強的安全性。該功能帶來了額外的授權，確保只有授權使用者才能透過 Spark 工作存取和操作 watsonx.data 目錄。有關更多信息，請參閱使用 Spark 存取控制擴充增強 Spark 應用程式提交。

自訂您的 Spark 應用程式有效負載

當您在 watsonx.data 中提交 Spark 應用程式時，您可以自訂應用程式的有效負載，以包含下列功能：

閒置鑰匙：確保即使在客戶端與伺服器通訊失敗的情況下，也只處理一次應用程式提交。
最大執行時間控制：定義 Spark 應用程式的最大執行時間。如果未指定逾時，則無論工作耗時多久，都會繼續執行直到完成。

如需詳細資訊，請參閱自訂 Spark 申請提交的參數。

共同政策網關 (CPG)

通用政策閘道 (CPG) 供應現在是可選的。除非明確需要政策引擎，否則您可以在不自動提供 CPG 的情況下建立 watsonx.data 範例。有了這項功能，CPG 供應現在是完全可選且可逆轉的。如果需要 Ranger 或 IKC 等客戶政策引擎，則可稍後配置 CPG。如需詳細資訊，請參閱啟用或停用共用原則閘道引擎。

CPDCTL CLI 增強功能

本版 watsonx.data 對 IBM Cloud Pak for Data 指令行介面 ( IBM cpdctl) 進行了下列增強：

使用新的 access-control 指令群組管理 watsonx.data 範例中資源的存取政策，包括檢視、更新及撤銷使用者和群組的存取權限。如需詳細資訊，請參閱存取控制。

資料管理員增強功能

使用者現在可以建立具有自訂路徑的模式，以更精細的層級檢視和同步資料。有了這項新功能，使用者可以只同步特定目錄 (例如 /test1 或 /test1/schema1 )，以擷取該路徑下的資料表，而不必同步整個目錄。此目標同步功能可提高資料管理的效能與精確度。

整合加強功能

IBM watsonx.data 透過與 Manta 整合，現在可支援 Presto 的列級世系追蹤。透過此強化功能，使用者現在可以探索詳細的列依賴關係、關係和元資料變更，從而深入瞭解資料流程，並改善整個管道的可追蹤性。

已淘汰的特性

IBM 用戶端套件已被廢棄，從 2.3.0 發佈的 watsonx.data 起，不得再安裝和支援 ibm-lh-client 套件。用 IBM CPDCTL CLI 取代 Client 套件中的公用程式和指令。我們鼓勵使用者遷移並探索 CPDCTL。有關如何使用 IBM CPDCTL CLI 的詳細資訊，請參閱 IBM cpdctl。

使用下列可用工具來獲得用戶端套件的同等功能：

python-run / - 使用標準環境來開發和執行 Spark 腳本。dev-sandbox Python
presto-run / CLI - 使用官方 Presto Presto CLI 對執行 SQL 查詢。watsonx.data
cert-mgmt- 使用 JVM keytool 管理憑證。HTTPS

2025 年 9 月 23 日 - 版本 2.2.1 新增功能 (NFI)

NFI 版本於 watsonx.data 2.2.1 上以服務形式發布的更新說明，IBM Cloud 包含生成式人工智慧體驗，詳見作為 IBMwatsonx.data 服務版本 2.2.1 新增功能介紹(NFI)。

增強元資料服務: watsonx.data 中的 Metadata Service (MDS) 現在支援透過 Iceberg 和 Unity REST API 簽發代用憑證。透過要求臨時憑證，外部元資料消費者現在可以安全地從物件儲存區存取資料，而無需管理長期存取金鑰。

在 watsonx.data 中，自動發放憑證的支援功能僅適用於儲存服務，例如 Amazon S3 Google Google Cloud Storage Cloud Storage (GCS)、Google Azure Cloud Data Lake Storage (ADLS) 等。為啟用儲存 Amazon S3 裝置的委派憑證支援，元資料消費者需在 S3 元件註冊至時指定角色 ARN（ watsonx.data Amazon Resource Name）欄位。更多詳細資訊，請參閱「新增 Amazon S3 儲存空間」。

2025 年 9 月 11 日 - 版本 2.2.1

引擎和服務增強

本版 watsonx.data 引進下列引擎與服務增強功能：

推出 watsonx.data API 的 v3 版本。您可以繼續使用 v2 版本，直到 watsonx.data 2.3 版本為止。請參閱 API 文件(v3 )。
您現在可以提供 watsonx.data Spark 引擎，並將 Spark runtime 設定為 Spark 4.0，這可讓您在 Spark 4.0 上執行 Spark 應用程式。有關支援的 Spark 版本的詳細資訊，請參閱支援的 Spark 版本。
watsonx.data 中的 Milvus 服務現已升級至版本 2.5.12。
現在您可以使用開放原始碼的 Milvus 備份工具，在 watsonx.data 內從 Milvus 備份和還原資料。
watsonx.data 中的 Gluten 加速 Spark 引擎現在能夠運行使用 Spark 版本 3.5 的應用程式。有關支援的 Spark 版本的詳細資訊，請參閱支援的 Spark 版本。
現在您可以在 watsonx.data 中使用 Milvus 的向量傳輸服務 (VTS) 來跨系統遷移或管理向量資料。如需詳細資訊，請參閱使用向量傳輸服務。

查詢優化器增強

現在您可以透過最佳化儀表板監控查詢效能的改善。優化程式正積極管理相關目錄的查詢計劃，並改善 Presto (C++) 引擎的效能。如需詳細資訊，請參閱從 Optimizer 面板管理統計更新。

存取管理增強

此版本的watsonx.data引入了以下存取管理增強功能：

watsonx.data 中 Milvus 服務的權限管理現在包括下列全局權限：
- DescribeDatabase- 提供指定資料庫的詳細資訊。
- AlterDatabase- 修改現有資料庫的屬性。

如需在 Milvus 中管理使用者存取權限的詳細資訊，請參閱 watsonx.data 中的預定角色與權限。

CPDCTL CLI 增強功能

本版 watsonx.data 對 IBM Cloud Pak for Data 指令行介面 ( IBM cpdctl) 進行了下列增強：

從 CPDCTL 版本 1.8.25 開始，相容性僅限於 watsonx.data 版本 2.2.1 以上。此變更是由於 v2 API 支援已被廢棄，作為主要升級至 v3 API 的一部分。使用舊版 CPDCTL 的使用者，請參閱 CPDCTL 發行檔。

由於 API 規格的更新，某些指令可能已經變更。使用 --help 選項檢視並適應最新的指令語法。
從 watsonx.data 版本 2.2.1 開始，您可以透過 cpdctl 使用 HashiCorp Vault，以進行安全的機密管理和簡化自動化工作流程。
service 指令下的新選項 wx-data service generate-engine-dump 允許您在 watsonx.data 中為 Presto Worker 和 Coordinator 節點產生轉儲。有關 service 指令的詳細資訊，請參閱 watsonx.data 中與可維修性相關的操作。
使用新的 component 指令擷取 watsonx.data 中各種元件的組態詳細資訊和狀態。有關 component 指令的詳細資訊，請參閱 wx-data 指令和用法，以取得 watsonx.data 中各種元件的組態詳細資訊。
從 CPDCTL 版本 1.8.5 開始，使用者不再需要將 instance ID 設定為環境變數。此方法已廢棄，並將於未來版本中移除。相反，請使用 profile 指令直接設定 instance ID。有關設定 instance ID 為環境變數的詳細資訊，請參閱 config 指令和用法。

資料來源和儲存增強

現在您可以從資料平台匯入下列資料來源的目錄和專案：

IBM Db2
IBM Netezza
MySQL
Oracle
PostgreSQL
Snowflake
SQL Server

豐富資料的語意自動化

watsonx.data 現在支援語意搜尋功能，讓使用者可以使用自然語言查詢資料，讓資料探索更直覺、更有效率。有關語意搜尋功能的詳細資訊，請參閱 watsonx.data 中執行語意搜尋。

公開預覽增強功能

公開預覽功能現在可從 Configurations UI 存取。現在您可以從 Configurations UI 輕鬆存取和管理 watsonx.data 公開預覽功能。公開預覽中的功能會以預覽標籤高亮顯示，方便識別。您可以啟用或停用這些功能來探索功能。每個公開預覽功能都包含詳細說明文件的連結，讓您可以進一步瞭解。有關公開預覽功能的詳細資訊，請參閱 watsonx.data(公開預覽)的新功能。

已淘汰的特性

本版本中以下功能已廢棄：

watsonx.data API 版本 v2 現已廢棄

watsonx.data 從版本 2.2.1 開始，API 版本 v2 已從 watsonx.data 開發者版本中完全移除。在 2.3 版本中，它將從 watsonx.data 軟體版中完全移除。您必須遷移至最新支援的 API 版本 ( v3 )，以確保持續相容性及存取新功能。

在 watsonx.data 中註冊外部 Spark 引擎的選項在此版本中已被廢棄，並將在 2.3 版本中移除。watsonx.data 已包含內建的 Spark 引擎，您可以直接提供並使用，包括 Gluten 加速的 Spark 引擎 (Provisioning Gluten accelerated Spark engine) 和原生的 watsonx.data Spark 引擎 (Provisioning a Spark engine )。

2025 年 8 月 05 日 - 版本 2.2.0 新功能 1 ( NF1 )

支援 BLOB 和 CLOB 資料類型

watsonx.data 中的 BLOB 和 CLOB 資料類型支援現已更新，以符合 SQL 標準，Presto 作為聯合查詢引擎遵循 SQL 標準。

閱讀支援： BLOB 和 CLOB 可以從 JDBC-based 聯合系統讀取。讀取時，它們的映射方式如下：

BLOB 至 VARBINARY
CLOB 至 VARCHAR

寫入支援：也支援寫入 BLOB 和 CLOB 資料，其處理方式如下：

VARBINARY 用於二進位資料
用於字元資料的 VARCHAR

建立表格支援：建立新表時，不能使用 BLOB 或 CLOB 作為欄位類型。在這種使用情況下，只支援 VARBINARY 和 VARCHAR。

引擎版本升級

Presto ( Java ) 和 Presto (C++) 引擎現已升級至 0.294 版本。

連接至 watsonx BI

現在您可以將 watsonx.data 與 IBM watsonx BI 連結，直接存取不同資料來源中的可用資料，讓資料科學家和資料分析師更容易使用資料。有關連線至 watsonx BI 的資訊，請參閱與 watsonx BI 整合。

簡易計劃增強

此 watsonx.data 版本引入了以下 Lite 計劃增強功能：

Lite 計劃的無伺服器 Spark 引擎：watsonx.data Lite 計劃實例中的 Spark 引擎以無伺服器模式運作。您現在可以在伺服器較少的平台上執行 Spark 作業，無需再為每個 Spark 引擎設置專用節點。無伺服器 Spark 允許的最大資源配額限制為 8 vCPU×32 GB，使用者可以存取共用的節點池。 Spark 執行時間會排程在資料平面的任何可用節點上，而非專用節點。如需瞭解如何佈建 Lite 計畫實體以及在其中建立 Spark 引擎，請參閱為 Lite 計畫佈建無伺服器 Spark 引擎。
Presto ( Java ) 引擎引進了新的 Lite 大小配置，為實驗和早期開發目的提供單結點部署設定。 Lite Presto ( Java ) 引擎僅在 watsonx.data Lite 計劃實例中提供。如需詳細資訊，請參閱佈建 Presto(Java)引擎。

攝取增強

本版 watsonx.data 包含下列 Ingestion 增強功能：

現在接受.txt 檔案格式進行資料擷取。此項增強功能擴大了彈性，允許使用者無縫上傳純文字檔案以及現有支援的格式。

服務加強功能

現在您可以使用兩個設定來設定查詢超時：最大查詢執行時間和查詢用戶端超時。有關更多信息，請參閱 watsonx.data 中的管理使用者設定：會話逾時、查詢逾時和登入訊息設置

2025 年 7 月 11 日

watsonx.data 的新版本於 2025 年 7 月 11 日發佈，並有以下變更：

新區域可用性: watsonx.data AWS 上，現已在孟買地區提供。

07 July 2025 - 版本 2.2.0 Hotfix 1

watsonx.data 的 2.2 hotfix 版本於 2025 年 7 月 7 日發佈。此版本包含安全更新和修復。

2025 年 6 月 11 日 - 版本 2.2.0

引擎和服務增強

本版 watsonx.data 引進下列引擎與服務增強功能：

引入了新的 API 版本，可使用代理主機路由連接至 Milvus 服務。如需詳細資訊，請參閱連接至 Milvus 服務。
對於 Presto (C++) 引擎，現在可透過區域設定啟用 Hive 和 Iceberg 目錄。如需詳細資訊，請參閱提供 Presto(C++)引擎。
新的 Gluten 加速 Spark 引擎：您現在可以配置 Gluten 加速 Spark 引擎，並利用 Spark SQL 框架的高擴充性和原生函式庫的高效能，來執行複雜的分析工作負載。有關使用新的 Gluten 加速 Spark 引擎的資訊，請參閱使用 Gluten 加速 Spark 引擎。
使用 Spark 工作轉換冰山表資料，執行更快的工作區查詢：為了加快 Iceberg 表的讀取速度，你現在可以使用 Spark job 將 Iceberg 表資料從 Merge-on-Read (MOR) 格式轉換為 Copy-on-Write (COW) 格式。如需詳細資訊，請參閱提交 Spark 作業 MoR 至 CoW 轉換。
您可以使用 Spark API 功能來設定可列出的應用程式限制，以及用來篩選 Spark 應用程式的篩選條件。

CPDCTL CLI 增強功能

本版 watsonx.data 對 IBM Cloud Pak for Data 指令行介面 ( IBM cpdctl) 進行了下列增強：

你可以使用 tablemaint 命令在 watsonx.data 中執行不同的 Iceberg 表維護操作。
您可以使用 wx-data service 指令來執行各種與服務性相關的作業，例如列出資料表、擷取啟用 QHMM 的資料桶清單，以及監控 QHMM 相關的統計資料和查詢。

如需詳細資訊，請參閱 IBM cpdctl。

整合加強功能

本版 watsonx.data 引入了以下與其他服務的增強整合：

新的交付方式：在 watsonx.data

使用支援的資料來源的資料產品，現在可以透過 watsonx.data 中的交付為表方法，交付至您的 watsonx.data 表實例。此方法允許具有適當權限的使用者建立新表或追加到現有表。如需詳細資訊，請參閱與 Data Product Hub 整合。

新的傳送方式：在 watsonx.data

現在您可以使用 watsonx.data 中的存取傳送方式，訂閱從 watsonx.data 範例建立的資料產品。此方法可讓消費者透過 Data Product Hub 直接存取 watsonx.data 資源。交付後，消費者會看到有關如何存取 watsonx.data 實體以及他們可以存取的特定資源的詳細資訊。如需詳細資訊，請參閱與 Data Product Hub 整合。

現在您可以用下列方式連線到 Spark 查詢伺服器，並執行查詢來分析您的資料。
- 使用 DBeaver ( JDBC 客戶端)
- 使用 Java ( JDBC 客戶端) 程式碼
- 使用 Python ( PyHive JDBC 客戶端)
如需詳細資訊，請參閱使用 Spark JDBC 驅動程式連接至 Spark 查詢伺服器。

帳單強化

此 watsonx.data 版本對帳單功能進行了以下增強：

帳單粒度：使用者現在可以逐項檢視帳單，提供更明確的細節和透明度
帳單精確度：使用者帳單使用量現在將以每分鐘追蹤，取代先前的高水位線方法

查詢歷史監控與管理 (QHMM) 增強功能

本版 watsonx.data 引進以下 QHMM 增強功能：

查詢監控頁面從快速入門精靈設定中移除，並與「設定水桶」頁面合併。現在，您可以直接從快速入門精靈中更新的「設定儲存桶」頁面，啟用、停用、設定 QHMM 儲存細節。如需更新快速啟動精靈設定的相關資訊，請參閱快速啟動。

資料來源和儲存增強

本版 watsonx.data 包含下列儲存增強功能：

您現在可以使用 SQL Server 與 New Technology LAN Manager (NTLM) 驗證和 Microsoft Entra 驗證。 NTLM 是基於視窗的挑戰 - 回應驗證方法。如需詳細資訊，請參閱 SQL Server.

現在，您可以在預設的作用中狀態建立下列儲存：

IBM Cloud Object Storage
Amazon S3
IBM Storage Ceph
MinIO
Google Cloud Storage
Azure Data Lake Storage
Apache Ozone

存取管理增強

此版本的watsonx.data引入了以下存取管理增強功能：

您可以使用匯出功能下載現有的資源政策，並將它們匯入另一個所需的環境。這可確保一致性，並有助於順利移轉。有關如何使用匯入匯出功能的資訊，請參閱管理使用者存取權限。
目錄管理員或屬於具有管理員角色的群組的使用者現在可以移除他們對目錄的存取權。有關如何移除元件使用者的詳細資訊，請參閱管理使用者存取。
非管理員使用者擁有唯讀存取權，現在可以檢視「組態」區段內的「驅動程式管理員」頁面。這可讓他們查看作用中驅動程式的清單及其詳細資訊，而無需諮詢管理員。如需詳細資訊，請參閱驅動程式管理員。

稽核與追蹤功能強化

本版 watsonx.data 引入了以下審計和追蹤增強功能：

可追蹤事件清單現在包括與 MDS Thrift 伺服器和 MDS Rest 伺服器相關的詳細活動，讓您深入瞭解應用程式和使用者如何與這些關鍵元件互動。有關資訊，請參閱 MDS Thrift 伺服器事件和 MDS Rest 伺服器事件。

已淘汰的特性

本版本中以下功能已廢棄：

使用 REST 主機的 Milvus API（前綴為 /api/v1 的 API）自 watsonx.data v2.2 起已被廢棄。
Azure Data Lake Storage (ADLS) 現已停用，並將在即將推出的版本中移除。Gen1 您必須過渡到 ADLS Gen2，因為 ADLS Gen1 無法使用。
使用 ibmlhapikey 和 ibmlhtoken 作為使用者名稱的使用者驗證方法已被廢棄，並將在未來的版本中移除。您可以使用 ibmlhapikey_<username> 和 ibmlhtoken_<username> 代替。如需詳細資訊，請參閱 watsonx.data 中的存取管理與治理。

2025 年 4 月 10 日 - 2.1.2 Hotfix 1 版本

引擎和服務增強

本版 watsonx.data 引進下列服務增強功能：

推出 Tiny Milvus，這是 Milvus 向量資料庫的輕量級單結點部署，專為實驗和早期開發量身打造。

Tiny Milvus 提供核心的 Milvus 體驗，並專為在 watsonx.ai 平台內使用而設計。它可作為向量式 AI 探索的切入點，以最低的資源需求協助確保有效的資料管理與分析。它有別於 watsonx.data 內的其他 Milvus 組態，後者支援更廣泛的擴充性和企業級功能。

Tiny Milvus 最多可支援 10K 媒體，適合快速試驗和早期實驗，無需繁重的基礎設施。此產品不適用於生產工作負載。

有關使用 Tiny Milvus 的詳細資訊，請參閱設定 watsonx.data Milvus 媒體儲存。

2025 年 4 月 04 日 - 版本 2.1.2

資料來源和儲存增強

本版 watsonx.data 包含下列儲存增強功能：

現在您可以連接 IBM Db2 for i 資料來源。有關 IBM Db2 for i，請參閱 IBM Db2 for i.

連接性增強

本版 watsonx.data 包含下列 Connectivity 增強功能：

現在您可以透過使用虛擬專用端點，安全且私密地連線至 watsonx.data 實例。如需在 watsonx.data 中設定網路端點的相關資訊，請參閱設定虛擬專用端點。

整合加強功能

此 watsonx.data 版本引入了以下與其他服務的增強整合：

現在，當您與 watsonx.data 整合時，您可以為 Presto (C++) 引擎定義 IBM Knowledge Catalog 治理政策。有關連線至 IBM Knowledge Catalog (IKC) 的資訊，請參閱連線至 IBM Knowledge Catalog(IKC )。
現在您可以根據 ODBC 驅動程式的選擇 (Simba 或 CData)，匯出目標 Presto 引擎的設定檔，以便更輕鬆地與 watsonx.data 建立連線。此增強功能可讓您免於使用 PowerBI 手動設定 Presto 引擎詳細資料。有關使用 Config 檔案連線至 Presto 的詳細資訊，請參閱使用 Config 檔案連線至 Presto。
與 Data Product Hub 整合：您可以將 watsonx.data 與 DPH 整合，將 SQL 表和查詢包裝成專為特定用例量身打造的資料產品。如需詳細資訊，請參閱與 Data Product Hub 整合。

攝取增強

本版 watsonx.data 包含下列 Ingestion 增強功能：

使用外部 Spark 引擎的攝取工作現在可在 watsonx.data 內提供日誌。這項強化功能可讓使用者直接在 watsonx.data 的雲端平台 ( SaaS instance) 上，有效辨識作業的執行情形並排除故障。有關擷取程序的詳細資訊，請參閱「透過 Web 主控台使用 Spark 擷取資料」。

引擎和服務增強

本版 watsonx.data 引進下列引擎與服務增強功能：

您現在可以使用 Azure Data Lake Storage Gen2，搭配 AccessKey Authmode 與 Spark 引擎，在提交 Spark 應用程式的同時儲存資料。如需 Azure Data Lake Storage Gen2 的相關資訊，請參閱 Azure Data Lake Storage。

查詢工作區強化

本版 watsonx.data 新增下列查詢工作區強化功能：

現在您可以選擇取消一個或多個執行中的查詢。此外，您可以在取消或成功完成查詢後，從工作表中移除查詢，讓您的工作區更有條理。如需詳細資訊，請參閱執行 SQL 查詢。

存取管理增強

此版本的watsonx.data引入了以下存取管理增強功能：

管理員現在可以設定 IBM Db2 和 IBM Netezza 的存取權限。他們可以為 watsonx.data 使用者指定角色，以便檢視、編輯和管理 IBM Netezza 和 IBM Db2 引擎。有關資源層級權限的資訊，請參閱 (Db2 和 Netezza )。
管理員現在可以在建立和檢視自己的模式時，授予或撤銷使用者或角色特定權限。有關資料原則規則的資訊，請參閱管理資料原則規則。
之前已被廢棄的 DAS proxy flow 現在已被移除，在 watsonx.data 中不再可用。

查詢歷史監控與管理 (QHMM) 增強功能

本版 watsonx.data 引進下列 QHMM 增強功能：

現在您可以在 watsonx.data 中設定查詢監控時，選擇與 QHMM 目錄相關聯的 Presto 引擎。如需設定 QHMM 的相關資訊，請參閱設定查詢監控。
現在您可以使用遷移腳本，在 watsonx.data 中將 QHMM 資料從來源資料桶傳輸至目的地資料桶。有關使用遷移指令碼的詳細資訊，請參閱 QHMM Shell Script usage。

CPDCTL CLI 增強功能

本版 watsonx.data 對 IBM Cloud Pak for Data 指令行介面 ( IBM cpdctl) 進行了下列增強：

從版本 2.1.2 開始，預設提供 wx-data 指令，讓您可以在 watsonx.data 執行擷取、管理引擎等作業。
您可以使用 wx-data engine create 和 wx-data engine delete 指令在 watsonx.data 中配置和刪除所有可用的引擎。
您可以使用 sparkjob 指令來提交、列出和取得 Spark 應用程式的詳細資料。
INSTANCE_ID 用取代。WX_DATA_INSTANCE_ID

如需詳細資訊，請參閱 IBM cpdctl。

2025 年 2 月 28 日 - 版本 2.1.1

新區域可用性

watsonx.data 現在可在多倫多地區使用 Lite 和 Enterprise 方案。若要進行佈建，請參閱佈建 watsonx.data Lite 計劃和佈建 watsonx.data Enterprise 計劃。

資料來源和儲存增強

此 watsonx.data 版本包含下列儲存增強功能：

現在，您可以測試下列資料來源和儲存的連線：
- Apache Phoenix
- IBM Data Virtualization Manager
- BigQuery
- Google Cloud Storage
現在您可以使用 Register table 和 load table metadata API，在物件儲存空間上註冊和載入外部預先存在的 Hudi 和 Delta 表。

攝取增強

在擷取工作完成後，您現在可以直接從擷取記錄頁面存取擷取的資料，簡化工作流程並節省時間。

整合加強功能

此 watsonx.data 版本引入了以下與其他服務的增強整合：

連線資訊」頁面現在包括
- Presto DBT 整合的組態詳細資訊。您可以從此頁複製 DBT 整合所需的 Presto 設定詳細資訊。
- 匯出 TDS 檔案的選項，其中包含 Tableau 整合所需的 Presto 引擎組態詳細資訊。

有關詳細信息，請參閱獲取連接信息。

引擎和服務增強

此版本的watsonx.data引入了以下引擎和服務增強功能：

現在您可以從 Spark 引擎詳細資訊頁面的 Applications 索引標籤建立 Spark 應用程式。如需詳細資訊，請參閱從控制台提交 Spark 應用程式。
您現在可以使用 Spark 版本，3.5.4，在 watsonx.data 中執行應用程式。在 watsonx.data 中，Apache Spark 3.4.4 和 Apache Spark 3.5.4 是支援的版本。
Milvus 允許
- 在 Milvus 中，您現在可以根據多個向量列進行混合 GroupBy 搜尋，也可以在執行搜尋查詢時自訂群組大小。如需詳細資訊，請參閱連接 watsonx Assistant 至 watsonx.data Milvus 以進行自訂搜尋。
- Milvus 現在支援自訂大小，可容納 30 億向量，最多 1,024 個維度。
- Milvus 現在可在預先定義的 T 恤尺寸（小、中、大）或自訂尺寸之間縮放。如需詳細資訊，請參閱新增 Milvus 服務。
從 watsonx.data 2.1.1 版本開始，支援 Milvus 2.5.0。如需詳細資訊，請參閱 Milvus.

存取管理增強

此版本的watsonx.data引入了以下存取管理增強功能：

watsonx.data 中的存取管理服務 (AMS) 現在可以使用 JSON Web 令牌 (JWT) 來驗證從 Presto 傳入的要求，確保安全且有效率的存取控制。如需詳細資訊，請參閱透過 Presto CLI(遠端)連線至 Presto 引擎。
您現在可以將使用者和角色分批指派給基礎結構元件，每批 20 個。如需相關資訊，請參閱管理使用者存取。
現在您可以使用 Apache Ranger Hadoop SQL 政策來管控 Spark 引擎的資料。當 Spark 引擎從 Hadoop 叢集存取資料時，您可以定義 Ranger 政策。啟用 Ranger 政策可確保穩健的資料安全性與管理。透過 Ranger 策略，您可以設定資料的表授權 ( L3 )、行層級過濾和列遮罩。如需詳細資訊，請參閱為資源啟用 Apache Ranger 政策。

CPDCTL CLI 增強功能

IBM CPDCTL CLI 現在用來設定和管理 watsonx.data 中的不同作業。使用 CPDCTL CLI，您可以管理組態設定、執行擷取工作、管理引擎、資料來源和儲存庫。目前使用下列兩個外掛程式來執行這些作業：

config- 要設定 watsonx.data 服務環境和使用者。
wx-data- 在 watsonx.data 中執行其他作業，例如，擷取、管理引擎等。如需詳細資訊，請參閱 IBM cpdctl。

watsonx.data 開發者版本現已在 IBM CPDCTL 版本 v1.6.104 及後續版本中啟用。

已淘汰的特性

本版本中以下功能已廢棄：

資料存取服務 (DAS) 代理功能現已停用，並將在未來的版本中移除。您無法使用資料存取服務 (DAS) 代理功能來存取物件儲存 ( S3, ADLS 和 ABS)。如果您使用 DAS 代理流並遇到任何問題，請聯絡 IBM 支援。如需 DAS 功能的概覽，請參閱資料存取服務(DAS)。
IBM 用戶端套件現已停用，並將在未來的版本中移除。用 IBM CPDCTL CLI 取代 Client 套件中的公用程式和指令。有關如何使用 IBM CPDCTL CLI 的詳細資訊，請參閱 IBM cpdctl。

2025 年 2 月 04 日 - 2.1.0 Hotfix 2 版本

簡易計劃增強: IBM® watsonx.data Lite 計劃現已在悉尼地區推出。如需在悉尼區配置精簡型計劃實例的詳細資訊，請參閱配置精簡型計劃。

2025 年 1 月 10 日 - 2.1.0 Hotfix 1 版本

企業計劃強化: 如果使用 IBM Cloud CLI 在悉尼地區佈建企業計劃實例，則必須使用計劃名稱 lakehouse-enterprise-mcsp。如需詳細資訊，請參閱透過 CLI 提供實體。

2024 年 12 月 13 日 - 版本 2.1.0

資料來源和儲存增強

此版本包括以下新資料來源和儲存增強功能：

現在您可以連接 Apache Phoenix 資料來源。如需詳細資訊，請參閱 Apache Phoenix
如果您使用 MySQL 資料來源，現在您可以在「設定」頁面的 「驅動程式管理器」 部分中管理驅動程式。每個驅動程式都經過一系列驗證步驟。您無法再測試 MySQL 連線。有關更多信息，請參閱 MySQL。

當您升級至版本 2.1.0 時，任何現有的 MySQL 目錄將不再與引擎連結。這意味著您需要重新建立目錄 MySQL 與引擎之間的連結。

測試連接功能現在可用於 Arrow Flight service 支援的下列資料來源：
- Apache Derby
- Salesforce
- Greenplum
- MariaDB
現在，您可以測試 Azure Data Lake Storage (ADLS) 和 IBM Data Virtualization Manager for z/OS 資料來源的連線。

整合加強功能

此版本的watsonx.data引入了以下與其他服務的新整合或增強整合：

現在您可以從 「設定」 頁面啟用資料帶連線。有關更多信息，請參閱使用 Databand 監控 Spark 應用程式運行。
現在您可以從 watsonx.data 實例 > 配置 > 連接資訊頁面檢索 Presto 連接信息，以進行以下集成：
- 商業智慧工具
- DataBuildTool (dbt)
從 watsonx.data 版本 2.1 開始，您只能與下列其中一個政策引擎整合：
- Apache Ranger
- IBM Knowledge Catalog (IKC)

如需詳細資訊，請參閱連線資訊。

現在，您可以將 IBM Manta Data Lineage 與 watsonx.data 集成，以透過 Manta UI 從 Spark 擷取和發布作業、執行和資料集事件。有關更多信息，請參閱 IBM Manta Data Lineage。
現在，您可以將所有 Presto 資料類型與 Presto 的 dbt 適配器一起使用。在 dbt_project.yml 中將資料型別指定為 column_types。有關更多信息，請參閱安裝和使用 dbt- watsonx-presto。

引擎和服務增強

此版本的watsonx.data引入了以下引擎和服務增強功能：

您現在可以使用 Azure Data Lake Storage Gen2 with AccessKey Authmode 和 Google Cloud Storage with Presto (C++) 引擎。現在您可以使用 Azure Data Lake Storage (ADLS) 和 Google Cloud Storage 來儲存資料，同時提交 Spark 應用程式。如需詳細資訊，請參閱 Azure Data Lake Storage 和 Google Cloud Storage。
現在，您可以使用 Google Cloud Storage (GCS) 和資料存取服務 (DAS) 來在提交 Spark 應用程式時儲存資料。更多信息，請參閱使用原生 Spark 引擎提交 Spark 應用程式。
現在您可以啟用 Spark 存取控制擴充功能來存取和操作 Hive 和 Hudi 目錄。有關更多信息，請參閱使用外部 Spark 的 Spark 訪問控制擴展增強 Spark 應用程式提交和使用本機 Spark 的 Spark 訪問控制擴展增強 Spark 應用程式提交。
現在您可以選擇 watsonx.data Spark 引擎作為 watsonx.ai 筆記本中的執行環境。這允許您在 watsonx.data 本機 Spark 引擎上執行 Jupyter 筆記本。有關更多信息，請參閱使用 watsonx.ai 筆記本。
Presto 管理員現在可以透過 API 設定 JMX 指標。目前，JMX 屬性名稱中的鍵僅允許使用字母數字字元。有關更多信息，請參閱更新 presto 引擎。

使用 ibm-lh 實用程式查詢歷史信息

您可以使用 ibm-lh 公用程式取得下列查詢歷史記錄資訊：

基本查詢資訊。
失敗查詢的基本錯誤訊息。
查詢統計資料。
查詢記憶體資訊。
查詢垃圾收集資訊。
查詢所用時間最多。
查詢的記憶體使用詳細資訊。
連接兩個表後的資訊。
包含表格的所有欄位的資訊。
有關查詢中錯誤的資訊。
所有錯誤代碼的計數。
所有失敗訊息的計數。
所有故障類型的計數。

有關更多信息，請參閱使用 ibm-lh 實用程式檢索 QHMM 日誌。

攝取增強

此版本的watsonx.data引入了以下攝取增強功能：

目標表預覽：在提交攝取作業之前，使用者現在可以預覽目標表架構並編輯列標題和資料類型。這樣可以進行驗證並確保資料被提取到正確的表結構中。有關更多信息，請參閱透過 Web 控制台使用 Spark 提取資料。
用於建立表格的基於 Java /Spark 的攝取：資料管理器現在包含一個選項，用於使用導航到本地攝取的基於 Java /Spark 的攝取流建立表，從而提供基於檔案大小和其他因素的靈活性和控制。有關更多信息，請參閱創建表和透過 Web 控制台使用 Spark 引入資料。
增強的來源儲存支援：
- Azure Data Lake Storage (ADLS)：現已支援直接從 ADLS 擷取資料。
- Google Cloud Storage (GCS)：現已支援直接從 GCS 擷取資料。
暫時儲存：使用者現在可以選擇外部儲存桶用作本地攝取的暫存區域。如果未指定存儲，watsonx.data 可以推斷並選擇合適的存儲桶。有關更多信息，請參閱透過 Web 控制台使用 Spark 提取資料。

元資料服務（MDS）簡介

從 2.1 版本開始，watsonx.data 使用元資料服務（MDS）而不是 Hive Metastore（HMS）。 MDS 與現代、開放式目錄 API、Unity Catalog API 及 Apache Iceberg REST Catalog API 相容，可實現更廣泛的工具整合並提高彈性。這種新架構提供了相當的效能，同時繼續透過現有的 Thrift 或 HMS 介面支援 Spark 和 Presto 客戶端。有關更多信息，請參閱元資料服務(MDS)概述。

建議在測試環境中使用 MDS，然後轉向在生產中使用它。

已淘汰的特性

此版本中已棄用以下功能：

透過事件偵聽器擷取 watsonx.data 中的 DDL 變更的 REST API 功能將從 watsonx.data 發行版本 2.1 中棄用。

2024 年 11 月 13 日 - 版本2.0.4修補程序

Lite 計劃增強功能

此修補程式版本包括以下 Lite 計劃增強功能：

Lite 計劃現在包括與Presto引擎關聯的專用只讀範例IBM COS 存儲，以支援查詢範例和基準測試資料。
現在您可以使用 tpcds 範例工作表來實現高效能用例，使用 Gosales 範例工作表來實現資料工程和GenAI用例。
現在，查詢最佳化器會自動為高效能 BI 使用案例啟用。

2024 年 10 月 29 日 - 版本2.0.4

引擎和服務增強

此版本包括以下引擎和服務增強功能：

Presto ( Java ) 和Presto (C++) 工作執行緒的 task.max-drivers-per-task 屬性的預設值現在是根據vCPUs的數量設定的。
您可以從查詢監控頁面啟用查詢記錄監控和管理 (QHMM) 中的文件修剪功能。您也可以配置 QHMM 儲存桶的最大大小和閾值百分比。當檔案上傳期間達到閾值或執行清理計劃程序（預設每 24 小時一次）時，舊資料將被刪除。有關更多信息，請參閱配置查詢監控。
查詢歷史記錄監控和管理 (QHMM) 不再將診斷資料儲存在預設的IBM託管試用儲存桶 ( wxd-system ) 中。要儲存診斷數據，您現在必須使用 QHMM 支援的儲存類型。有關使用您自己的存儲的更多信息，請參閱配置查詢監控。
現在您可以透過檢查 JSON 檔案中的 wxdQueryOptimized 參數來驗證查詢最佳化狀態。有關更多信息，請參閱從Presto(C++)CLI 或查詢工作區執行查詢。

資料來源增強

此版本包括以下資料來源和儲存增強功能：

測試連接功能現在可用於以下資料來源：
- Apache Pinot
- Cassandra
- Prometheus
新資料來源 SAP HANA 現在可用。您可以使用 Configurations 頁面下的 Driver manager 管理 SAP HANA 資料來源的驅動程式。每個驅動程式都經過一系列驗證。

精簡方案

為了增強可用性，系統目錄（cmx 和系統）現在對 Lite 計劃用戶隱藏。採用Presto (C++) 引擎的 Lite 計畫實例包含 tpch 作為基準測試目錄，採用Presto ( Java ) 引擎的實例包括 tpch 和 tpcds 作為基準測試目錄。

已淘汰的特性

本版本中以下功能已廢棄：

透過事件偵聽器擷取watsonx.data中的 DDL 變更的 REST API 功能在此版本中已棄用，並將在2.1版本中從watsonx.data中刪除。
不建議使用Apache Spark 3.3運行時。您必須升級到 Spark 3.4。若要更新Apache Spark版本，請參閱編輯 Spark 引擎詳細資料。

2024 年 9 月 25 日 - 版本2.0.3

資料來源和儲存增強

此版本包括以下新資料來源和儲存增強功能：

現在您可以啟用 Azure Data Lake Storage Gen1 Blob 和 Google Cloud Storage for Milvus。有關更多信息，請參閱 ADLS Gen1 Blob 和 Google Cloud Storage。
您可以建立新資料來源或將新資料來源新增至引擎，而無需附加目錄。稍後可以將目錄附加到資料來源。
現在您可以使用 Apache Ozone 儲存的 Presto ( Java ) 引擎。如需詳細資訊，請參閱 Apache Ozone.
現在您可以設定Apache Kafka資料來源以使用 Salted 質詢回應驗證機制 (SCRAM) 驗證機制。您可以上傳自簽名憑證。有關更多信息，請參閱 Apache Kafka。

整合加強功能

此版本的watsonx.data引入了以下與其他服務的新整合或增強整合：

現在您可以將watsonx.data與 Spark 引擎的資料建構工具 (dbt) 集成，以在watsonx.data內進行就地資料轉換。有關詳細信息，請參閱關於 dbt 整合。
您可以將watsonx.data與 Databand 整合。這種整合可以透過提供超越 Spark UI 和 Spark History 的見解來增強監控功能。有關更多信息，請參閱使用 Databand 監控 Spark 應用程式運行。
您可以將watsonx.data與以下Business Intelligence(BI) 視覺化工具集成，以存取連接的資料來源並建立引人注目的互動式資料視覺化：
- Tableau
- Looker
- Domo
- Qlik
- PowerBI
有關詳細信息，請參閱關於 BI 視覺化工具。

引擎和服務增強

此版本的watsonx.data引入了以下引擎和服務增強功能：

查詢優化器支援 Iceberg 表。有關詳細信息，請參閱查詢優化器。
現在，您可以使用資料建構工具 (dbt- watsonx-presto) 適配器來建置、測試和記錄Presto ( Java ) 引擎的資料模型。有關更多信息，請參閱 dbt- watsonx-presto。
Presto (C++) 引擎現在可以使用新的自訂屬性（檔案列名稱讀取為小寫），以避免列名稱中的大小寫不符。有關詳細信息，請參閱 Presto(C++)的目錄屬性。

存取管理增強

此版本的watsonx.data引入了以下存取管理增強功能：

現在您可以新增使用者和使用者群組來定義資料策略規則。有關更多信息，請參閱數據政策。
管理員現在可以選擇 TPCDS 和 TPCH 目錄來建立存取控制策略。「選擇」是唯一允許使用這些目錄定義規則的操作。若要定義資料策略，請參閱資料策略。
管理員現在可以在建立資源組後編輯資源組配置。有關更多信息，請參閱配置Presto資源組。

IBM Knowledge Catalog資料來源治理策略

您現在可以將IBM Knowledge Catalog治理策略套用到Presto中的下列資料來源：

Oracle
PostgreSQL
MySQL
SQL Server
Db2

攝取增強

此版本的watsonx.data對攝取工作流程進行了以下改進：

現在您可以使用資料來源提交攝取作業。有關更多信息，請參閱透過 Web 控制台使用 Spark 提取資料。
現在您可以使用 AVRO 和 ORC 檔案格式來提取資料。有關更多信息，請參閱關於數據攝取。
您可以預覽上傳的檔案並點擊表格標題來編輯列名稱。有關更多信息，請參閱透過 Web 控制台使用 Spark 提取資料。
您可以存取和查看與攝取作業關聯的 Spark 日誌。有關更多信息，請參閱訪問攝取作業的 Spark 日誌。

精簡方案

您可以根據以下三個用例配置您的 Lite 套餐實例。從清單中選擇一個用例以繼續：

生成式 AI：您可以使用此選項探索生成式 AI 用例。已發放的實例包括 Presto、Milvus 和 Spark。
高效能 BI：您可以使用此選項探索 BI 視覺化功能。預配實例包括Presto （C++）和Spark。
資料工程工作負載：您可以使用資料工程工作負載來探索各種工作負載驅動的用例。預配實例包括Presto （ Java ）和Spark。

有關詳細信息，請參閱 Lite 計劃。

2024 年 8 月 27 日 - 版本2.0.2

資料來源和儲存增強

此版本包括以下新資料來源和儲存增強功能：

內容感知儲存 (CAS) 現在稱為資料存取服務 (DAS)。
Apache Hive升級至版本4.0.0。
現在您可以從儲存詳細資料頁面查看 DAS 端點。有關更多信息，請參閱探索存儲對象。

整合加強功能

此版本的watsonx.data引入了以下與其他服務的新整合或增強整合：

現在，您可以在watsonx.data平台中使用IBM Knowledge Catalog for SQL 視圖的治理功能。有關更多信息，請參閱與IBM Knowledge Catalog(IKC)整合。
IBM watsonx.data現在支援Apache Ranger 策略以使用Presto (C++) 引擎管理資料。有關更多信息，請參閱 Apache護林員政策。

引擎和服務增強

此版本的watsonx.data引入了以下引擎和服務增強功能：

實例管理員現在可以在Presto中配置資源組。有關詳細信息，請參閱資源組。
現在您可以使用 API 來執行查詢並檢索結果。有關更多信息，請參閱 API。
現在您可以透過 API 自訂來配置或變更Presto ( Java ) 的日誌等級。欲了解更多信息，請訪問 API。
現在，您可以使用 Iceberg Spark 分析過程產生不同值數 (NDV) 列統計信息，以增強 Spark 基於成本的優化器 (CBO)，從而改進查詢規劃。
現在，您可以使用自訂資料來源選項連接到Presto ( Java ) 引擎的 Black Hole 和本機檔案連接器。有關詳細信息，請參閱自訂資料來源。
現在您可以為 Presto 引擎和 Milvus 服務產生 JSON 片段。您可以將其複製/貼上到 IBM Cloud Pak for Data 和 watsonx 中的 watsonx.data Presto 和 Milvus 連接器 UI，以簡化連接建立。有關詳細信息，請參閱獲取連接信息。

存取管理增強

此版本的watsonx.data引入了以下存取管理增強功能：

現在您可以控制對Presto (C++) 引擎的存取。有關更多信息，請參閱引擎（ Presto(Java)或Presto(C++)）。
現在您可以批次向使用者和使用者群組授予組件存取權限。如需相關資訊，請參閱管理使用者存取。
現在您可以在Presto中擁有包含 DEBUG 資訊的系統存取控制 (SAC) 插件日誌。更多信息，請參見 API定制。

攝取增強

此版本的watsonx.data引入了以下攝取增強功能：

watsonx.data中的攝取工作流程現已簡化為提交攝取作業，並支援本機檔案攝取。有關更多信息，請參閱透過 Web 控制台使用 Spark 提取資料。
現在您可以使用 JSON 檔案格式來提取資料。有關更多信息，請參閱關於數據攝取。
CSV 檔案屬性現在可用作支援 ibm-lh data-copy 參數。有關更多信息，請參閱 ibm-lh 工具中支援的選項和參數。
新的環境變數可用於透過 ibm-lh tool 命令列攝取 Spark。有關更多信息，請參閱透過 ibm-lh 工具命令列進行 Spark 攝取。

2024 年 8 月 1 日 - 版本2.0.1

資料來源

現在您可以連接到Db2資料來源透過使用IBMAPI 金鑰作為身份驗證機制。有關更多信息，請參閱 IBMDb2。
Presto (C++) 引擎現在可以與資料來源相關聯。Arrow Flight service 支援唯讀操作。支援下列 Arrow Flight service 資料來源：
- Salesforce
- MariaDB
- Greenplum
- Apache Derby

如需詳細資訊，請參閱 Arrow Flight service.

以下新資料庫可用於Presto(Java）引擎：
- Redis
- Apache Druid
- 有關更多信息，請參閱 Redis和 Apache德魯伊。

整合

整合時IBM Knowledge Catalog和IBMwatsonx.data，您可以為表中的各個行配置資料保護規則，從而允許使用者存取表中的行子集。有關更多信息，請參閱過濾行。
現在您可以應用以下內容Apache護林員政策Presto(Java）引擎：
- 行級過濾：使用者可以存取表中的行子集。有關更多信息，請參閱新增行級過濾策略。
- 列屏蔽：限制使用者查看屏蔽值而不是顯示敏感資料。有關更多信息，請參閱新增列屏蔽策略。
您現在可以集成IBMwatsonx.data與本地部署IBMDataStage。您可以使用DataStage載入和讀取資料的服務IBMwatsonx.data。了解更多信息，與集成DataStage。

鑑別及授權

Spark 存取控制擴充功能允許額外授權，增強應用程式提交時的安全性。如果在spark配置中啟用該擴展，則只有授權使用者才可以存取和操作IBMwatsonx.data透過 Spark 作業進行目錄。有關更多信息，請參閱使用 Spark 存取控制擴充增強 Spark 應用程式提交。
IBMwatsonx.data現在支援對象存儲代理和簽名Azure資料湖儲存和Azure Blob Storage。有關更多信息，請參閱使用 DAS 代理存取 ADLS 和 ABS 相容儲存桶。
現在提供輕量級目錄存取協定 (LDAP)Teradata和Db2資料來源。用戶需要在伺服器層級設定此配置。為了Teradata，在 UI 中明確選擇身份驗證機制類型為 LDAP。了解更多信息，Teradata。

DAS 代理程式用於存取 ADLS 和 ABS 儲存桶，以及 LDAP 增強功能，現於版本中提供技術 2.0.1 預覽。

Milvus 現在支援使用者的分區級隔離。管理員可以授權使用者對分割區執行特定操作。更多資訊請參閱服務（ Milvus ）。

儲存空間

現在您可以將以下儲存空間新增至Presto(Java) 引擎在IBMwatsonx.data:
- Azure 資料湖儲存 Gen2
- Azure資料湖儲存Gen1斑點

如需詳細資訊，請參閱 Azure Data Lake Storage Gen2 及 Azure Data Lake Storage Gen1 Blob。

您可以修改儲存的使用者註冊桶的存取金鑰和金鑰。此功能不適用於預設儲存桶、ADLS 或Google Cloud Storage。僅當新憑證成功通過測試連線時才能使用此功能。

引擎

現在您可以使用 ALTER TABLE ADD、DROP 和 RENAME 列語句MongoDB資料來源。
現在您可以配置如何Presto處理不支援的資料類型。有關更多信息，請參閱忽略不支援的資料類型。

型錄

現在，您可以透過基礎架構管理員頁面中管理關聯下的 UI 批次將目錄與引擎關聯和取消關聯。

API 自訂和屬性

新增以下自訂參數Presto（C++）工人：
- 系統記憶體限制 GB
- 系統記憶體收縮 GB
- 啟用系統記憶體推回
有關更多信息，請參閱配置屬性Presto(C++)- 工作節點。
配置屬性 optimizer.size-based-join-flipping-enabled 被添加為Presto(C++) 協調器節點。有關更多信息，請參閱配置屬性Presto(C++)- 協調節點。
增強的 API 定制，支援資料快取和片段結果快取以提高效能improvement.For更多信息，請參閱配置屬性Presto(Java)- 協調器和工作節點和目錄屬性Presto(Java）。

基礎架構管理程式

您可以在基礎架構管理員頁面上使用搜尋功能尋找以下值：
- 資料庫名稱
- 註冊主機名
- 由使用者名稱創建
現在，您可以使用響鈴圖示下的通知部分中的「請勿打擾」切換開關來啟用或停用彈出通知。
您可以在「設定」頁面的「連線資訊」磁貼下找到連線資訊。可以將此資訊複製並下載到 JSON 片段。

查詢工作區

您可以透過 SQL 查詢工作區對架構下的所有表執行查詢，而無需指定路徑 <catalog>.<schema>，只需從新的下拉清單中選擇所需的目錄和架構即可。有關更多信息，請參閱運行 SQL 查詢。

watsonx.data 定價方案

現在，您可以在達到帳戶上限 2000 RU 之前刪除現有的 Lite 計劃實例，並建立新實例並使用帳戶中剩餘的可用資源單位。有關更多信息，請參閱 watsonx.data精簡計劃。

2024 年 7 月 3 日 - 版本2.0.0

資料來源的新資料類型

以下新資料類型現在可用於某些資料來源。您可以存取這些資料類型資料管理器頁面下的新增欄目選項。

BLOB
- Db2
- Teradata
- Oracle
- MySQL
- SingleStore
CLOB
- Db2
- Teradata
- Oracle
BINARY
- SQL Server
- MySQL

因為不支援數字資料類型watsonx.data，您可以使用十進位資料類型作為數字資料類型的等效替代Netezza資料來源。

現在，您可以在查詢工作區中將 BLOB 和 CLOB 資料類型與 SELECT 語句結合使用，針對您的資料建置和執行查詢Oracle和SingleStore資料來源。

您現在可以使用 BLOB 和 CLOB 資料類型MySQL和PostgreSQL資料來源相當於 LONGTEXT、BYTEA 和 TEXT，因為這些資料類型與Presto(Java）。這些資料類型會對應到 CLOB 和 BLOBPresto(Java) 如果資料來源具有 LONGTEXT、TEXT 和 BYTEA 資料類型的現有資料表。

MySQL （CLOB 相當於 LONGTEXT）
PostgreSQL （CLOB 相當於 TEXT）
PostgreSQL （BLOB 相當於 BYTEA）
Netezza（十進制等同於數字）
Oracle（BLOB 和 CLOB 與 SELECT 語句）
SingleStore（BLOB 和 CLOB 與 SELECT 語句）

資料 Db2 來源的新操作

您可以對 BLOB 和 CLOB 資料類型執行下列操作：Db2資料來源：

插入
建立
CTAS
ALTER
放置

基於 Arrow Flight service 新資料來源

現在您可以使用 Arrow Flight service 來使用下列資料來源：

Greenplum
Salesforce
MariaDB
Apache Derby

如需詳細資訊，請參閱 Arrow Flight service.

新的資料來源

您現在可以使用以下資料來源：

Cassandra
BigQuery
ClickHouse
Apache Pinot

有關更多信息，請參閱新增資料庫目錄對。

檢索攝取歷史記錄的命令

現在您可以檢索使用 ibm-lh get-status 提交的所有攝取作業的狀態--all-jobsCLI 指令。您可以檢索所有已提交的攝取作業的狀態。您可以獲得您有權存取的歷史記錄。有關更多信息，請參閱 ibm-lh 工具支援的選項和參數。

(IKC) IBM Knowledge Catalog S2S 授權的額外角色

除了資料存取之外，IBM Knowledge CatalogS2S授權需要元資料存取和控制台 API 存取才能集成watsonx.data。為 IKC 服務存取配置建立以下新角色：

檢視者
元存儲檢視器

Apache 巡邏員政策

IBMwatsonx.data現在支援ApacheRanger 政策允許與Presto引擎。有關更多信息，請參閱 Apache護林員政策。

版本升級

Presto(Java) 引擎現已升級至版本0.286。
Milvus 服務現已升級至 2.4.0 版本。重要功能包括：
- 更好的效能（低記憶體利用率）
- 支援稀疏數據
- 用於稀疏向量嵌入的內建 SPLADE 引擎
- 乙二胺四乙酸M3混合（密集+稀疏）搜索

Hive Metastore (HMS) 存取權限 watsonx.data

您現在可以獲得元數據信息HiveMetastore 使用 REST API，而不是從引擎詳細資訊取得資訊。 HMS詳細資訊由外部實體使用來集成watsonx.data。您必須具有管理員、Metastore 管理員或 Metastore 檢視者角色才能執行 API。

用於資料豐富的語意自動化

用於資料豐富的語意自動化利用生成式人工智慧IBM Knowledge Catalog更深入地了解您的數據，並透過自動豐富來增強數據，使其具有分析價值。語意層整合僅作為 30 天試用版提供給 Lite 計畫使用者。有關更多信息，請參閱用於資料豐富的語意自動化watsonx.data。

查詢最佳化器提高查詢效能

現在您可以使用查詢最佳化器來提高由Presto(C++) 引擎。如果查詢優化器確定最佳化可行，則對查詢進行重寫；否則，本機引擎優化優先。有關更多信息，請參閱查詢優化器概述。

引擎 Presto 的新名稱 watsonx.data

Presto被重新命名為Presto(Java）。

新引擎（ Presto C++）在 watsonx.data

您可以提供一個Presto(C++) 引擎（版本0.286 ）在watsonx.data對資料來源執行 SQL 查詢並取得查詢的資料。有關更多信息，請參閱Presto(C++) 概述。

使用代理存取 S3 及 S3 相容儲存桶

外部應用程式和查詢引擎可以訪問S3和S3管理的兼容儲存桶watsonx.data透過一個S3代理人。有關更多信息，請參閱使用S3代理訪問S3和S3相容桶。

混合大小寫功能標誌，適用於 Presto ( Java ) 引擎

混合大小寫功能標誌，允許在區分大小寫和不區分大小寫的行為之間切換Presto(Java），可用。此標誌預設為 OFF，可在部署期間設定為 ONwatsonx.data。有關更多信息，請參閱 Presto(Java)混合大小寫支援概述。

新型儲存類型 Google Cloud Storage

現在您可以使用新的儲存類型Google Cloud Storage。有關更多信息，請參閱新增儲存目錄對。

2024 年 5 月 31 日- 1.1.5 版

在 watsonx.data 精簡方案中提供 Spark 引擎

您現在可以在 watsonx.data Lite 方案實例中新增小型 Spark 引擎 (單一節點)。有關更多信息，請參閱 watsonx.data精簡計劃。

Spark 實驗室相關的更新項目

從 Spark 實驗室使用 Jupyter Notebook

: 現在，您可以從 Spark 實驗室內的 VS Code Marketplace 安裝 Jupyter 擴充功能並使用 Jupyter Notebook。有關更多信息，請參閱建立 Jupyter 筆記本。

從 Spark 實驗室存取 Spark UI

現在您可以從 Spark 實驗室存取 Spark 使用者介面 (UI)，以監控執行 Spark 應用程式的各個方面。有關更多信息，請參閱從 Spark 實驗室訪問 Spark UI。

為 IBM Cloud 實例配置新區域

您現在可以在雪梨地區佈建 IBM Cloud 實例。

2024 年 4 月 30 日- 1.1.4 版

新版 watsonx.data 已於 2024 年 4 月發行。

此版本包括下列特性及更新項目:

Kerberos HDFS 連線驗證

您現在可以針對安全 Apache Hadoop Distributed File System (HDFS) 連線啟用 Kerberos 鑑別。如需相關資訊，請參閱 HDFS。

新的資料來源

現在提供下列新的資料來源:

Oracle
Amazon Redshift
Informix
Prometheus

如需相關資訊，請參閱資料來源。

測試 SSL 連線

您現在可以測試 MongoDB 及 SingleStore 資料來源的 SSL 連線。

上傳資料來源 Apache Kafka 的描述檔案

Apache Kafka 資料來源將資料儲存為生產者和消費者必須解譯的位元組訊息。若要查詢此資料，消費者必須先將它對映至直欄。現在，您可以上傳主題說明檔，將原始資料轉換成表格格式。每一個檔案都必須是包含表格定義的 JSON 檔案。若要從使用者介面上傳這些 JSON 檔案，請跳至您所登錄 Apache Kafka 資料庫的概觀頁面，然後選取 新增主題 選項。如需相關資訊，請參閱 Apache Kafka。

授權方案 watsonx.data

IBM® watsonx.data 現在提供下列授權方案。

精簡方案
企業方案

如需不同授權方案的相關資訊，請參閱 IBM® watsonx.data 定價方案。

Presto Java 引擎版本升級

這Presto(Java) 引擎現已升級至版本0.285.1。

暫停或繼續 Milvus

您現在可以暫停或恢復 Milvus 服務。暫停服務可以避免產生費用。

Spark 現在可作為原生引擎使用

除了登錄外部 Spark 引擎之外，您現在還可以在 IBM watsonx.data 實例上佈建原生 Spark 引擎。使用原生 Spark 引擎，您可以使用 watsonx.data 使用者介面及 REST API 端點來完全管理「Spark 引擎」配置、管理對「Spark 引擎」的存取權，以及檢視應用程式。如需相關資訊，請參閱佈建原生 Spark 引擎。

使用原生 Spark 引擎汲取資料

您現在可以使用原生 Spark 引擎來提交汲取工作。如需詳細資訊，請參閱使用不同的表格格式。

2024 年 3 月 27 日- 1.1.3 版

新版於 watsonx.data 2024年3月發佈。

此版本包括下列特性及更新項目:

部分資料來源的新資料類型

您現在可以將 BINARY 資料類型與「查詢」工作區中的 SELECT 陳述式搭配使用，以針對下列資料來源的資料建置及執行查詢:

Elasticsearch
SQL Server
MySQL

新的資料類型：MySQL, PostgreSQL, Snowflake, SQL Server，和 Db2 資料來源可使用 BLOB 和 CLOB。這些資料類型只能與「查詢」工作區中的 SELECT 陳述式搭配使用，以針對您的資料建置及執行查詢。

使用「冰山」資料來源的 DELETE FROM 特性來刪除資料

現在，您可以使用 DELETE FROM 特性，從 Iceberg 資料來源中的表格刪除資料。

您可以使用「寫入時複製」模式或「讀取時合併」模式 (預設值) 來指定新表格的表格內容刪除模式。

冰山資料來源的 ALTER VIEW 陳述式

您現在可以在「查詢」工作區中使用下列 SQL 陳述式，針對 ALTER VIEW 的資料建置及執行查詢:

ALTER VIEW 名稱 RENAME TO 新名稱

上傳資料來源 Netezza Performance Server 的 SSL 憑證

您現在可以在 Netezza Performance Server 資料來源中瀏覽並上傳 SSL 連線的 SSL 憑證。 SSL 憑證的有效檔案格式為 .pem、.crt 及 .cer。您可以使用基礎架構管理程式中的新增資料庫-型錄配對選項來上傳 SSL 憑證。

查詢資料自 Db2 及 Watson Query

您現在可以從 Watson Query 實例查詢在 Db2 及虛擬化表格中建立的暱稱。

SSL 連線用於 Data Virtualization Manager for z/OSIBM 資料來源

您現在可以使用「新增資料庫使用者介面」來保護及加密資料庫連線，以啟用 IBM Data Virtualization Manager for z/OS 資料來源的 SSL 連線。選取驗證憑證，以驗證主機傳回的 SSL 憑證是否授信。您可以選擇在 SSL 憑證中提供主機名稱。

使用目錄 Apache Hudi 中的資料

現在您可以連線並使用 Apache Hudi 目錄中的資料。

將 Milvus 作為服務新增至 watsonx.data

現在您可以在 watsonx.data 中將 Milvus 作為服務進行配置，具有以下功能：

佈建不同的儲存體變式 (例如入門範本、中型及大型節點)。
為 Milvus 使用者指派管理員或使用者角色：使用者存取策略現在可供 Milvus 使用者使用。使用存取控制 UI，您可以為 Milvus 使用者指派管理員或使用者角色，也可以授予、撤銷或更新權限。
配置 Milvus 的物件儲存來儲存資料。您可以新增或設定自訂儲存桶並指定使用者名稱、密碼、區域和儲存桶 URL。

如需詳細資訊，請參閱 Milvus.

使用 ibm-lh 汲取工具批次載入資料

您現在可以使用 ibm-lh 汲取工具，以非互動模式 (從 ibm-lh-tools 容器外部) 來執行批次汲取程序，方法是使用 ibm-lh-client 套件。如需相關資訊，請參閱 ibm-lh 指令及用法。

在 Web 主控台中使用大量汲取來建立綱目

現在，如果先前未建立綱目，您可以在 Web 主控台中使用大量汲取程序來建立綱目。

在 Apache Iceberg 表格中使用時間旅行查詢

現在您可以在 Apache Iceberg 資料表快照中使用分支和標記，執行下列時間旅行查詢：

-SELECT *FROM <table name> FOR VERSION AS of 'historical-tag'

-SELECT *FROM <table name> FOR VERSION AS OF 'test-branch'

無需憑證即可存取 Cloud Object Storage 現在您可以使用資料存取服務 (DAS) 端點，在無憑證的情況下存取您的 Cloud Object Storage 資料桶。

2024 年 2 月 28 日- 1.1.2 版

新版於 watsonx.data 2024年2月發佈。

此版本包括下列特性及更新項目:

資料來源的 SSL 連線

您現在可以使用 新增資料庫 使用者介面來保護及加密資料庫連線，以啟用下列資料來源的 SSL 連線:

Db2
PostgreSQL

如需相關資訊，請參閱新增資料庫。

安全汲取工作歷程

現在，使用者只能檢視自己的汲取工作歷程。管理者可以檢視所有使用者的汲取工作歷程。

SQL 加強功能

您現在可以在「查詢」工作區中使用下列 SQL 陳述式，以針對您的資料建置及執行查詢:

Apache Iceberg 資料來源
- CREATE VIEW
- DROP VIEW
MongoDB 資料來源
- 刪除

資料 Teradata 來源新增資料類型 BLOB 與 CLOB

新的資料類型 BLOB 和 CLOB 可用於 Teradata 資料來源。這些資料類型只能與「查詢」工作區中的 SELECT 陳述式搭配使用，以針對您的資料建置及執行查詢。

在資料吸收期間建立新表格

先前，您必須在 watsonx.data 中具有目標表格才能吸收資料。現在，您可以直接從來源資料檔 (以 parquet 或 CSV 格式提供) 使用 資料管理程式中的資料吸收來建立新的表格。您可以使用下列汲取方法來建立表格:

使用 Iceberg 複製載入器來吸收資料。
使用 Spark 來吸收資料。

對直欄執行 ALTER TABLE 作業

使用 Iceberg 資料來源，您現在可以對直欄執行 ALTER TABLE 作業，以進行下列資料類型轉換:

int 至 bigint
浮動至倍精準數
decimal (num1，dec_digits) 至 decimal (num2，dec_digits)，其中 num2>num1。

使用已排序的檔案來提高查詢效能

使用 Apache Iceberg 資料來源，可以產生已排序的檔案，減少查詢結果的延遲時間，並提高 Presto ( Java ) 的效能。在每一個檔案內的寫入處理程序期間，會排序 Iceberg 表格中的資料。

您可以使用 sorted_by 表格內容來配置排序資料的順序。當您建立表格時，請指定排序所涉及的一或多個直欄的陣列。若要停用此特性，請將階段作業內容 sorted_writing_enabled 設為 false。

2024 年 1 月 31 日- 1.1.1 版

新版 watsonx.data 於2024年1月發佈。

此版本包括下列特性及更新項目:

Data Virtualization Manager for z/OS®IBM 連接器

您現在可以使用新的 IBM Data Virtualization Manager for z/OS® 連接器來讀取及寫入 IBM Z®，而無需移動、抄寫或轉換資料。如需相關資訊，請參閱連接至 IBM Data Virtualization Manager(DVM)資料來源。

Teradata 連接器已啟用以支援多重 ALTER TABLE 陳述式

Teradata 連接器現在支援 ALTER TABLE RENAME TO、ALTER TABLE DROP COLUMN 及 ALTER TABLE RENAME COLUMN column_name TO new_column_name 陳述式。

支援時間旅行查詢

冰山連接器Presto(Java）現在支援時間旅行查詢。

內容 format_version 現在顯示現行版本

現在，當您建立 Iceberg 表格時，內容 format_version 會顯示正確的值 (現行版本)。

2023 年 11 月 29 日- 1.1.0 版

新版 watsonx.data 已於 2023 年 11 月發行。

此版本包括下列特性及更新項目:

Presto ( Java ) 大小寫敏感行為

這Presto(Java) 行為從不區分大小寫改為區分大小寫。現在，您可以在資料庫中以原始大小寫格式提供物件名稱。有關更多信息，請參閱區分大小寫的搜尋配置Presto(Java）。

回復特性

您可以使用「回復」特性來回復或 RollForward 至「冰山」表格的任何 Snapshot。

擷取資料定義語言 (DDL) 變更

現在您可以透過使用事件監聽器，在 watsonx.data 擷取並追蹤 DDL 變更。

使用 Spark 汲取資料

您現在可以使用IBM Analytics Engine這是由Apache Spark執行攝取作業watsonx.data。

如需相關資訊，請參閱使用 Spark 來汲取資料。

與 Db2 整合 Netezza Performance Server

您現在可以在 watsonx.data 主控台中登錄 Db2 或 Netezza Performance Server 引擎。

如需相關資訊，請參閱登錄引擎。

新連接器

您現在可以在 watsonx.data 中使用連接器來建立與下列資料庫類型的連線:

Teradata
Delta Lake
Elasticsearch
SingleStoreDB
Snowflake

如需相關資訊，請參閱新增資料庫。

AWS EMR for Spark

您現在可以從 Amazon Web Services Elastic MapReduce (AWS EMR) 執行 Spark 應用程式，以達到 watsonx.data Spark 使用案例:

資料吸收
資料查詢
表格維護

如需相關資訊，請參閱使用 AWS EMR for Spark 使用案例。

2023 年 7 月 7 日- 1.0.0 版

watsonx.data 是結合資料倉儲和資料湖模型元素的新開放式架構。 watsonx.data 上可用的最佳特性和最佳化，使它成為新一代資料分析和自動化的最佳選擇。在第一個版本 (watsonx.data 1.0.0) 中，支援下列特性:

建立、縮放、暫停、恢復和刪除Presto(Java) 查詢引擎
使型錄與引擎產生關聯及解除關聯
探索型錄物件
新增及刪除資料庫型錄配對
更新資料庫認證
新增及刪除儲存區-型錄配對
探索儲存區物件
載入資料
探索資料
查詢資料
查詢歷程