ストレージの追加

IBM® watsonx.dataでは、データはインスタンスのプロビジョニング中に作成される内部ストレージか、外部で管理されるストレージのいずれかに格納されます。 カタログをストレージに関連付けることができる。 カタログは、ストレージのスキーマとメタデータを定義する。

独自のストレージ・バケットやデータ・ソースを追加したり、watsonx.data のクエリ・エンジンを使用してこれらのデータ・ソースのデータをクエリする場合、サービス・プロバイダによっては、これらのソースからデータを引き出すためのイグレス料金が発生することがあります。 マネージド・サービスを使用している場合、これらの料金の詳細については、サービス・プロバイダーの資料またはサポートにお問い合わせください。

待ち時間の問題を減らすために、 watsonx.data インスタンスがプロビジョンされている地域に追加のストレージ・バケットまたはデータベースを配置することをお勧めします。

ストレージを追加するには、以下の手順に従います：

  1. watsonx.data コンソールにログインします。
  2. ナビゲーションメニューから、 インフラストラクチャーマネージャーを選択します。
  3. ストレージを定義して接続するには、コンポーネントを追加をクリックします。
  4. Add component ウィンドウで、 Storage セクションからストレージを選択し、接続を確立するための詳細を入力する。

Hadoop 分散ファイルシステム ( HDFS ) は Milvus ではサポートされていません。

watsonx.data は以下のデータ保存オプションをサポートしている：

重要な情報

  • ストレージ・バケット名は固有でなければならず、文字 A から Z、a から z、0 から 9、およびハイフン (-) のみを使用する必要があります。
  • スキーマはストレージ・バケットに書き込まれるため、 Writer 役割を持つサービス資格情報を使用する必要があります。 バケットで許可されるアクセスのタイプに一致するエンドポイントを必ず選択してください。 つまり、バケットへのパブリック・アクセスが許可されていない (「パブリック・アクセス」 が 「いいえ」) 場合は、 「直接」 エンドポイントを選択します。

コネクタに関する追加情報

  • のために氷山コネクタ：
    • テーブルからデータを削除するには、DELETE FROM 声明文氷山コネクタ。
    • コピーオンライト モードまたはマージオンリード モード (デフォルト) のいずれかを使用して、新しいテーブルのテーブル プロパティ delete_mode を指定できます。
  • のために DELETE FROM 声明文氷山コネクタ：
    • フィルターされた列では、EQUALS、LESS THAN、LESS THAN EQUALS などの比較演算子のみがサポートされます。
    • 削除は最新のスナップショットでのみ実行する必要があります。
    • V1 テーブルの場合、Iceberg コネクタは 1 つ以上のパーティション全体のデータのみを削除できます。 フィルター内の列はすべて、ターゲット テーブルの ID 変換されたパーティション列である必要があります。
  • のために CREATE TABLE、氷山コネクタサポート sorted_by テーブルプロパティ。
    • テーブルを作成するときに、関係する 1 つ以上の列の配列を指定します。
  • のために氷山コネクタ、ALTER TABLE 列に対する操作では、次のデータ型の変換がサポートされます。
    • INT から BIGINT へ
    • FLOAT から DOUBLE へ
    • DECIMAL（num1 、dec_digits）から DECIMAL（num2 、dec_digits）、ここでnum2>num1 。

制限

  • テーブルを含む完全なメタデータの同期には、ADLS Gen1 と ADLS Gen2 ストレージに別々のコンテナーとストレージ アカウントを使用します。 そうでない場合、SYNCが終了すると、PARTIAL SUCCESSメッセージが同期ログに表示されます。

SQL ステートメントの制限

  • Iceberg コネクタでは、UPDATE サブクエリを含むクエリはサポートされていません。
  • Iceberg コネクタでは、大文字と小文字が混在する列を含む UPDATE クエリはサポートされていません。
  • のために氷山、メモリそして Hive コネクタ、DROP SCHEMA できる RESTRICT デフォルトでは。
  • データベースベースのカタログの場合、CREATE SCHEMA 、CREATE TABLE 、DROP SCHEMA 、DROP TABLE 、DELETE 、DROP VIEW 、ALTER TABLE 、 そして ALTER SCHEMA ステートメントは利用できませんデータ管理者UI。

データ型の制限

  • のために氷山コネクタの場合、データ型 FLOAT および DOUBLE の列に格納できる最大桁数は 37 です。 それ以上大きい値を挿入しようとすると、小数点オーバーフロー エラーが発生します。
  • データ型のフィールドが REAL 小数部が 6 桁以上で、そのほとんどがゼロの場合、照会時の値は切り捨てられます。 値の精度に応じて、丸め方が異なることがわかります。 例えば、小数1.654小数点以下3桁に丸めると、同じになります。 もう一つの例は10.890009そして10.89000 。 注目すべきは10.89000四捨五入すると10.89 、 一方10.89009切り捨てられません。 これは、バイナリ浮動小数点形式の表現上の制限による固有の問題です。 クエリに並べ替えが含まれる場合、これは大きな影響を与える可能性があります。

大文字と小文字が混在する機能フラグの動作、サポートされているSQL文、サポートされているデータ型マトリックスの詳細については、以下を参照してください。サポートコンテンツ。

関連API

関連APIについては、こちらをご覧ください