Ajout de stockage

Dans IBM® watsonx.data, les données sont stockées soit dans un espace de stockage interne créé lors du provisionnement de l'instance, soit dans un espace de stockage géré en externe. Vous pouvez associer un catalogue à un stockage. Un catalogue définit les schémas et les métadonnées d'un stockage.

Lorsque vous ajoutez votre propre godet de stockage ou source de données, ou que vous interrogez les données de ces sources de données via les moteurs de requête de watsonx.data, des frais de sortie pour l'extraction des données de ces sources peuvent s'appliquer en fonction de votre fournisseur de services. Si vous utilisez des services gérés, consultez la documentation ou le support de votre fournisseur de services pour plus de détails sur ces frais.

Pour réduire les problèmes de temps d'attente, il est recommandé de colocaliser vos compartiments de stockage ou vos bases de données supplémentaires dans la région où l'instance watsonx.data est mise à disposition.

Pour ajouter un espace de stockage, procédez comme suit :

Connectez vous à la console watsonx.data.
Dans le menu de navigation, sélectionnez Gestionnaire d'infrastructure.
Pour définir et connecter un stockage, cliquez sur Ajouter un composant.
Dans la fenêtre Ajouter un composant, sélectionnez un stockage dans la section Stockage et fournissez les détails pour établir la connexion.

Hadoop Le système de fichiers distribués ( HDFS ) n'est pas pris en charge par Milvus.

watsonx.data prend en charge les options de stockage de données suivantes :

IBM Cloud Object Storage
Amazon S3
IBM Storage Ceph
MinIO
système de fichiers distribué Hadoop
Google Cloud Storage
Azure Data Lake Storage
Apache Ozone

Vous pouvez modifier le point de terminaison, la clé d'accès et la clé secrète d'un seau enregistré par l'utilisateur pour un stockage. Cette fonctionnalité n'est disponible que pour les buckets enregistrés par l'utilisateur et ne s'applique pas aux buckets par défaut, à ADLS ou à Google Cloud Storage. Cette fonction peut être utilisée si les nouvelles informations d'identification passent avec succès le test de connexion. Vous devez dissocier le stockage du moteur pour modifier les détails.

Informations importantes

Le nom du compartiment de stockage doit être unique et contenir uniquement les caractères A-Z, a-z, 0-9 et hypen (-).
Vous devez utiliser des données d'identification de service avec le rôle Writer car le schéma est écrit dans le compartiment de stockage. Veillez à choisir le noeud final qui correspond au type d'accès autorisé par le compartiment. Autrement dit, si aucun accès public n'est autorisé (Accès public = Non) au compartiment, choisissez le noeud final Direct.

Informations complémentaires sur le connecteur

Pour Iceberg connecteur :
- Vous pouvez supprimer des données des tables en utilisant DELETE FROM déclaration pour Iceberg connecteur.
- Vous pouvez spécifier la propriété de table delete_mode pour les nouvelles tables en utilisant le mode copie sur écriture ou le mode fusion sur lecture (par défaut).
Pour DELETE FROM déclaration pour Iceberg connecteur :
- Les colonnes filtrées prennent uniquement en charge les opérateurs de comparaison, tels que EQUALS, LESS THAN ou LESS THAN EQUALS.
- Les suppressions ne doivent avoir lieu que sur le dernier instantané.
- Pour les tables V1, le connecteur Iceberg ne peut supprimer des données que dans une ou plusieurs partitions entières. Les colonnes du filtre doivent toutes être des colonnes de partition transformées en identité de la table cible.
Pour CREATE TABLE,Iceberg supports de connecteurs sorted_by propriété de la table.
- Lorsque vous créez la table, spécifiez un tableau d'une ou plusieurs colonnes impliquées.
Pour Iceberg connecteur,ALTER TABLE les opérations sur une colonne prennent en charge les conversions de types de données à partir de :
- INT à BIGINT
- FLOAT à DOUBLE
- DECIMAL(num1, déc_chiffres) à DECIMAL (num2, déc_chiffres), oùnum2>num1.

Limitations

Utilisez des conteneurs et des comptes de stockage distincts pour le stockage ADLS Gen1 et ADLS Gen2 pour une synchronisation complète des métadonnées, y compris des tables. Sinon, un message de SUCCÈS PARTIEL apparaît dans les journaux de synchronisation lorsque la synchronisation est terminée.

Limites des instructions SQL

Pour le connecteur Iceberg, la requête UPDATE avec sous-requête n'est pas prise en charge.
Pour le connecteur Iceberg, la requête UPDATE avec une colonne en majuscules n'est pas prise en charge.
Pour Iceberg,Mémoire et Hive connecteurs,DROP SCHEMA peut faire RESTRICT par défaut.
Pour les catalogues basés sur une base de données, le CREATE SCHEMA,CREATE TABLE,DROP SCHEMA,DROP TABLE,DELETE,DROP VIEW,ALTER TABLE, et ALTER SCHEMA les déclarations ne sont pas disponibles dans le Gestionnaire de données Interface utilisateur.

Limites des types de données

Pour Iceberg connecteur, le nombre maximum de chiffres pouvant être logés dans une colonne de type de données FLOAT et DOUBLE est de 37. Essayer d'insérer quelque chose de plus grand aboutit à une erreur de dépassement décimal.
Lorsque les champs de type de données REAL avoir 6 chiffres ou plus dans la partie décimale, les chiffres étant principalement zéro, les valeurs interrogées sont arrondies. On constate que les arrondis s'effectuent différemment selon la précision des valeurs. Par exemple, un nombre décimal1.654 lorsqu'ils sont arrondis à 3 chiffres après la virgule décimale, ils sont identiques. Un autre exemple est10.890009 et10.89000. On remarque que10.89000 est arrondi à10.89, alors que10.89009 n’est pas arrondi. Il s'agit d'un problème inhérent en raison des limitations de représentation des formats binaires à virgule flottante. Cela peut avoir un impact significatif lorsque l’interrogation implique un tri.

Pour plus d'informations sur le comportement des indicateurs de fonctionnalité dans les cas mixtes, les instructions SQL prises en charge et les matrices de types de données prises en charge, consultez Contenu d'assistance.

API apparentée

Pour plus d'informations sur l'API correspondante, voir