wx-data Commandes et utilisation

La commande wx-data contient également différentes commandes qui vous permettent d'effectuer diverses opérations spécifiques à IBM® watsonx.data. Cette rubrique énumère les commandes et décrit brièvement les tâches qui peuvent être effectuées.

La commande wx-data effectue des opérations telles que l'ingestion de données, la gestion des moteurs, du stockage et des sources de données dans watsonx.data.

Syntaxe :

./cpdctl wx-data [command] [options]

La commande wx-data prend en charge les commandes suivantes :

  • ingestion
  • engine
  • bucket
  • database
  • sparkjob
  • tablemaint
  • service
  • component
  • access-control

Comment utiliser la commande wx-data --help (-h)

Pour lister toutes les commandes du plugin wx-data:

./cpdctl wx-data --help

Pour obtenir les détails de toutes les options et leurs descriptions pour une commande spécifique dans le plugin wx-data:

./cpdctl wx-data [command] --help

Exemple :

./cpdctl wx-data ingestion -h
NAME:
   ingestion - Commands for Ingestion resource.

USAGE:
   cpdctl wx-data ingestion [action]

COMMANDS:
   list     List ingestion jobs.
   create   Create an ingestion job.
   get      Get ingestion job details.

GLOBAL OPTIONS:
      --cpd-config string   Configuration file path
      --cpdconfig string    [Deprecated] Use --cpd-config instead
  -h, --help                Show help
      --profile string      Name of the configuration profile to use
  -q, --quiet               Suppresses verbose messages.
      --raw-output          If set to true, single values in JSON output mode are not surrounded by quotes

Use "cpdctl wx-data ingestion service-command --help" for more information about a command.

Pour obtenir les détails de toutes les options et arguments disponibles dans les commandes wx-data pour exécuter une opération :

./cpdctl wx-data [command] [options] --help

Utiliser le plugin wx-data pour exécuter une opération :

./cpdctl wx-data [command] [options]

ingestion

La commande ingestion est utilisée pour exécuter différentes opérations d'ingestion dans watsonx.data.

Syntaxe :

./cpdctl wx-data ingestion [options]

La commande ingestion prend également en charge les commandes suivantes :

Commandes prises en charge par ingestion
Commande Description
./cpdctl wx-data ingestion list Liste les travaux d'ingestion exécutés dans l'instance watsonx.data.
./cpdctl wx-data ingestion create Créer une tâche d'ingestion dans l'instance watsonx.data.
./cpdctl wx-data ingestion get Obtenir les détails d'un travail d'ingestion exécuté dans l'instance watsonx.data.

moteur

La commande engine est utilisée pour exécuter différentes opérations liées au moteur dans watsonx.data.

Syntaxe :

./cpdctl wx-data engine [options]

La commande engine prend également en charge les commandes suivantes :

Commandes prises en charge par le moteur
Commande Description
./cpdctl wx-data engine list Liste tous les moteurs disponibles dans l'instance watsonx.data.
./cpdctl wx-data engine create Créer ou enregistrer un moteur dans l'instance watsonx.data.
./cpdctl wx-data engine delete Supprimer un moteur de l'instance watsonx.data.
./cpdctl wx-data engine attach Associer des catalogues à un moteur Presto dans l'instance watsonx.data.
./cpdctl wx-data engine detach Dissocier les catalogues associés à un moteur Presto dans l'instance watsonx.data.

compartiment

La commande bucket est utilisée pour exécuter différentes opérations liées au stockage dans watsonx.data.

Syntaxe :

./cpdctl wx-data bucket [options]

La commande bucket prend également en charge les commandes suivantes :

watsonx.data active automatiquement tout nouveau stockage créé sans nécessiter de catalogue associé, éliminant ainsi le besoin d'une activation manuelle.

Commandes prises en charge par le seau
Commande Description
./cpdctl wx-data bucket list Liste tous les espaces de stockage disponibles dans l'instance watsonx.data.
./cpdctl wx-data bucket create Enregistrer un stockage dans l'instance watsonx.data. L'utilisation de secrets provenant d'un coffre-fort externe ( HashiCorp ) est activée avec l'option create.
./cpdctl wx-data bucket get Obtenir les détails d'une instance de stockage enregistrée sur watsonx.data.
./cpdctl wx-data bucket delete Supprimer un stockage de l'instance watsonx.data.
./cpdctl wx-data bucket activate Activer un panier de stockage dans watsonx.data sur l'instance IBM Cloud uniquement.
./cpdctl wx-data bucket deactivate Désactiver un panier de stockage dans watsonx.data sur l'instance IBM Cloud uniquement. Cette option n'est pas prise en charge à partir de la version watsonx.data 2.2.1.
./cpdctl wx-data bucket list-objects Répertoriez tous les objets dans le compartiment.

Limites :

  • Lorsque vous utilisez la list-objects commande, les compartiments contenant un grand nombre d'objets peuvent ne pas répertorier tous les objets en raison des délais d'expiration de l'API.
  • Lorsque vous utilisez le --paginated paramètre avec la list-objects commande, seuls les objets de niveau supérieur sont répertoriés. Les objets imbriqués ne sont pas développés par défaut.
  • La liste des objets à l'aide de list-objects n'est actuellement pas prise en charge dans les compartiments ADLS et GCS.

base de données

La commande database est utilisée pour exécuter différentes opérations liées à la source de données dans watsonx.data.

Syntaxe :

./cpdctl wx-data database [options]

La commande database prend également en charge les commandes suivantes :

Commandes prises en charge par la base de données
Commande Description
./cpdctl wx-data database list Liste toutes les sources de données disponibles dans l'instance watsonx.data.
./cpdctl wx-data database create Créer ou ajouter une source de données dans l'instance watsonx.data. L'utilisation de secrets provenant d'un coffre-fort externe ( HashiCorp ) est activée avec l'option create.
./cpdctl wx-data database get Obtenir les détails d'une source de données enregistrée dans l'instance watsonx.data.
./cpdctl wx-data database delete Supprimer une source de données de l'instance watsonx.data.

emploi d'étincelle

La commande sparkjob est utilisée pour exécuter différentes opérations liées à Spark dans la version watsonx.data 2.1.2 et suivantes.

Syntaxe :

./cpdctl wx-data sparkjob [options]

La commande sparkjob prend également en charge les commandes suivantes :

Commandes prises en charge par sparkjob
Commande Description
./cpdctl wx-data sparkjob list Dressez la liste de toutes les applications disponibles dans un moteur à étincelles.
./cpdctl wx-data sparkjob create Soumettre une candidature Spark.
./cpdctl wx-data sparkjob get Obtenir l'état d'une application Spark.

Pour plus d'informations sur la façon de soumettre une application Spark en utilisant IBM cpdctl dans watsonx.data sur IBM Cloud, voir Soumettre une application Spark en utilisant IBM cpdctl.

tablemaint

La commande tablemaint est utilisée pour exécuter différentes opérations de maintenance des tables Iceberg dans watsonx.data.

Cela ne s'applique désormais qu'au Amazon S3 stockage.

Syntaxe :

./cpdctl wx-data tablemaint [options]

La commande tablemaint prend en charge les commandes suivantes :

Commandes prises en charge par tablemaint
Options Description
./cpdctl wx-data tablemaint rollback-to-snapshot Revenir en arrière ou restaurer la table à partir d'un ID d'instantané spécifique.
./cpdctl wx-data tablemaint rollback-to-timestamp Revenir à l'instantané d'une table à un moment précis.
./cpdctl wx-data tablemaint set-current-snapshot Définit l'ID de l'instantané actuel pour une table.
./cpdctl wx-data tablemaint cherrypick-snapshot Il sélectionne les changements à partir d'un instantané dans l'état actuel de la table. Le "cherry-picking" crée un nouvel instantané à partir d'un instantané existant sans modifier ou supprimer l'original.
./cpdctl wx-data tablemaint expire-snapshot Supprimez les anciens instantanés et leurs fichiers qui ne sont plus nécessaires.
./cpdctl wx-data tablemaint remove-orphan Supprimer les fichiers qui ne sont référencés dans aucun fichier de métadonnées d'une table Iceberg et qui peuvent donc être considérés comme "orphelins".
./cpdctl wx-data tablemaint rewrite-data Réécrit les fichiers de données.
./cpdctl wx-data tablemaint rewrite-manifests Réécrire les manifestes pour une table afin d'optimiser la planification du balayage.
./cpdctl wx-data tablemaint register-table Crée une table.

Les indicateurs suivants sont répertoriés lorsque vous exécutez chaque commande de maintenance des tables :

  • Force : Si la valeur est fixée à VRAI, la requête SQL que vous allez exécuter sera imprimée.

  • Debug : Si la valeur est fixée à TRUE, une copie du fichier de l'application Spark est stockée sur notre ordinateur.

Pour plus d'informations sur les opérations de maintenance des tables Iceberg en utilisant IBM cpdctl dans watsonx.data sur IBM Cloud, voir Spark table maintenance.

Service

La commande service est utilisée pour exécuter différentes opérations liées à l'aptitude au service dans watsonx.data.

Syntaxe :

./cpdctl wx-data service [options]

La commande service prend également en charge les commandes suivantes :

Commandes prises en charge par service
Commande Description
./cpdctl wx-data service list-tables Liste tous les noms de tables des connecteurs de ruche ou d'iceberg dans l'instance watsonx.data.
./cpdctl wx-data service get-qhmm-config Obtenir le nom du seau activé par qhmm dans l'instance watsonx.data.
./cpdctl wx-data service monitor Pour exécuter des requêtes liées aux statistiques et à qhmm dans l'instance watsonx.data.
./cpdctl wx-data service generate-engine-dump Générer un vidage du tas ou des threads spécifique à l'instance du travailleur ou du coordinateur Presto watsonx.data.

composant

La commande component est utilisée pour exécuter différentes opérations liées à l'aptitude au service dans watsonx.data.

Syntaxe :

./cpdctl wx-data component [options]

La commande component prend également en charge les commandes suivantes :

Commandes prises en charge par le composant
Commande Description
./cpdctl wx-data component get-mds-status Obtenir la configuration du service de métadonnées (MDS) dans l'instance watsonx.data.
./cpdctl wx-data component get-ces-status Obtenir l'état du CES dans l'instance watsonx.data.
./cpdctl wx-data component get-cas-cpg-endpoint Obtenir les points d'extrémité CPG et CAS dans l'instance watsonx.data.
./cpdctl wx-data component get-hms-status Liste de tous les méta-magasins HMS dans l'instance watsonx.data.
./cpdctl wx-data component get-console-status Vérifier l'état de la console de l'instance watsonx.data watsonx.data.

access-control

La access-control commande est utilisée pour gérer les politiques d'accès aux ressources dans watsonx.data à partir de la version 1.8.33 CPDCTL.

Syntaxe :

./cpdctl wx-data access-control [options]

La commande access-control prend également en charge les commandes suivantes :

Commandes prises en charge par le contrôle d'accès
Commande Description
./cpdctl wx-data access-control list-users-groups Obtenir les utilisateurs et les groupes qui ont accès à l'instance watsonx.data.
./cpdctl wx-data access-control list-access Liste des politiques d'accès aux ressources.
./cpdctl wx-data access-control update-access Mettre à jour les politiques d'accès aux ressources.
./cpdctl wx-data access-control revoke-access Révoquer les politiques d'accès aux ressources.