wx-data Comandi e utilizzo

Il comando wx-data contiene inoltre diversi comandi, con i quali è possibile eseguire varie operazioni specifiche di IBM® watsonx.data. Questo argomento elenca i comandi con una breve descrizione delle attività che possono essere eseguite.

Il comando wx-data esegue operazioni quali l'inserimento di dati, la gestione dei motori, dello storage e delle fonti di dati in watsonx.data.

Sintassi:

./cpdctl wx-data [command] [options]

Il comando wx-data supporta i seguenti comandi:

  • ingestion
  • engine
  • bucket
  • database
  • sparkjob
  • tablemaint
  • service
  • component
  • access-control

Come utilizzare il comando wx-data --help (-h)

Per elencare tutti i comandi del plugin wx-data:

./cpdctl wx-data --help

Per ottenere i dettagli di tutte le opzioni e le relative descrizioni per un comando specifico nel plugin wx-data:

./cpdctl wx-data [command] --help

Ad esempio:

./cpdctl wx-data ingestion -h
NAME:
   ingestion - Commands for Ingestion resource.

USAGE:
   cpdctl wx-data ingestion [action]

COMMANDS:
   list     List ingestion jobs.
   create   Create an ingestion job.
   get      Get ingestion job details.

GLOBAL OPTIONS:
      --cpd-config string   Configuration file path
      --cpdconfig string    [Deprecated] Use --cpd-config instead
  -h, --help                Show help
      --profile string      Name of the configuration profile to use
  -q, --quiet               Suppresses verbose messages.
      --raw-output          If set to true, single values in JSON output mode are not surrounded by quotes

Use "cpdctl wx-data ingestion service-command --help" for more information about a command.

Per ottenere i dettagli di tutte le opzioni e gli argomenti disponibili nei comandi di wx-data per eseguire un'operazione:

./cpdctl wx-data [command] [options] --help

Per utilizzare il plugin wx-data per eseguire un'operazione:

./cpdctl wx-data [command] [options]

inserimento

Il comando ingestion viene utilizzato per eseguire diverse operazioni di ingestione in watsonx.data.

Sintassi:

./cpdctl wx-data ingestion [options]

Il comando ingestion supporta inoltre i seguenti comandi:

Comandi supportati per ingestione
Comando Descrizione
./cpdctl wx-data ingestion list Elenca i lavori di ingestione eseguiti nell'istanza watsonx.data.
./cpdctl wx-data ingestion create Creare un lavoro di ingestione nell'istanza watsonx.data.
./cpdctl wx-data ingestion get Ottenere i dettagli di un lavoro di ingestione eseguito nell'istanza watsonx.data.

motore

Il comando engine viene utilizzato per eseguire diverse operazioni relative al motore in watsonx.data.

Sintassi:

./cpdctl wx-data engine [options]

Il comando engine supporta inoltre i seguenti comandi:

Comandi supportati dal motore
Comando Descrizione
./cpdctl wx-data engine list Elenca tutti i motori disponibili nell'istanza di watsonx.data.
./cpdctl wx-data engine create Creare o registrare un motore nell'istanza di watsonx.data.
./cpdctl wx-data engine delete Elimina un motore dall'istanza di watsonx.data.
./cpdctl wx-data engine attach Associare i cataloghi a un motore Presto nell'istanza watsonx.data.
./cpdctl wx-data engine detach Dissocia i cataloghi associati a un motore Presto nell'istanza watsonx.data.

bucket

Il comando bucket viene utilizzato per eseguire diverse operazioni relative alla memorizzazione in watsonx.data.

Sintassi:

./cpdctl wx-data bucket [options]

Il comando bucket supporta inoltre i seguenti comandi:

watsonx.data attiva automaticamente qualsiasi nuovo spazio di archiviazione creato senza richiedere un catalogo associato, eliminando la necessità di attivazione manuale.

Comandi supportati per secchio
Comando Descrizione
./cpdctl wx-data bucket list Elenca tutti gli archivi disponibili nell'istanza di watsonx.data.
./cpdctl wx-data bucket create Registra un archivio nell'istanza di watsonx.data. L'uso di segreti da un caveau esterno ( HashiCorp ) è abilitato con l'opzione create.
./cpdctl wx-data bucket get Ottenere i dettagli di un deposito registrato nell'istanza di watsonx.data.
./cpdctl wx-data bucket delete Eliminare un deposito dall'istanza watsonx.data.
./cpdctl wx-data bucket activate Attivare un bucket di archiviazione in watsonx.data solo sull'istanza IBM Cloud.
./cpdctl wx-data bucket deactivate Disattivare un bucket di archiviazione in watsonx.data solo sull'istanza IBM Cloud. Questa opzione non è supportata dalla versione watsonx.data 2.2.1.
./cpdctl wx-data bucket list-objects Elenca tutti gli oggetti nel bucket.

Limitazioni:

  • Quando si utilizza il list-objects comando, i bucket con un numero elevato di oggetti potrebbero non elencare tutti gli oggetti a causa dei timeout dell'API.
  • Quando si utilizza il --paginated parametro con il list-objects comando, vengono elencati solo gli oggetti di primo livello. Gli oggetti nidificati non vengono espansi per impostazione predefinita.
  • L'elenco degli oggetti utilizzando non list-objects è attualmente supportato nei bucket ADLS e GCS.

database

Il comando database viene utilizzato per eseguire diverse operazioni relative all'origine dei dati in watsonx.data.

Sintassi:

./cpdctl wx-data database [options]

Il comando database supporta inoltre i seguenti comandi:

Comandi supportati per database
Comando Descrizione
./cpdctl wx-data database list Elenca tutte le fonti di dati disponibili nell'istanza di watsonx.data.
./cpdctl wx-data database create Creare o aggiungere un'origine dati nell'istanza di watsonx.data. L'uso di segreti da un caveau esterno ( HashiCorp ) è abilitato con l'opzione create.
./cpdctl wx-data database get Ottiene i dettagli di un'origine dati registrata nell'istanza watsonx.data.
./cpdctl wx-data database delete Elimina un'origine dati dall'istanza di watsonx.data.

scintilla di lavoro

Il comando sparkjob viene utilizzato per eseguire diverse operazioni relative a Spark in watsonx.data versione 2.1.2 e successive.

Sintassi:

./cpdctl wx-data sparkjob [options]

Il comando sparkjob supporta inoltre i seguenti comandi:

Comandi supportati da sparkjob
Comando Descrizione
./cpdctl wx-data sparkjob list Elencare tutte le applicazioni disponibili in un motore Spark.
./cpdctl wx-data sparkjob create Presentare una domanda Spark.
./cpdctl wx-data sparkjob get Ottenere lo stato di un'applicazione Spark.

Per ulteriori informazioni su come presentare l'applicazione Spark utilizzando IBM cpdctl in watsonx.data su IBM Cloud, vedere Presentazione dell'applicazione Spark utilizzando IBM cpdctl.

tabellaint

Il comando tablemaint viene utilizzato per eseguire diverse operazioni di manutenzione delle tabelle Iceberg in watsonx.data.

Questo è ora applicabile solo per Amazon S3 lo storage.

Sintassi:

./cpdctl wx-data tablemaint [options]

Il comando tablemaint supporta i seguenti comandi:

Comandi supportati da tablemaint
Opzioni Descrizione
./cpdctl wx-data tablemaint rollback-to-snapshot Eseguire il rollback o ripristinare la tabella a un ID snapshot specifico.
./cpdctl wx-data tablemaint rollback-to-timestamp Riporta una tabella all'istantanea in un momento specifico.
./cpdctl wx-data tablemaint set-current-snapshot Imposta l'ID dell'istantanea corrente per una tabella.
./cpdctl wx-data tablemaint cherrypick-snapshot Raccoglie le modifiche da un'istantanea allo stato attuale della tabella. Cherry-picking crea una nuova istantanea da un'istantanea esistente senza alterare o rimuovere l'originale.
./cpdctl wx-data tablemaint expire-snapshot Rimuovere le vecchie istantanee e i relativi file non più necessari.
./cpdctl wx-data tablemaint remove-orphan Rimuove i file che non sono referenziati in nessun file di metadati di una tabella Iceberg e che quindi possono essere considerati "orfani".
./cpdctl wx-data tablemaint rewrite-data Riscrive i file di dati.
./cpdctl wx-data tablemaint rewrite-manifests Riscrivere i manifesti per una tabella per ottimizzare la pianificazione delle scansioni.
./cpdctl wx-data tablemaint register-table Crea una tabella.

I seguenti flag sono elencati quando si esegue ogni comando di manutenzione della tabella:

  • Forza: se il valore è impostato su VERO, la query SQL che si sta per eseguire verrà stampata.

  • Debug: se il valore è impostato su TRUE, una copia del file dell'applicazione Spark viene memorizzata sul nostro computer.

Per ulteriori informazioni sull'esecuzione delle operazioni di manutenzione delle tabelle Iceberg utilizzando IBM cpdctl in watsonx.data su IBM Cloud, vedere Manutenzione delle tabelle Spark.

servizio

Il comando service viene utilizzato per eseguire diverse operazioni di manutenzione in watsonx.data.

Sintassi:

./cpdctl wx-data service [options]

Il comando service supporta inoltre i seguenti comandi:

Comandi supportati per servizio
Comando Descrizione
./cpdctl wx-data service list-tables Elenca tutti i nomi delle tabelle dei connettori hive o iceberg nell'istanza watsonx.data.
./cpdctl wx-data service get-qhmm-config Ottenere il nome del bucket abilitato a qhmm nell'istanza di watsonx.data.
./cpdctl wx-data service monitor Per eseguire statistiche e query relative a qhmm nell'istanza di watsonx.data.
./cpdctl wx-data service generate-engine-dump Genera un dump di heap o di thread specifico per l'istanza di Presto worker o coordinator watsonx.data.

componente

Il comando component viene utilizzato per eseguire diverse operazioni di manutenzione in watsonx.data.

Sintassi:

./cpdctl wx-data component [options]

Il comando component supporta inoltre i seguenti comandi:

Comandi supportati per componente
Comando Descrizione
./cpdctl wx-data component get-mds-status Ottenere la configurazione del servizio di metadati (MDS) nell'istanza di watsonx.data.
./cpdctl wx-data component get-ces-status Ottenere lo stato del CES nell'istanza watsonx.data.
./cpdctl wx-data component get-cas-cpg-endpoint Ottenere gli endpoint CPG e CAS nell'istanza watsonx.data.
./cpdctl wx-data component get-hms-status Elenca tutti i meta-depositi HMS nell'istanza watsonx.data.
./cpdctl wx-data component get-console-status Controllare lo stato della console dell'istanza watsonx.data watsonx.data.

controllo degli accessi

Il access-control comando viene utilizzato per gestire le politiche di accesso alle risorse in watsonx.data dalla versione 1.8.33 CPDCTL.

Sintassi:

./cpdctl wx-data access-control [options]

Il comando access-control supporta inoltre i seguenti comandi:

Comandi supportati dal controllo degli accessi
Comando Descrizione
./cpdctl wx-data access-control list-users-groups Ottenere gli utenti e i gruppi che hanno accesso all'istanza watsonx.data.
./cpdctl wx-data access-control list-access Elenca i criteri di accesso alle risorse.
./cpdctl wx-data access-control update-access Aggiornare le politiche di accesso alle risorse.
./cpdctl wx-data access-control revoke-access Revocare i criteri di accesso alle risorse.