wx-data Comandos e uso

O comando wx-data também tem diferentes comandos, com os quais você pode executar várias operações específicas para IBM® watsonx.data. Este tópico lista os comandos com uma breve descrição das tarefas que podem ser executadas.

O comando wx-data executa operações como ingestão de dados, gerenciamento de mecanismos, armazenamento e fontes de dados em watsonx.data.

Sintaxe:

./cpdctl wx-data [command] [options]

O comando wx-data oferece suporte aos seguintes comandos:

  • ingestion
  • engine
  • bucket
  • database
  • sparkjob
  • tablemaint
  • service
  • component
  • access-control

Como usar o comando wx-data --help (-h)

Para listar todos os comandos no plug-in wx-data:

./cpdctl wx-data --help

Para obter detalhes de todas as opções e suas descrições para um comando específico no plug-in wx-data:

./cpdctl wx-data [command] --help

Por exemplo:

./cpdctl wx-data ingestion -h
NAME:
   ingestion - Commands for Ingestion resource.

USAGE:
   cpdctl wx-data ingestion [action]

COMMANDS:
   list     List ingestion jobs.
   create   Create an ingestion job.
   get      Get ingestion job details.

GLOBAL OPTIONS:
      --cpd-config string   Configuration file path
      --cpdconfig string    [Deprecated] Use --cpd-config instead
  -h, --help                Show help
      --profile string      Name of the configuration profile to use
  -q, --quiet               Suppresses verbose messages.
      --raw-output          If set to true, single values in JSON output mode are not surrounded by quotes

Use "cpdctl wx-data ingestion service-command --help" for more information about a command.

Para obter os detalhes de todas as opções e argumentos disponíveis nos comandos wx-data para executar uma operação:

./cpdctl wx-data [command] [options] --help

Para usar o plug-in wx-data para executar uma operação:

./cpdctl wx-data [command] [options]

ingestão

O comando ingestion é usado para executar diferentes operações de ingestão em watsonx.data.

Sintaxe:

./cpdctl wx-data ingestion [options]

O comando ingestion também oferece suporte aos seguintes comandos:

Comandos suportados por ingestão
Comando Descrição
./cpdctl wx-data ingestion list Lista os trabalhos de ingestão executados na instância watsonx.data.
./cpdctl wx-data ingestion create Crie um trabalho de ingestão na instância watsonx.data.
./cpdctl wx-data ingestion get Obtenha os detalhes de um trabalho de ingestão executado na instância watsonx.data.

mecanismo

O comando engine é usado para executar diferentes operações relacionadas ao mecanismo em watsonx.data.

Sintaxe:

./cpdctl wx-data engine [options]

O comando engine também oferece suporte aos seguintes comandos:

Comandos suportados pelo mecanismo
Comando Descrição
./cpdctl wx-data engine list Lista todos os mecanismos disponíveis na instância watsonx.data.
./cpdctl wx-data engine create Crie ou registre um mecanismo na instância watsonx.data.
./cpdctl wx-data engine delete Excluir um mecanismo da instância watsonx.data.
./cpdctl wx-data engine attach Associar catálogos a um mecanismo Presto na instância watsonx.data.
./cpdctl wx-data engine detach Desassociar os catálogos associados a um mecanismo Presto na instância watsonx.data.

Depósito

O comando bucket é usado para executar diferentes operações relacionadas ao armazenamento em watsonx.data.

Sintaxe:

./cpdctl wx-data bucket [options]

O comando bucket também oferece suporte aos seguintes comandos:

watsonx.data ativa automaticamente qualquer armazenamento recém-criado sem exigir um catálogo associado, eliminando a necessidade de ativação manual.

Comandos suportados por bucket
Comando Descrição
./cpdctl wx-data bucket list Lista todos os armazenamentos disponíveis na instância watsonx.data.
./cpdctl wx-data bucket create Registre um armazenamento na instância watsonx.data. O uso de segredos de um cofre externo ( HashiCorp ) é ativado com a opção create.
./cpdctl wx-data bucket get Obtenha os detalhes de um armazenamento registrado na instância watsonx.data.
./cpdctl wx-data bucket delete Excluir um armazenamento da instância watsonx.data.
./cpdctl wx-data bucket activate Ative um bucket de armazenamento em watsonx.data somente na instância IBM Cloud.
./cpdctl wx-data bucket deactivate Desativar um bucket de armazenamento em watsonx.data somente na instância IBM Cloud. Essa opção não é compatível com a versão watsonx.data 2.2.1.
./cpdctl wx-data bucket list-objects Listar todos os objetos no bucket.

Limitações:

  • Ao usar o list-objects comando, os buckets com um grande número de objetos podem não listar todos os objetos devido a tempos limite da API.
  • Ao usar o --paginated parâmetro com o list-objects comando, apenas os objetos de nível superior são listados. Os objetos aninhados não são expandidos por padrão.
  • A listagem de objetos usando não list-objects é compatível com os buckets ADLS e GCS no momento.

banco de dados

O comando database é usado para executar diferentes operações relacionadas à fonte de dados em watsonx.data.

Sintaxe:

./cpdctl wx-data database [options]

O comando database também oferece suporte aos seguintes comandos:

Comandos suportados pelo banco de dados
Comando Descrição
./cpdctl wx-data database list Lista todas as fontes de dados disponíveis na instância watsonx.data.
./cpdctl wx-data database create Crie ou adicione uma fonte de dados na instância watsonx.data. O uso de segredos de um cofre externo ( HashiCorp ) é ativado com a opção create.
./cpdctl wx-data database get Obtenha os detalhes de uma fonte de dados registrada na instância watsonx.data.
./cpdctl wx-data database delete Excluir uma fonte de dados da instância watsonx.data.

trabalho de faísca

O comando sparkjob é usado para executar diferentes operações relacionadas ao Spark na versão watsonx.data 2.1.2 e posteriores.

Sintaxe:

./cpdctl wx-data sparkjob [options]

O comando sparkjob também oferece suporte aos seguintes comandos:

Comandos suportados pelo sparkjob
Comando Descrição
./cpdctl wx-data sparkjob list Liste todos os aplicativos disponíveis em um motor Spark.
./cpdctl wx-data sparkjob create Envie um aplicativo Spark.
./cpdctl wx-data sparkjob get Obter o status de um aplicativo Spark.

Para obter mais informações sobre como enviar o aplicativo Spark usando IBM cpdctl em watsonx.data em IBM Cloud, consulte Como enviar o aplicativo Spark usando IBM cpdctl.

manutenção de mesa

O comando tablemaint é usado para executar diferentes operações de manutenção da tabela Iceberg em watsonx.data.

Isso agora se aplica apenas ao Amazon S3 armazenamento.

Sintaxe:

./cpdctl wx-data tablemaint [options]

O comando tablemaint suporta os seguintes comandos:

Comandos suportados pelo tablemaint
Opções Descrição
./cpdctl wx-data tablemaint rollback-to-snapshot Reverter ou restaurar a tabela para um ID de snapshot específico.
./cpdctl wx-data tablemaint rollback-to-timestamp Reverter uma tabela para o instantâneo em um registro de data e hora específico.
./cpdctl wx-data tablemaint set-current-snapshot Define o ID do instantâneo atual para uma tabela.
./cpdctl wx-data tablemaint cherrypick-snapshot Seleciona as alterações de um instantâneo para o estado atual da tabela. O cherry-picking cria um novo snapshot a partir de um snapshot existente sem alterar ou remover o original.
./cpdctl wx-data tablemaint expire-snapshot Remova instantâneos antigos e seus arquivos que não são mais necessários.
./cpdctl wx-data tablemaint remove-orphan Remover arquivos que não são referenciados em nenhum arquivo de metadados de uma tabela Iceberg e que, portanto, podem ser considerados "órfãos".
./cpdctl wx-data tablemaint rewrite-data Reescreve os arquivos de dados.
./cpdctl wx-data tablemaint rewrite-manifests Reescreva manifestos para uma tabela a fim de otimizar o planejamento de varredura.
./cpdctl wx-data tablemaint register-table Cria uma tabela.

Os seguintes sinalizadores são listados quando você executa cada comando de manutenção de tabela:

  • Force : Se o valor for definido como TRUE, a consulta SQL que você vai executar será impressa.

  • Depuração: se o valor for definido como TRUE, uma cópia do arquivo do aplicativo Spark será armazenada em nosso computador.

Para obter mais informações sobre como executar operações de manutenção da tabela Iceberg usando IBM cpdctl em watsonx.data em IBM Cloud, consulte Manutenção da tabela Spark.

serviço

O comando service é usado para executar diferentes operações relacionadas à capacidade de serviço em watsonx.data.

Sintaxe:

./cpdctl wx-data service [options]

O comando service também oferece suporte aos seguintes comandos:

Comandos suportados por serviço
Comando Descrição
./cpdctl wx-data service list-tables Lista todos os nomes de tabelas de conectores hive ou iceberg na instância watsonx.data.
./cpdctl wx-data service get-qhmm-config Obtenha o nome do bucket habilitado para qhmm na instância watsonx.data.
./cpdctl wx-data service monitor Para executar consultas relacionadas a estatísticas e qhmm na instância watsonx.data.
./cpdctl wx-data service generate-engine-dump Gerar heap ou despejo de thread específico para a instância Presto worker ou coordinator watsonx.data.

componente

O comando component é usado para executar diferentes operações relacionadas à capacidade de serviço em watsonx.data.

Sintaxe:

./cpdctl wx-data component [options]

O comando component também oferece suporte aos seguintes comandos:

Comandos suportados por componente
Comando Descrição
./cpdctl wx-data component get-mds-status Obter a configuração do Serviço de Metadados (MDS) na instância watsonx.data.
./cpdctl wx-data component get-ces-status Obter o status do CES na instância watsonx.data.
./cpdctl wx-data component get-cas-cpg-endpoint Obter pontos de extremidade CPG e CAS na instância watsonx.data.
./cpdctl wx-data component get-hms-status Listar todos os meta stores HMS na instância watsonx.data.
./cpdctl wx-data component get-console-status Verifique o status do console da instância watsonx.data watsonx.data instance.

controle de acesso

O access-control comando é usado para gerenciar políticas de acesso a recursos no watsonx.data CPDCTL versão 1.8.33.

Sintaxe:

./cpdctl wx-data access-control [options]

O comando access-control também oferece suporte aos seguintes comandos:

Comandos suportados pelo controle de acesso
Comando Descrição
./cpdctl wx-data access-control list-users-groups Obtenha usuários e grupos que têm acesso à instância watsonx.data.
./cpdctl wx-data access-control list-access Lista de políticas de acesso a recursos.
./cpdctl wx-data access-control update-access Atualizar as políticas de acesso a recursos.
./cpdctl wx-data access-control revoke-access Revogar políticas de acesso a recursos.