wx-data Comandos y uso

El comando wx-data tiene además diferentes comandos en su interior, mediante los cuales se pueden realizar diversas operaciones específicas de IBM® watsonx.data. Este tema enumera los comandos con una breve descripción de las tareas que se pueden realizar.

El comando wx-data realiza operaciones como la ingesta de datos, la gestión de motores, el almacenamiento y las fuentes de datos en watsonx.data.

Sintaxis:

./cpdctl wx-data [command] [options]

El comando wx-data admite los siguientes comandos :

  • ingestion
  • engine
  • bucket
  • database
  • sparkjob
  • tablemaint
  • service
  • component
  • access-control

Cómo utilizar el comando wx-data --help (-h)

Para listar todos los comandos del plugin wx-data:

./cpdctl wx-data --help

Para obtener detalles de todas las opciones y sus descripciones para un comando específico en wx-data plugin:

./cpdctl wx-data [command] --help

Por ejemplo:

./cpdctl wx-data ingestion -h
NAME:
   ingestion - Commands for Ingestion resource.

USAGE:
   cpdctl wx-data ingestion [action]

COMMANDS:
   list     List ingestion jobs.
   create   Create an ingestion job.
   get      Get ingestion job details.

GLOBAL OPTIONS:
      --cpd-config string   Configuration file path
      --cpdconfig string    [Deprecated] Use --cpd-config instead
  -h, --help                Show help
      --profile string      Name of the configuration profile to use
  -q, --quiet               Suppresses verbose messages.
      --raw-output          If set to true, single values in JSON output mode are not surrounded by quotes

Use "cpdctl wx-data ingestion service-command --help" for more information about a command.

Para obtener los detalles de todas las opciones y argumentos disponibles en los comandos wx-data para ejecutar una operación:

./cpdctl wx-data [command] [options] --help

Para utilizar el plugin wx-data para ejecutar una operación:

./cpdctl wx-data [command] [options]

ingestión

El comando ingestion se utiliza para ejecutar diferentes operaciones de ingestión en watsonx.data.

Sintaxis:

./cpdctl wx-data ingestion [options]

El comando ingestion admite además los siguientes comandos:

Comandos admitidos por ingestión
Mandato Descripción
./cpdctl wx-data ingestion list Lista los trabajos de ingestión ejecutados en la instancia watsonx.data.
./cpdctl wx-data ingestion create Cree un trabajo de ingestión en la instancia watsonx.data.
./cpdctl wx-data ingestion get Obtenga los detalles de un trabajo de ingestión ejecutado en la instancia watsonx.data.

motor

El comando engine se utiliza para ejecutar diferentes operaciones relacionadas con el motor en watsonx.data.

Sintaxis:

./cpdctl wx-data engine [options]

El comando engine admite además los siguientes comandos:

Comandos compatibles por motor
Mandato Descripción
./cpdctl wx-data engine list Lista todos los motores disponibles en la instancia watsonx.data.
./cpdctl wx-data engine create Crear o registrar un motor en la instancia watsonx.data.
./cpdctl wx-data engine delete Borrar un motor de la instancia watsonx.data.
./cpdctl wx-data engine attach Asociar catálogos a un motor Presto en la instancia watsonx.data.
./cpdctl wx-data engine detach Desasociar los catálogos asociados a un motor Presto en la instancia watsonx.data.

grupo

El comando bucket se utiliza para ejecutar diferentes operaciones relacionadas con el almacenamiento en watsonx.data.

Sintaxis:

./cpdctl wx-data bucket [options]

El comando bucket admite además los siguientes comandos:

watsonx.data Activa automáticamente cualquier almacenamiento recién creado sin necesidad de un catálogo asociado, lo que elimina la necesidad de activación manual.

Comandos compatibles por cubo
Mandato Descripción
./cpdctl wx-data bucket list Lista todos los almacenamientos disponibles en la instancia watsonx.data.
./cpdctl wx-data bucket create Registrar un almacenamiento en la instancia watsonx.data. El uso de secretos de una bóveda externa ( HashiCorp ) se habilita con la opción create.
./cpdctl wx-data bucket get Obtenga los detalles de un almacenamiento registrado en la instancia watsonx.data.
./cpdctl wx-data bucket delete Eliminar un almacenamiento de la instancia watsonx.data.
./cpdctl wx-data bucket activate Activar un cubo de almacenamiento en watsonx.data sólo en la instancia IBM Cloud.
./cpdctl wx-data bucket deactivate Desactivar un bucket de almacenamiento en watsonx.data sólo en la instancia IBM Cloud. Esta opción no es compatible con la versión watsonx.data 2.2.1.
./cpdctl wx-data bucket list-objects Enumera todos los objetos del depósito.

Limitaciones:

  • Al utilizar el list-objects comando, es posible que los depósitos con un gran número de objetos no muestren todos los objetos debido a los tiempos de espera de la API.
  • Al utilizar el --paginated parámetro con el list-objects comando, solo se muestran los objetos de nivel superior. Los objetos anidados no se expanden de forma predeterminada.
  • Actualmente, ADLS y GCS no admiten la creación de listas de list-objects objetos mediante.

base de datos

El comando database se utiliza para ejecutar diferentes operaciones relacionadas con la fuente de datos en watsonx.data.

Sintaxis:

./cpdctl wx-data database [options]

El comando database admite además los siguientes comandos:

Comandos admitidos por base de datos
Mandato Descripción
./cpdctl wx-data database list Lista todas las fuentes de datos disponibles en la instancia watsonx.data.
./cpdctl wx-data database create Cree o añada una fuente de datos en la instancia watsonx.data. El uso de secretos de una bóveda externa ( HashiCorp ) se habilita con la opción create.
./cpdctl wx-data database get Obtenga los detalles de una fuente de datos registrada en la instancia watsonx.data.
./cpdctl wx-data database delete Eliminar una fuente de datos de la instancia watsonx.data.

sparkjob

El comando sparkjob se utiliza para ejecutar diferentes operaciones relacionadas con Spark en watsonx.data versión 2.1.2 y posteriores.

Sintaxis:

./cpdctl wx-data sparkjob [options]

El comando sparkjob admite además los siguientes comandos:

Comandos compatibles con sparkjob
Mandato Descripción
./cpdctl wx-data sparkjob list Enumera todas las aplicaciones disponibles en un motor Spark.
./cpdctl wx-data sparkjob create Presentar una solicitud Spark.
./cpdctl wx-data sparkjob get Obtener el estado de una aplicación Spark.

Para obtener más información sobre cómo enviar una aplicación Spark mediante IBM cpdctl en watsonx.data en IBM Cloud, consulte Envío de una aplicación Spark mediante IBM cpdctl.

tablemaint

El comando tablemaint se utiliza para ejecutar diferentes operaciones de mantenimiento de tablas Iceberg en watsonx.data.

Ahora esto solo es aplicable al Amazon S3 almacenamiento.

Sintaxis:

./cpdctl wx-data tablemaint [options]

El comando tablemaint soporta los siguientes comandos:

Comandos compatibles con tablemaint
Opciones Descripción
./cpdctl wx-data tablemaint rollback-to-snapshot Retroceder o restaurar la tabla a un ID de instantánea específico.
./cpdctl wx-data tablemaint rollback-to-timestamp Retroceder una tabla a la instantánea en una fecha y hora específicas.
./cpdctl wx-data tablemaint set-current-snapshot Establece el ID de instantánea actual para una tabla.
./cpdctl wx-data tablemaint cherrypick-snapshot Recoge los cambios de una instantánea en el estado actual de la tabla. Cherry-picking crea una nueva instantánea a partir de una instantánea existente sin alterar ni eliminar la original.
./cpdctl wx-data tablemaint expire-snapshot Elimine las instantáneas antiguas y sus archivos que ya no sean necesarios.
./cpdctl wx-data tablemaint remove-orphan Elimina los archivos a los que no se hace referencia en ningún archivo de metadatos de una tabla Iceberg y que, por tanto, pueden considerarse "huérfanos".
./cpdctl wx-data tablemaint rewrite-data Reescribe los archivos de datos.
./cpdctl wx-data tablemaint rewrite-manifests Reescribir manifiestos de una tabla para optimizar la planificación de la exploración.
./cpdctl wx-data tablemaint register-table Crea una tabla.

Los siguientes indicadores aparecen cuando se ejecuta cada comando de mantenimiento de tablas:

  • Force : Si el valor es TRUE, se imprimirá la consulta SQL que se va a ejecutar.

  • Debug : Si el valor es TRUE, una copia del archivo de la aplicación Spark se almacena en nuestro ordenador.

Para obtener más información sobre cómo realizar operaciones de mantenimiento de tablas Iceberg utilizando IBM cpdctl en watsonx.data en IBM Cloud, consulte Mantenimiento de tablas Spark.

servicio

El comando service se utiliza para ejecutar diferentes operaciones relacionadas con el mantenimiento en watsonx.data.

Sintaxis:

./cpdctl wx-data service [options]

El comando service admite además los siguientes comandos:

Comandos compatibles por servicio
Mandato Descripción
./cpdctl wx-data service list-tables Lista todos los nombres de tabla de los conectores hive o iceberg en la instancia watsonx.data.
./cpdctl wx-data service get-qhmm-config Obtiene el nombre del cubo habilitado para qhmm en la instancia watsonx.data.
./cpdctl wx-data service monitor Para ejecutar consultas relacionadas con estadísticas y qhmm en la instancia watsonx.data.
./cpdctl wx-data service generate-engine-dump Generar un volcado de heap o thread específico para la instancia Presto worker o coordinator watsonx.data.

componente

El comando component se utiliza para ejecutar diferentes operaciones relacionadas con el mantenimiento en watsonx.data.

Sintaxis:

./cpdctl wx-data component [options]

El comando component admite además los siguientes comandos:

Comandos compatibles por componente
Mandato Descripción
./cpdctl wx-data component get-mds-status Obtenga la configuración del Servicio de Metadatos (MDS) en la instancia watsonx.data.
./cpdctl wx-data component get-ces-status Obtenga el estado de CES en la instancia watsonx.data.
./cpdctl wx-data component get-cas-cpg-endpoint Obtenga los puntos finales CPG y CAS en la instancia watsonx.data.
./cpdctl wx-data component get-hms-status Lista todos los metaalmacenes HMS en la instancia watsonx.data.
./cpdctl wx-data component get-console-status Compruebe el estado de la consola de la instancia watsonx.data Instancia watsonx.data.

control-acceso

El access-control comando se utiliza para gestionar las políticas de acceso a los recursos en watsonx.data desde la versión 1.8.33 CPDCTL.

Sintaxis:

./cpdctl wx-data access-control [options]

El comando access-control admite además los siguientes comandos:

Comandos admitidos por access-control
Mandato Descripción
./cpdctl wx-data access-control list-users-groups Obtenga los usuarios y grupos que tienen acceso a la instancia watsonx.data.
./cpdctl wx-data access-control list-access Enumera las políticas de acceso a los recursos.
./cpdctl wx-data access-control update-access Actualizar las políticas de acceso a los recursos.
./cpdctl wx-data access-control revoke-access Revocar políticas de acceso a recursos.