Mantenimiento de tablas Spark mediante IBM cpdctl
Se aplica a: Motor de chispa
Puede realizar operaciones de mantenimiento de tablas Iceberg enviando una aplicación Spark con la ayuda de IBM Cloud Pak for Data Command Line Interface ( IBM cpdctl). La utilidad tablemaint disponible en IBM cpdctl permite enviar,
listar y obtener los detalles de una aplicación Spark.
Antes de empezar
- watsonx.data con el motor Native Spark aprovisionado.
- Descargue e instale IBM cpdctl. Para más información, consulte Instalación de IBM cpdctl.
- Configure el entorno watsonx.data en IBM cpdctl. Para más información, consulte Configurar IBM cpdctl.
Mantenimiento de la mesa
Puedes utilizar los recursos disponibles en la utilidad tablemaint para realizar las siguientes actividades de mantenimiento de tablas.
-
Gestión de instantáneas
- rollback_to_snapshot - Retroceder una tabla a un ID de instantánea específico.
- rollback_to_timestamp - Retroceder la tabla a una instantánea en un día y hora específicos.
- set_current_snapshot - Establece el ID de la instantánea actual de una tabla.
- cherrypick_snapshot - Recoge los cambios de una instantánea en el estado actual de la tabla.
-
Gestión de metadatos
- expire_snapshots - Elimina instantáneas antiguas y sus archivos que ya no son necesarios.
- remove_orphan_files - Se utiliza para eliminar archivos a los que no se hace referencia en ningún archivo de metadatos de una tabla Iceberg.
- rewrite_data_files - Combina archivos pequeños en archivos más grandes para reducir la sobrecarga de metadatos y el coste de apertura de archivos en tiempo de ejecución.
- rewrite_manifests - Reescribe los manifiestos de una tabla para optimizar la planificación del escaneo.
-
Cuadro Migración
- register_table - Crea una entrada de catálogo para un archivo metadata.json que existe pero no tiene un identificador de catálogo correspondiente.
Para más información, consulte la sección Cómo utilizar el comando wx-data --help (-h).