Maintenance des tables Spark en utilisant IBM cpdctl

S'applique à: Moteur à étincelles

Vous pouvez effectuer des opérations de maintenance des tables Iceberg en soumettant une application Spark à l'aide de l'interface de ligne de commande IBM Cloud Pak for Data ( IBM cpdctl). L'utilitaire tablemaint disponible sur IBM cpdctl vous permet de soumettre, de lister et d'obtenir les détails d'une application Spark.

Avant de commencer

  • watsonx.data avec le moteur Native Spark provisionné.
  • Téléchargez et installez IBM cpdctl. Pour plus d'informations, voir Installation de IBM cpdctl.
  • Configurez l'environnement watsonx.data dans IBM cpdctl. Pour plus d'informations, voir Configurer IBM cpdctl.

Entretien des tables

Vous pouvez utiliser les ressources disponibles dans l'utilitaire tablemaint pour effectuer les activités de maintenance des tables suivantes.

  • Gestion des instantanés

    • rollback_to_snapshot - Retourne une table à un identifiant d'instantané spécifique.
    • rollback_to_timestamp - Revenir à un instantané de la table à un jour et une heure spécifiques.
    • set_current_snapshot - Définit l'ID de l'instantané actuel pour une table.
    • cherrypick_snapshot - Sélectionne les modifications d'un instantané dans l'état actuel de la table.
  • Gestion des métadonnées

    • expire_snapshots - Supprime les anciens instantanés et leurs fichiers qui ne sont plus nécessaires.
    • remove_orphan_files - Permet de supprimer les fichiers qui ne sont référencés dans aucun fichier de métadonnées d'une table Iceberg.
    • rewrite_data_files - Combine les petits fichiers en fichiers plus grands afin de réduire la surcharge de métadonnées et le coût d'ouverture des fichiers au moment de l'exécution.
    • rewrite_manifests - Réécrit les manifestes d'une table pour optimiser la planification des analyses.
  • Migration des tables

    • register_table - Crée une entrée de catalogue pour un fichier metadata.json qui existe mais n'a pas d'identifiant de catalogue correspondant.

Pour plus d'informations, voir la section Comment utiliser la commande wx-data --help (-h).