Spark-Tabellenpflege mit IBM cpdctl

Gilt für: Funkenmotor

Sie können Iceberg-Tabellen-Wartungsoperationen durchführen, indem Sie eine Spark-Anwendung mit Hilfe von IBM Cloud Pak for Data Command Line Interface ( IBM cpdctl) einreichen. Mit dem Dienstprogramm tablemaint, das unter IBM verfügbar ist, können Sie die Details einer Spark-Anwendung übermitteln, auflisten und abrufen.

Vorbereitende Schritte

  • watsonx.data instanz mit bereitgestellter Native Spark-Engine.
  • Laden Sie IBM cpdctl herunter und installieren Sie es. Informationen dazu finden Sie unter IBM cpdctl installieren.
  • Konfigurieren Sie die Umgebung watsonx.data in IBM cpdctl. Informationen dazu finden Sie unter IBM cpdctl konfigurieren.

Wartung der Tabelle

Sie können die im Dienstprogramm tablemaint verfügbaren Ressourcen verwenden, um die folgenden Tabellenpflegeaktivitäten durchzuführen.

  • Snapshot-Management

    • rollback_to_snapshot - Rollback einer Tabelle auf eine bestimmte Snapshot-ID.
    • rollback_to_timestamp - Rollback der Tabelle auf einen Snapshot zu einem bestimmten Tag und einer bestimmten Uhrzeit.
    • set_current_snapshot - Setzt die aktuelle Snapshot-ID für eine Tabelle.
    • cherrypick_snapshot - Übernimmt Änderungen aus einem Snapshot in den aktuellen Tabellenzustand.

  • Metadatenverwaltung

    • expire_snapshots - Entfernen Sie ältere Snapshots und deren Dateien, die nicht mehr benötigt werden.
    • remove_orphan_files - Dient zum Entfernen von Dateien, auf die in keiner Metadaten-Datei einer Iceberg-Tabelle verwiesen wird.
    • rewrite_data_files - Kombiniert kleine Dateien zu größeren Dateien, um den Metadaten-Overhead und die Kosten für das Öffnen von Dateien zur Laufzeit zu reduzieren.
    • rewrite_manifests - Umschreiben von Manifesten für eine Tabelle zur Optimierung der Suchplanung.

  • Tabelle Migration

    • register_table - Erstellt einen Katalogeintrag für eine metadata.json Datei, die zwar existiert, aber keinen entsprechenden Katalogbezeichner hat.

Weitere Informationen finden Sie im Abschnitt Verwendung des Befehls wx-data --help (-h).