wx-data Befehle und Verwendung

Der Befehl wx-data enthält außerdem verschiedene Befehle, mit denen Sie verschiedene, für IBM® watsonx.data spezifische Operationen durchführen können. In diesem Thema werden die Befehle mit einer kurzen Beschreibung der durchführbaren Aufgaben aufgeführt.

Der Befehl wx-data führt Vorgänge wie das Einlesen von Daten, die Verwaltung von Engines, Speicher und Datenquellen in watsonx.data durch.

Syntax:

./cpdctl wx-data [command] [options]

Der Befehl wx-data unterstützt die folgenden Befehle:

  • ingestion
  • engine
  • bucket
  • database
  • sparkjob
  • tablemaint
  • service
  • component
  • access-control

So verwenden Sie den Befehl wx-data --help (-h)

Zur Auflistung aller Befehle im Plugin wx-data:

./cpdctl wx-data --help

Um Details zu allen Optionen und deren Beschreibungen für einen bestimmten Befehl im wx-data Plugin zu erhalten:

./cpdctl wx-data [command] --help

Zum Beispiel:

./cpdctl wx-data ingestion -h
NAME:
   ingestion - Commands for Ingestion resource.

USAGE:
   cpdctl wx-data ingestion [action]

COMMANDS:
   list     List ingestion jobs.
   create   Create an ingestion job.
   get      Get ingestion job details.

GLOBAL OPTIONS:
      --cpd-config string   Configuration file path
      --cpdconfig string    [Deprecated] Use --cpd-config instead
  -h, --help                Show help
      --profile string      Name of the configuration profile to use
  -q, --quiet               Suppresses verbose messages.
      --raw-output          If set to true, single values in JSON output mode are not surrounded by quotes

Use "cpdctl wx-data ingestion service-command --help" for more information about a command.

Um die Details aller verfügbaren Optionen und Argumente in den wx-data-Befehlen zur Ausführung einer Operation zu erhalten:

./cpdctl wx-data [command] [options] --help

So verwenden Sie das wx-data-Plugin, um eine Operation auszuführen:

./cpdctl wx-data [command] [options]

Aufnahme

Der Befehl ingestion wird für die Ausführung verschiedener Ingestion-Operationen in watsonx.data verwendet.

Syntax:

./cpdctl wx-data ingestion [options]

Der Befehl ingestion unterstützt außerdem die folgenden Befehle:

Unterstützte Befehle durch Ingestion
Befehl Beschreibung
./cpdctl wx-data ingestion list Listet die in der Instanz watsonx.data ausgeführten Ingestion-Jobs auf.
./cpdctl wx-data ingestion create Erstellen Sie einen Ingestion-Job in der Instanz watsonx.data.
./cpdctl wx-data ingestion get Abrufen der Details eines Ingestion-Jobs, der in der Instanz watsonx.data ausgeführt wurde.

Steuerkomponente

Der Befehl engine wird verwendet, um verschiedene motorbezogene Operationen in watsonx.data auszuführen.

Syntax:

./cpdctl wx-data engine [options]

Der Befehl engine unterstützt außerdem die folgenden Befehle:

Unterstützte Befehle nach Motor
Befehl Beschreibung
./cpdctl wx-data engine list Listet alle in der Instanz watsonx.data verfügbaren Motoren auf.
./cpdctl wx-data engine create Erstellen oder registrieren Sie einen Motor in der Instanz watsonx.data.
./cpdctl wx-data engine delete Löschen eines Motors aus der Instanz watsonx.data.
./cpdctl wx-data engine attach Zuordnen von Katalogen zu einer Presto Engine in der watsonx.data Instanz.
./cpdctl wx-data engine detach Trennen Sie die Kataloge, die mit einer Presto Engine in watsonx.data verbunden sind.

Ereignistabellengruppe

Der Befehl bucket wird verwendet, um verschiedene speicherbezogene Operationen in watsonx.data auszuführen.

Syntax:

./cpdctl wx-data bucket [options]

Der Befehl bucket unterstützt außerdem die folgenden Befehle:

watsonx.data aktiviert automatisch jeden neu erstellten Speicher, ohne dass ein zugehöriger Katalog erforderlich ist, wodurch die manuelle Aktivierung entfällt.

Unterstützte Befehle nach Schaufel
Befehl Beschreibung
./cpdctl wx-data bucket list Listet alle in der Instanz watsonx.data verfügbaren Speicherplätze auf.
./cpdctl wx-data bucket create Registrieren Sie einen Speicher in der Instanz watsonx.data. Die Verwendung von Geheimnissen aus einem externen Tresor ( HashiCorp ) wird mit der Option create aktiviert.
./cpdctl wx-data bucket get Abrufen der Details eines registrierten Speichers in der Instanz watsonx.data.
./cpdctl wx-data bucket delete Löschen eines Speichers aus der Instanz watsonx.data.
./cpdctl wx-data bucket activate Aktivieren Sie einen Speicherbereich in watsonx.data nur auf der Instanz IBM Cloud.
./cpdctl wx-data bucket deactivate Deaktivieren Sie einen Speicherbereich in watsonx.data nur auf der Instanz IBM Cloud. Diese Option wird von der Version watsonx.data 2.2.1 nicht unterstützt.
./cpdctl wx-data bucket list-objects Alle Objekte im Bucket auflisten.

Einschränkungen:

  • Bei Verwendung des list-objects Befehls werden bei Buckets mit einer großen Anzahl von Objekten aufgrund von API-Zeitüberschreitungen möglicherweise nicht alle Objekte aufgelistet.
  • Bei Verwendung des --paginated Parameters mit dem list-objects Befehl werden nur Objekte der obersten Ebene aufgelistet. Verschachtelte Objekte werden standardmäßig nicht erweitert.
  • Das Auflisten der Objekte mit list-objects wird derzeit in ADLS- und GCS-Buckets nicht unterstützt.

Datenbank

Der Befehl database wird für die Ausführung verschiedener datenquellenbezogener Operationen in watsonx.data verwendet.

Syntax:

./cpdctl wx-data database [options]

Der Befehl database unterstützt außerdem die folgenden Befehle:

Unterstützte Befehle pro Datenbank
Befehl Beschreibung
./cpdctl wx-data database list Listet alle in der Instanz watsonx.data verfügbaren Datenquellen auf.
./cpdctl wx-data database create Erstellen oder Hinzufügen einer Datenquelle in der Instanz watsonx.data. Die Verwendung von Geheimnissen aus einem externen Tresor ( HashiCorp ) wird mit der Option create aktiviert.
./cpdctl wx-data database get Abrufen der Details einer registrierten Datenquelle in der Instanz watsonx.data.
./cpdctl wx-data database delete Löschen einer Datenquelle aus der Instanz watsonx.data.

Funkenjob

Der Befehl sparkjob wird für die Ausführung verschiedener Spark-bezogener Operationen in watsonx.data Version 2.1.2 und höher verwendet.

Syntax:

./cpdctl wx-data sparkjob [options]

Der Befehl sparkjob unterstützt außerdem die folgenden Befehle:

Unterstützte Befehle von sparkjob
Befehl Beschreibung
./cpdctl wx-data sparkjob list Liste aller in einer Spark-Engine verfügbaren Anwendungen.
./cpdctl wx-data sparkjob create Reichen Sie einen Spark-Antrag ein.
./cpdctl wx-data sparkjob get Abrufen des Status einer Spark-Anwendung.

Weitere Informationen über das Einreichen von Spark-Anwendungen mit IBM cpdctl in watsonx.data auf IBM Cloud finden Sie unter Einreichen von Spark-Anwendungen mit IBM cpdctl.

Tischpflege

Der tablemaint-Befehl wird für die Ausführung verschiedener Iceberg-Tabellenpflegeoperationen in watsonx.data verwendet.

Dies gilt nun nur noch für Amazon S3 die Lagerung.

Syntax:

./cpdctl wx-data tablemaint [options]

Der Befehl tablemaint unterstützt die folgenden Befehle:

Unterstützte Befehle von tablemaint
Optionen Beschreibung
./cpdctl wx-data tablemaint rollback-to-snapshot Rollback oder Wiederherstellung der Tabelle auf eine bestimmte Snapshot-ID.
./cpdctl wx-data tablemaint rollback-to-timestamp Zurücksetzen einer Tabelle auf den Snapshot zu einem bestimmten Zeitpunkt.
./cpdctl wx-data tablemaint set-current-snapshot Legt die aktuelle Snapshot-ID für eine Tabelle fest.
./cpdctl wx-data tablemaint cherrypick-snapshot Übernimmt Änderungen aus einem Snapshot in den aktuellen Tabellenzustand. Beim Cherry-Picking wird aus einem vorhandenen Snapshot ein neuer Snapshot erstellt, ohne das Original zu verändern oder zu entfernen.
./cpdctl wx-data tablemaint expire-snapshot Entfernen Sie ältere Snapshots und deren Dateien, die nicht mehr benötigt werden.
./cpdctl wx-data tablemaint remove-orphan Entfernen Sie Dateien, auf die in keiner Metadaten-Datei einer Iceberg-Tabelle verwiesen wird und die daher als "verwaist" betrachtet werden können.
./cpdctl wx-data tablemaint rewrite-data Schreibt die Datendateien neu.
./cpdctl wx-data tablemaint rewrite-manifests Umschreiben von Manifesten für eine Tabelle zur Optimierung der Scanplanung.
./cpdctl wx-data tablemaint register-table Erzeugt eine Tabelle.

Die folgenden Flags werden aufgelistet, wenn Sie jeden Tabellenpflegebefehl ausführen:

  • Force : Wenn der Wert auf TRUE gesetzt ist, wird die SQL-Abfrage, die Sie ausführen wollen, gedruckt.

  • Debug : Wenn der Wert auf TRUE gesetzt ist, wird eine Kopie der Spark-Anwendungsdatei auf unserem Computer gespeichert.

Weitere Informationen über die Durchführung von Iceberg-Tabellen-Wartungsvorgängen mithilfe von IBM cpdctl in watsonx.data auf IBM Cloud finden Sie unter Wartung von Spark-Tabellen.

Service

Der Befehl service wird für die Ausführung verschiedener Operationen im Zusammenhang mit der Wartbarkeit in watsonx.data verwendet.

Syntax:

./cpdctl wx-data service [options]

Der Befehl service unterstützt außerdem die folgenden Befehle:

Unterstützte Befehle nach Dienst
Befehl Beschreibung
./cpdctl wx-data service list-tables Listet alle Tabellennamen von Hive- oder Iceberg-Konnektoren in der Instanz watsonx.data auf.
./cpdctl wx-data service get-qhmm-config Abrufen des qhmm-aktivierten Bucket-Namens in der Instanz watsonx.data.
./cpdctl wx-data service monitor Zur Ausführung von stats- und qhmm-bezogenen Abfragen in der Instanz watsonx.data.
./cpdctl wx-data service generate-engine-dump Erzeugen eines Heap- oder Thread-Dumps speziell für die Instanz Presto worker oder coordinator watsonx.data.

Komponente

Der Befehl component wird für die Ausführung verschiedener Operationen im Zusammenhang mit der Wartbarkeit in watsonx.data verwendet.

Syntax:

./cpdctl wx-data component [options]

Der Befehl component unterstützt außerdem die folgenden Befehle:

Unterstützte Befehle pro Komponente
Befehl Beschreibung
./cpdctl wx-data component get-mds-status Abrufen der Konfiguration für den Metadatendienst (MDS) in der Instanz watsonx.data.
./cpdctl wx-data component get-ces-status Abrufen des CES-Status in der Instanz watsonx.data.
./cpdctl wx-data component get-cas-cpg-endpoint CPG- und CAS-Endpunkte in der Instanz watsonx.data abrufen.
./cpdctl wx-data component get-hms-status Auflistung aller HMS-Metaspeicher in der Instanz watsonx.data.
./cpdctl wx-data component get-console-status Konsolenstatus der Instanz watsonx.data watsonx.data überprüfen.

zugangskontrolle

Der access-control Befehl wird zur Verwaltung von Zugriffsrichtlinien für Ressourcen in watsonx.data CPDCTL ab Version verwendet 1.8.33.

Syntax:

./cpdctl wx-data access-control [options]

Der Befehl access-control unterstützt außerdem die folgenden Befehle:

Unterstützte Befehle von access-control
Befehl Beschreibung
./cpdctl wx-data access-control list-users-groups Ermittelt Benutzer und Gruppen, die Zugriff auf die Instanz watsonx.data haben.
./cpdctl wx-data access-control list-access Liste der Richtlinien für den Ressourcenzugriff.
./cpdctl wx-data access-control update-access Aktualisieren Sie die Richtlinien für den Ressourcenzugriff.
./cpdctl wx-data access-control revoke-access Ressourcenzugriffsrichtlinien widerrufen.