Übermittlung von Spark-Aufträgen zur Konvertierung von MoR zu CoW

Gilt für: Funkenmotor Gluten beschleunigter Funkenmotor

In diesem Thema wird beschrieben, wie man einen Spark-Job ausführt, der dabei hilft, Iceberg-Tabellendaten vom Merge-on-Read-Format ( MoR ) in das Copy-on-Write-Format ( CoW ) zu synchronisieren. Lesevorgänge sind mit Iceberg Copy-On-Write-Tabellen effizienter.

Sie können eine der folgenden Methoden für die Konvertierung verwenden:

• COW-Tabelle registrieren: Bei diesem Ansatz wird mithilfe der Iceberg Register_table API ein benannter Verweis für die Tabelle MoR erstellt, der auf eine komprimierte konsistente Version der Tabelle MoR verweist und als Tabelle CoW dient. Diese Methode wird empfohlen und ist kostengünstiger.
• Change Data Capture(CDC): Bei diesem Ansatz werden zwei Kopien der Tabelle verwaltet. Eine ist die Tabelle MoR, in der die Aktualisierungen vorgenommen werden, und die zweite ist eine Tabelle CoW, die als Spiegelung der Tabelle MoR dient. Der Spark-Job ruft die Änderungen aus der Tabelle MoR zwischen dem letzten synchronisierten Snapshot und dem letzten Snapshot mithilfe des CDC-Verfahrens von Iceberg ab und führt sie in der Tabelle CoW zusammen. Dieser Ansatz ist kostspieliger als der Ansatz der Registertabelle, da er ein Replikat der Tabelle MoR verwaltet.

{
    "application_details": {
        "application": "/opt/ibm/spark/builtin-apps/iceberg/iceberg-apps.jar",
        "class": "com.ibm.iceberg.apps.RegisterCowTable",
        "arguments": [
            "--catalog","<catalog-name>",
            "--database","<database-name>",
            "--mor-table","<mor-table-name>",
            "--cow-table","<cow-table-name>"
        ],
        "conf": {
            "spark.hadoop.wxd.apikey" : "Basic <encoded-api-key>"
        },
    }
}

{
    "application_details": {
        "application": "/opt/ibm/spark/builtin-apps/iceberg/iceberg-apps.jar",
        "class": "com.ibm.iceberg.apps.CDCSync",
        "arguments": [
            "--catalog","<catalog-name>",
            "--database","<database-name>",
            "--mor-table","<mor-table-name>",
            "--cow-table","<cow-table-name>",
            "--primary-key","<primary-key>"
        ],
        "conf": {
            "spark.hadoop.wxd.apikey" : "Basic <encoded-api-key>",
        }
    }
}