Beispiel für einen CLI-Befehl

ibmcloud resource service-instance-update "Event Streams resource instance name" -p '{"mirroring":{"source_crn":"<source_crn>", "source_alias":"<source_alias>", "target_alias":"<target_alias>"}}'

Wählen Sie die Themen aus, die gespiegelt werden sollen

Wenn die Aktualisierung der Service-Instanz abgeschlossen ist, müssen Sie auswählen, welche Themen vom Quell- auf den Zielcluster gespiegelt werden sollen. Dies geschieht mit dem CLI durch Verwendung des Befehls "ibmcloud es mirroring-topic-selection-set". Alle Verbrauchergruppen, die sich mit diesen ausgewählten Themen befassen, werden von der Quelle bis zum Zielcluster gespiegelt. Die Topicauswahl erfolgt in Form eines Musters mit regulären Ausdrücken oder in Form einer durch Kommas getrennten Liste solcher Muster.

Der folgende Befehl wählt alle zu spiegelnden Themen aus:

ibmcloud es mirroring-topic-selection-set --select '.*'

Sie können Themen auswählen, indem Sie die Themen, die Sie spiegeln möchten, wie folgt auflisten:

ibmcloud es mirroring-topic-selection-set --select topic1,topic2,topic3

Weitere Informationen zur Auswahl finden Sie unter Benutzersteuerelemente spiegeln.

Nach Abschluss der Themenauswahl zeigt der Zielcluster die Themen an, die für die Spiegelung ausgewählt wurden, und zwar mithilfe der Spiegelungssteuerelemente, die mit dem Alias des Quellclusters versehen sind.

Schritt 3.1: Geben Sie an, wie Themen- und Gruppennamen umgewandelt werden

Sie können Transformationsregeln festlegen, die es Ihnen ermöglichen, Daten in Themen mit unterschiedlichen Namen im Zielcluster zu spiegeln. Die folgenden drei Szenarien beschreiben mögliche Transformationen und erläutern die Anwendungsfälle für jedes Szenario.

Sie können jederzeit angeben, welche Themen oder Verbrauchergruppen gespiegelt werden sollen, sobald die Spiegelung aktiviert wurde. Eine Umwandlung von Themen oder Gruppen ist jedoch nur möglich, wenn die Spiegelung aktiviert ist. Wenn die Spiegelung bereits aktiviert ist, muss sie zuerst deaktiviert werden, bevor eine nachfolgende Aktivierungsanforderung gestellt wird, um die Themen- oder Gruppentransformation zu spezifizieren.

Szenario 1: Umwandlung von Themen durch Entfernen des alten Präfixes oder Suffixes und Hinzufügen eines neuen Präfixes oder Suffixes

Konfigurieren Sie die folgenden vier zusätzlichen Parameter.

Der Befehl ibmcloud resource service-instance-update muss über das Befehlszeilenargument -p angegeben werden. Wenn diese Optionen angegeben werden, kommen nur Themen mit den entsprechenden Präfixen oder Suffixen für die Spiegelung in Frage. Wenn Sie beispielsweise eine remove_prefix von app1- haben und eine Themenauswahl von abc.* angeben, werden nur Themen gespiegelt, die mit app1-abc beginnen.

Wenn Sie die Umwandlung vom Typ "Umbenennen" angeben und weder die Parameter für add_prefix noch für add_suffix angeben, werden diese Parameter aus dem gespiegelten Thema im Zielcluster entfernt. Themenmuster werden auf den Themennamen angewendet, nachdem ein Quellenpräfix oder -suffix entfernt wurde und bevor ein Präfix oder Suffix hinzugefügt wurde.

Siehe das folgende CLI-Befehlsbeispiel:

{
  "mirroring": {
    "source_crn": "crn:v1:...",
    "source_alias": "source",
    "target_alias": "target",
    "options": {
      "topic_name_transform": {
        "type": "rename",
        "rename": {
          "add_prefix": "newprefix-",
          "remove_prefix": "oldprefix-",
          "add_suffix": "-newsuffix",
          "remove_suffix": "-oldsuffix"
        }
      }
    }
  }
}

Szenario 2: Hinzufügen des Quell-Alias als Suffix zu gespiegelten Themen

Wenden Sie eine Themennamensumwandlung an, bei der der topic_name_transform-Typ auf use_alias gesetzt ist. Mit dieser Konfiguration wird ein Thema mit dem Namen app1-topic im Quellcluster in ein Thema mit dem Namen app1-topic.source im Zielcluster gespiegelt, da der in der Konfiguration angegebene Quellalias source ist.

Siehe das folgende CLI-Befehlsbeispiel:

{
  "mirroring": {
    "source_crn": "crn:v1:...",
    "source_alias": "source",
    "target_alias": "target",
    "options": {
        "topic_name_transform": {
            "type": "use_alias"
      }
    }
  }
}

Szenario 3: Themen werden mit unveränderten Namen gespiegelt

In diesem Szenario wenden Sie auch die topic_name_transform mit dem Typ none an. Mit dieser Konfiguration wird ein Thema namens app1-topic im Quellcluster auf ein Thema namens app1-topic im Zielcluster gespiegelt.

Siehe das folgende CLI-Befehlsbeispiel:

{
  "mirroring": {
    "source_crn": "crn:v1:...",
    "source_alias": "source",
    "target_alias": "target",
    "options": {
        "topic_name_transform": {
            "type": "none"
      }
    }
  }
}

Schritt 3.2: Umwandlung entsprechender IDs von Verbrauchergruppen

Standardmäßig ändert Mirror Maker die IDs der Verbrauchergruppen beim Spiegeln auf den Zielcluster nicht. Allerdings können Sie mit Event Streams die Daten von Gruppen-IDs ändern, wie in den folgenden beiden Szenarien beschrieben. Ähnlich wie bei Themen werden Gruppen-ID-Muster nach dem Entfernen von Quellpräfixen oder -suffixen und vor dem Hinzufügen von Präfixen oder Suffixen angewendet. Wenn Sie die Umwandlung vom Typ "Umbenennen" angeben und weder die Parameter für add_prefix noch für add_suffix angeben, werden diese Parameter aus der gespiegelten Gruppen-ID im Zielcluster entfernt.

Der Befehl ibmcloud resource service-instance-update muss über das Befehlszeilenargument -p angegeben werden.

Szenario 1: Gruppen-ID transformieren, indem das alte Präfix oder Suffix entfernt und ein neues Präfix oder Suffix hinzugefügt wird

Konfigurieren Sie die folgenden vier zusätzlichen Parameter.

Wenn diese Optionen angegeben sind, sind nur Gruppen-IDs mit den übereinstimmenden Präfixen oder Suffixen für die Spiegelung zulässig. Wenn Sie beispielsweise eine remove_prefix von aaa und add_prefix von bbb haben, werden Verbrauchergruppen, die mit aaa-group-id im Quellcluster beginnen, auf bbb-group-id im Zielcluster gespiegelt.

Siehe das folgende CLI-Befehlsbeispiel:

{
  "group_id_transform": {
    "type": "rename",
    "rename": {
       "add_prefix": "newprefix-",
       "remove_prefix": "oldprefix-",
       "add_suffix": "-newsuffix",
       "remove_suffix": "-oldsuffix"
    }
  }
}

Szenario 2: Die IDs der Verbrauchergruppen werden gespiegelt, ihre Namen bleiben unverändert

In diesem Szenario wenden Sie auch die topic_name_transform mit dem Typ none an. Mit dieser Konfiguration wird ein Thema namens aaa-group-id im Quellcluster auf ein Thema namens aaa-group-id im Zielcluster gespiegelt.

Siehe das folgende CLI-Befehlsbeispiel:

"group_id_transform": {
  "type": "none"
}

Vorsichtsmaßnahmen

Bevor Sie Schemata mithilfe der Spiegelung synchronisieren, sollten Sie die folgenden Vorsichtsmaßnahmen beachten:

1. Für den Export/Import von Schemata zwischen den beiden Registern ist ein Wartungsfenster erforderlich, das einige Stunden oder weniger betragen kann.
2. Damit die Umbenennung von Themen funktioniert, müssen Schemata Confluent Avro Serdes verwenden, damit der Betreff aus dem Themennamen abgeleitet werden kann. Confluent Avro Serdes, weil das einem Schema zugeordnete Thema aus dem Namen des Themas abgeleitet werden kann (z. B. bei Strategien zur Benennung von Themen und Themen/Datensätzen).
3. Die Spiegelung der S2S Autorisierung muss ohne Unterbrechung erfolgen; die Deaktivierung der s2s Autorisierung oder Spiegelung verhindert die Weiterleitung von Schema-Registrierungsanfragen.
4. Wenn eine Transformation erforderlich ist, muss die Schemaregistrierung der Zielinstanz mit Regeln für die Umbenennung von Themen konfiguriert werden, bevor eine Migration stattfindet.
5. Die Umbenennungsregeln können erst nach Abschluss der Migration geändert werden. Wenn Sie während der Migration Änderungen vornehmen, kommt es zu Inkonsistenzen zwischen den Registern.

Anweisungen

In den folgenden Anweisungen wird beschrieben, wie Sie die Schemaspiegelung verwenden können, um Schemata zwischen zwei Instanzen zu verschieben.

Die CLI wurde noch nicht um ein Exportprogramm erweitert.

ibmcloud resource service-instance-update \
"trgt-instance-name" \
-p '{
"mirroring": {
"source_crn": "<src instance crn>",
"source_alias": "source",
"target_alias": "target",
"schemas": "proxied"
}
}'

Thema Namensänderung

Themennamen können bei der Weiterleitung umgewandelt werden. Mit den richtigen Regeln könnte zum Beispiel aus old-my-topic new-my-topic werden. Wenn diese Option aktiviert ist, erkennt die Quellinstanz nur den ursprünglichen Namen, während die Zielinstanz nur den neuen (umgewandelten) Themennamen erkennt. Alle zurückgegebenen Ergebnisse werden entsprechend umgewandelt.

Wenn keine Transformationsregeln angegeben werden, wird use_alias verwendet, was dem bestehenden Spiegelungsverhalten in Event Streams entspricht. Um weiterzuleiten, ohne die Themennamen zu ändern, verwenden Sie topic_name_transform Typ none. Die Umwandlung wird mithilfe der vorhandenen CLI-Umwandlungsfelder konfiguriert.

Migrationsfluss

Bei der Migration zwischen zwei Event Streams Instanzen wird der folgende Ablauf vorgeschlagen.

1. Aktivieren Sie die Spiegelung zwischen zwei Instanzen, indem Sie schemas: proxied angeben.
2. Aktualisieren Sie Ihre Anwendungen, um die Zielschemaregistrierung zu verwenden.
3. Blockieren Sie alle Schreibvorgänge in der Zielregistrierung, indem Sie zu schemas: read-only wechseln. Bevor Sie diese Änderung vornehmen, muss die Spiegelung vorübergehend deaktiviert werden.
4. Exportieren Sie alle Schemata aus der Quellinstanz.
5. Importieren aller aus der Quellinstanz exportierten Schemata in die Zielinstanz. Dies kann über die IBM Cloud® CLI erfolgen: ibmcloud [...].
6. Deaktivieren Sie die Spiegelung.

Schemata exportieren

Ausführlichere Informationen finden Sie in der Dokumentation Confluent.

Die Event Streams CLI erfordert, dass Schemaimporte einen v1 exportVersion Wert haben.

1. Laden Sie den neuesten Quellcode von v2.x.x herunter, zum Beispiel https://github.com/Apicurio/apicurio-registry/archive/refs/tags/2.6.13.Final.zip.

2. Erstellen Sie den Export-Client: mvn -pl utils/exportConfluent -am -DskipTests -Pprod package.

3. Führen Sie den Exporter aus (speichert die Ausgabe unter confluent-schema-registry-export.zip ):

   java -jar utils/exportConfluent/target/apicurio-registry-utils-exportConfluent-2.6.13.Final.jar \
   "https://token:<password>@<my-event-streams-instance.com>/confluent" \
   --client-props basic.auth.credentials.source=URL
   

Schemata importieren

Schemas können über die Event Streams CLI importiert werden.

1. Stellen Sie sicher, dass Sie das Plugin event-streams[es] installiert haben: ibmcloud plugin list.

2. Melden Sie sich an bei IBM Cloud®: ibmcloud login [...].

3. Initialisieren Sie die Instanz Event Streams, in die Sie importieren möchten: ibmcloud es init.

4. Importieren Sie das Schema:

   ibmcloud es schema-import \
   -f confluent-schema-registry-export.zip