启用镜像

CLI 命令示例

ibmcloud resource service-instance-update "Event Streams resource instance name" -p '{"mirroring":{"source_crn":"<source_crn>", "source_alias":"<source_alias>", "target_alias":"<target_alias>"}}'

选择要镜像的主题

服务实例更新完成后，您必须选择将从源集群镜像到目标集群的主题。 使用CLI的“ibmcloud es mirroring-topic-selection-set”命令即可完成此操作。 任何习惯从这些选定主题进行消费的消费者群体，都将从源群映射到目标群。 主题选择的格式为正则表达式模式或此类模式的逗号分隔列表。

以下命令选择要镜像的所有主题:

ibmcloud es mirroring-topic-selection-set --select '.*'

您可以通过列出要镜像的主题来选择主题，如下所示:

ibmcloud es mirroring-topic-selection-set --select topic1,topic2,topic3

有关进行选择的更多信息，请参阅 镜像用户控件。

选择完主题后，目标集群将显示使用镜像用户控件 （后缀为源集群的别名）所选用于镜像的主题。

步骤 3.1: 指定主题和组名称的转换方式

您可以指定转换规则，将数据镜像到目标集群中具有不同名称的主题中。 以下三种情况描述了可能的转变，并解释了每种情况的使用案例。

启用镜像后，您可以随时指定镜像哪些主题或消费者群体，但主题或群体转换只能在启用镜像时进行。 如果镜像功能已经启用，则需要在发出后续启用请求以指定主题或群组转换之前先将其禁用。

场景1：通过删除旧的前缀或后缀并添加新的前缀或后缀来转换主题

配置以下四个附加参数。

| 主题重命名所需的参数 | 说明 | 主题重命名所需的参数 | -- | -- | | remove_prefix | 要从源群集的主题名称中删除的前缀。| | remove_suffix | 要从源群中的主题名称中删除的后缀。| | add_prefix | 要添加到目标群集主题名称中的前缀。| | add_suffix | 要添加到目标群组中主题名称的后缀。|

ibmcloud resource service-instance-update 命令需要通过 -p 命令行参数指定。 当指定这些选项时，只有前缀或后缀匹配的主题才有资格进行镜像。 例如，如果您有一个 remove_prefix 的 app1-，并指定一个主题选择 abc.*，则只有以 app1-abc 开头的主题才会被镜像。

如果您指定了“重命名”类型的转换，但没有指定 add_prefix 或 add_suffix 的参数，则目标集群中的镜像主题将删除这些参数。 在删除任何源前缀或后缀后，以及在添加任何前缀或后缀前，主题模式会应用到主题名称。

请参阅以下 CLI 命令示例：

{
  "mirroring": {
    "source_crn": "crn:v1:...",
    "source_alias": "source",
    "target_alias": "target",
    "options": {
      "topic_name_transform": {
        "type": "rename",
        "rename": {
          "add_prefix": "newprefix-",
          "remove_prefix": "oldprefix-",
          "add_suffix": "-newsuffix",
          "remove_suffix": "-oldsuffix"
        }
      }
    }
  }
}

方案 2：将源别名作为后缀添加到镜像主题中

应用主题名称转换，并将 topic_name_transform 类型设为 use_alias。 使用此配置后，源群集中名为 app1-topic 的主题将被镜像到目标群集中名为 app1-topic.source 的主题，因为配置中指定的源别名是 source。

请参阅以下 CLI 命令示例：

{
  "mirroring": {
    "source_crn": "crn:v1:...",
    "source_alias": "source",
    "target_alias": "target",
    "options": {
        "topic_name_transform": {
            "type": "use_alias"
      }
    }
  }
}

情景 3：主题被镜像，名称保持不变

在这种情况下，您还需要将 topic_name_transform 的类型设置为 none。 使用此配置，源集群中名为 app1-topic 的主题将镜像到目标集群中名为 app1-topic 的主题。

请参阅以下 CLI 命令示例：

{
  "mirroring": {
    "source_crn": "crn:v1:...",
    "source_alias": "source",
    "target_alias": "target",
    "options": {
        "topic_name_transform": {
            "type": "none"
      }
    }
  }
}

步骤 3.2: 转换相应的消费者群体ID

默认情况下，Mirror Maker在镜像到目标集群时不会修改消费者组ID。 然而，Event Streams 允许您修改群组ID的数据，如下面的两种情况所示。 与主题类似，在删除任何源前缀或后缀后，以及在添加任何前缀或后缀前，都会应用组ID模式。 如果您指定了“重命名”类型的转换，但没有指定 add_prefix 或 add_suffix 的参数，则目标集群中的镜像组ID将删除这些参数。

ibmcloud resource service-instance-update 命令需要通过 -p 命令行参数指定。

场景1：通过删除旧的前缀或后缀并添加新的前缀或后缀来转换组ID

配置以下四个附加参数。

| 重命名组 ID 的必要参数 | 说明 | 重命名组 ID 的必要参数 | -- | -- | | remove_prefix | 要从源群集的组 ID 中删除的前缀。| | remove_suffix | 要从源群集中的组 ID 中删除的后缀。| | add_prefix | 要添加到目标群集中组 ID 的前缀。| | add_suffix | 要添加到目标群组 ID 的后缀。|

当指定这些选项时，只有具有匹配前缀或后缀的组ID才有资格进行镜像。 例如，如果您有一个 remove_prefix，aaa 和 add_prefix，bbb，那么源集群中以 aaa-group-id 开头的消费者群组将映射到目标集群中的 bbb-group-id。

请参阅以下 CLI 命令示例：

{
  "group_id_transform": {
    "type": "rename",
    "rename": {
       "add_prefix": "newprefix-",
       "remove_prefix": "oldprefix-",
       "add_suffix": "-newsuffix",
       "remove_suffix": "-oldsuffix"
    }
  }
}

方案 2：消费者组 ID 被镜像，名称不变

在这种情况下，您还需要将 topic_name_transform 的类型设置为 none。 使用此配置，源集群中名为 aaa-group-id 的主题将镜像到目标集群中名为 aaa-group-id 的主题。

请参阅以下 CLI 命令示例：

"group_id_transform": {
  "type": "none"
}

注意事项

在使用镜像同步模式之前，请查看以下注意事项：

1. 在两个注册表之间批量导出/导入模式时，需要一个维护窗口，这个窗口大约需要几个小时或更短时间。
2. 为使主题重命名有效，模式必须使用 Confluent Avro Serdes，这样主题就可以从主题名称中推导出来。 Confluent Avro Serdes，因为与模式相关的主题可以从主题名称中推导出来（例如，主题和主题/记录主题命名策略）。
3. 镜像 S2S 授权必须不间断；禁用 s2s 授权或镜像将阻止转发模式注册表请求。
4. 如果需要转换，则必须在进行任何迁移之前，用主题重命名规则配置目标实例模式注册表。
5. 在迁移完成之前，不能更改重命名规则。 在迁移过程中进行更改会导致注册表之间不一致。

指示信息

以下说明概述了如何使用模式注册表镜像在两个实例之间移动模式。

CLI 中尚未添加导出工具。

ibmcloud resource service-instance-update \
"trgt-instance-name" \
-p '{
"mirroring": {
"source_crn": "<src instance crn>",
"source_alias": "source",
"target_alias": "target",
"schemas": "proxied"
}
}'

主题名称转换

主题名称可在转发过程中进行转换。 例如，有了正确的规则，old-my-topic，new-my-topic。 启用后，源实例只能识别原始名称，而目标实例只能识别新的（转换后的）主题名称。 所有返回的结果都会进行相应的转换。

如果没有提供转换规则，则使用 use_alias，这与 Event Streams 中现有的镜像行为一致。 要在不更改主题名称的情况下转发，请使用 topic_name_transform 键入 none。 转换使用 现有的 CLI 转换字段 进行配置。

移民流

在两个 Event Streams 实例之间迁移时，建议采用以下流程。

1. 启用两个实例之间的镜像，指定 schemas: proxied。
2. 更新应用程序以使用目标模式注册表。
3. 切换到 schemas: read-only，阻止对目标注册表的任何写入。 在进行此更改之前，必须暂时禁用镜像功能。
4. 从源实例导出所有模式。
5. 将从源实例导出的所有模式导入目标实例。 可使用 IBM Cloud® CLI 执行此操作：ibmcloud [...]。
6. 禁用镜像。

导出模式

更多详细信息，请参阅 Confluent 文档。

Event Streams CLI 要求模式导入具有 v1 exportVersion 值。

1. 下载最新的 v2.x.x 源代码，例如 https://github.com/Apicurio/apicurio-registry/archive/refs/tags/2.6.13.Final.zip。

2. 构建导出客户端：mvn -pl utils/exportConfluent -am -DskipTests -Pprod package。

3. 运行输出程序（将输出保存到 confluent-schema-registry-export.zip ）：

   java -jar utils/exportConfluent/target/apicurio-registry-utils-exportConfluent-2.6.13.Final.jar \
   "https://token:<password>@<my-event-streams-instance.com>/confluent" \
   --client-props basic.auth.credentials.source=URL
   

导入模式

可以使用 Event Streams CLI 导入模式。

1. 确保已安装 event-streams[es] 插件：ibmcloud plugin list。

2. 登录 IBM Cloud®: ibmcloud login [...]。

3. 初始化您要导入的 Event Streams 实例：ibmcloud es init.

4. 导入模式：

   ibmcloud es schema-import \
   -f confluent-schema-registry-export.zip