CLI 명령 예제

ibmcloud resource service-instance-update "Event Streams resource instance name" -p '{"mirroring":{"source_crn":"<source_crn>", "source_alias":"<source_alias>", "target_alias":"<target_alias>"}}'

미러링할 주제를 선택하세요

서비스 인스턴스 업데이트가 완료되면, 소스에서 대상 클러스터로 미러링할 주제를 선택해야 합니다. 이 작업은 CLI에서 'ibmcloud es mirroring-topic-selection-set' 명령을 사용하여 수행됩니다. 선택된 주제에서 소비하는 데 익숙한 소비자 그룹은 소스에서 대상 클러스터로 미러링됩니다. 주제 선택사항은 정규식 패턴 또는 쉼표로 구분된 해당 패턴 목록의 양식입니다.

다음 명령은 미러링할 모든 주제를 선택합니다.

ibmcloud es mirroring-topic-selection-set --select '.*'

다음과 같이 미러링할 주제를 나열하여 주제를 선택할 수 있습니다.

ibmcloud es mirroring-topic-selection-set --select topic1,topic2,topic3

선택사항 작성에 대한 자세한 정보는 사용자 제어 미러링 을 참조하십시오.

주제 선택이 완료되면, 대상 클러스터는 소스 클러스터의 별칭이 붙은 미러링 사용자 컨트롤을 사용하여 미러링을 위해 선택된 주제를 표시합니다.

단계 3.1: (주제 및 그룹 이름 변환) 주제 및 그룹 이름이 어떻게 변환되는지 지정

변환 규칙을 지정하여 대상 클러스터에서 다른 이름으로 데이터를 토픽으로 미러링할 수 있습니다. 다음의 세 가지 시나리오에서는 가능한 변형에 대해 설명하고, 각각의 사용 사례를 설명합니다.

미러링이 활성화된 후에는 언제든지 미러링되는 주제 또는 소비자 그룹을 지정할 수 있지만, 주제 또는 그룹 변환은 미러링이 활성화된 시점에만 가능합니다. 미러링이 이미 활성화되어 있는 경우, 주제 또는 그룹 변환을 지정하기 위해 후속 활성화 요청을 하기 전에 먼저 미러링을 비활성화해야 합니다.

시나리오 1: 이전 접두사 또는 접미사를 제거하고 새로운 접두사 또는 접미사를 추가하여 주제를 변환

다음 네 가지 추가 매개변수를 구성합니다.

| 주제 이름 바꾸기에 필요한 필수 매개변수 | 설명 | 설명 | -- | -- | | 제거_접두사 | 소스 클러스터의 토픽 이름에서 제거할 접두사입니다. | | remove_suffix | 소스 클러스터의 토픽 이름에서 제거할 접미사입니다. | | 추가_접두사 | 대상 클러스터의 토픽 이름에 추가할 접두사입니다. | | 추가_접미사 | 대상 클러스터의 토픽 이름에 추가할 접미사입니다. |

ibmcloud resource service-instance-update 명령은 -p 명령행 인수를 통해 지정되어야 합니다. 이 옵션이 지정되면, 일치하는 접두사 또는 접미사를 가진 주제만 미러링 대상이 됩니다. 예를 들어, app1- 의 remove_prefix 를 가지고 있고, 주제 선택을 abc.* 로 지정하면, app1-abc 로 시작하는 주제만 미러링됩니다.

"이름 변경" 유형의 변환을 지정하고 " add_prefix " 또는 " add_suffix "에 대한 매개변수를 지정하지 않으면 대상 클러스터의 미러링된 토픽에서 이러한 매개변수가 제거됩니다. 주제 패턴은 주제 이름에 소스 접두사 또는 접미사가 제거된 후, 접두사 또는 접미사가 추가되기 전에 적용됩니다.

다음 CLI 명령어 예시를 참조하세요:

{
  "mirroring": {
    "source_crn": "crn:v1:...",
    "source_alias": "source",
    "target_alias": "target",
    "options": {
      "topic_name_transform": {
        "type": "rename",
        "rename": {
          "add_prefix": "newprefix-",
          "remove_prefix": "oldprefix-",
          "add_suffix": "-newsuffix",
          "remove_suffix": "-oldsuffix"
        }
      }
    }
  }
}

시나리오 2: 미러링된 주제에 접미사로 소스 별칭 추가하기

Topic_name_transform 유형을 use_alias 설정하여 주제 이름 변환을 적용합니다. 이 구성을 사용하면 구성에 지정된 소스 별칭이 source 소스 클러스터에서 app1-topic 토픽이 대상 클러스터에서 app1-topic.source 토픽에 미러링됩니다.

다음 CLI 명령어 예시를 참조하세요:

{
  "mirroring": {
    "source_crn": "crn:v1:...",
    "source_alias": "source",
    "target_alias": "target",
    "options": {
        "topic_name_transform": {
            "type": "use_alias"
      }
    }
  }
}

시나리오 3: 토픽 이름이 변경되지 않은 상태로 미러링됨

topic_name_transform 이 시나리오에서는 유형을 none 로 설정하여 '완료된 작업'을 적용합니다. app1-topic 이 구성을 사용하면 소스 클러스터의 주제가 대상 클러스터의 app1-topic 라는 주제로 미러링됩니다.

다음 CLI 명령어 예시를 참조하세요:

{
  "mirroring": {
    "source_crn": "crn:v1:...",
    "source_alias": "source",
    "target_alias": "target",
    "options": {
        "topic_name_transform": {
            "type": "none"
      }
    }
  }
}

단계 3.2: 해당 소비자 그룹 ID 변환

기본적으로, 미러 메이커는 대상 클러스터에 미러링할 때 소비자 그룹 ID를 수정하지 않습니다. 그러나, Event Streams 를 사용하면 다음 두 가지 시나리오에서 설명한 것처럼 그룹 ID의 데이터를 수정할 수 있습니다. 주제와 마찬가지로, 그룹 ID 패턴은 소스 접두사 또는 접미사를 제거한 후, 접두사 또는 접미사를 추가하기 전에 적용됩니다. "이름 변경" 유형의 변환을 지정하고 " add_prefix " 또는 " add_suffix "에 대한 매개변수를 지정하지 않으면, 대상 클러스터의 미러링된 그룹 ID에서 이러한 매개변수가 제거됩니다.

ibmcloud resource service-instance-update 명령은 -p 명령행 인수를 통해 지정되어야 합니다.

시나리오 1: 이전 접두사 또는 접미사를 제거하고 새로운 접두사 또는 접미사를 추가하여 그룹 ID를 변환합니다

다음 네 가지 추가 매개변수를 구성합니다.

| 그룹 ID 이름 변경에 필요한 필수 매개변수 | 설명 | 설명 | -- | -- | | 제거_접두사 | 소스 클러스터의 그룹 ID에서 제거할 접두사입니다. | | remove_suffix | 소스 클러스터의 그룹 ID에서 제거할 접미사입니다. | | 추가_접두사 | 대상 클러스터의 그룹 ID에 추가할 접두사입니다. | | 추가_접미사 | 대상 클러스터의 그룹 ID에 추가할 접미사입니다. |

이 옵션이 지정되면, 일치하는 접두사 또는 접미사를 가진 그룹 ID만 미러링 대상이 됩니다. remove_prefix 예를 들어, 소스 클러스터의 aaa 와 add_prefix 가 bbb 이고, 대상 클러스터의 bbb-group-id 가 인 경우, 소스 클러스터에서 aaa-group-id 로 시작하는 소비자 그룹이 대상 클러스터의 로 미러링됩니다.

다음 CLI 명령어 예시를 참조하세요:

{
  "group_id_transform": {
    "type": "rename",
    "rename": {
       "add_prefix": "newprefix-",
       "remove_prefix": "oldprefix-",
       "add_suffix": "-newsuffix",
       "remove_suffix": "-oldsuffix"
    }
  }
}

시나리오 2: 소비자 그룹 ID가 미러링되고 이름은 변경되지 않음

topic_name_transform 이 시나리오에서는 유형을 none 로 설정하여 '완료된 작업'을 적용합니다. aaa-group-id 이 구성을 사용하면 소스 클러스터의 주제가 대상 클러스터의 aaa-group-id 라는 주제로 미러링됩니다.

다음 CLI 명령어 예시를 참조하세요:

"group_id_transform": {
  "type": "none"
}

주의 사항

미러링을 사용하여 스키마를 동기화하기 전에 다음 주의 사항을 검토하세요:

1. 두 레지스트리 간에 스키마를 대량으로 내보내고 가져오는 동안 유지 관리 기간이 필요하며, 이 기간은 몇 시간 이내로 소요됩니다.
2. 토픽 이름 바꾸기가 작동하려면 스키마가 Confluent Avro Serdes를 사용해야 하므로 토픽 이름에서 주제를 파생할 수 있습니다. Confluent 스키마와 연관된 주제가 주제 이름에서 파생될 수 있기 때문입니다(예: 주제 및 주제/기록 주제 명명 전략의 경우).
3. S2S 인증 미러링은 중단되지 않아야 하며, s2s 인증 또는 미러링을 비활성화하면 스키마 레지스트리 요청이 전달되지 않습니다.
4. 변환이 필요한 경우 마이그레이션을 수행하기 전에 대상 인스턴스 스키마 레지스트리를 주제 이름 바꾸기 규칙으로 구성해야 합니다.
5. 마이그레이션이 완료될 때까지 이름 바꾸기 규칙은 변경할 수 없습니다. 마이그레이션 중에 변경하면 레지스트리 간에 불일치가 발생할 수 있습니다.

지시사항

다음 지침에서는 스키마 레지스트리 미러링을 사용하여 두 인스턴스 간에 스키마를 이동하는 방법을 간략하게 설명합니다.

내보내기 유틸리티는 아직 CLI에 추가되지 않았습니다.

ibmcloud resource service-instance-update \
"trgt-instance-name" \
-p '{
"mirroring": {
"source_crn": "<src instance crn>",
"source_alias": "source",
"target_alias": "target",
"schemas": "proxied"
}
}'

주제 이름 변환

전달 중에 토픽 이름을 변경할 수 있습니다. 예를 들어 올바른 규칙을 사용하면 old-my-topic 은 new-my-topic 이 될 수 있습니다. 이 기능을 활성화하면 소스 인스턴스는 원래 이름만 인식하고 대상 인스턴스는 새 (변환된) 토픽 이름만 인식합니다. 반환된 모든 결과는 그에 따라 변환됩니다.

변환 규칙을 제공하지 않으면 Event Streams 의 기존 미러링 동작에 따라 use_alias 이 사용됩니다. 주제 이름을 변경하지 않고 전달하려면 topic_name_transform 유형 none 을 사용합니다. 변환은 기존 CLI 변환 필드를 사용하여 구성합니다.

마이그레이션 흐름

두 개의 Event Streams 인스턴스 간에 마이그레이션하는 경우 다음과 같은 흐름이 권장됩니다.

1. schemas: proxied 을 지정하여 두 인스턴스 간에 미러링을 사용하도록 설정합니다.
2. 대상 스키마 레지스트리를 사용하도록 애플리케이션을 업데이트하세요.
3. schemas: read-only 으로 전환하여 대상 레지스트리에 대한 모든 쓰기를 차단합니다. 이 변경을 수행하기 전에 미러링을 일시적으로 비활성화해야 합니다.
4. 소스 인스턴스에서 모든 스키마를 내보냅니다.
5. 소스 인스턴스에서 내보낸 모든 스키마를 대상으로 가져옵니다. IBM Cloud® CLI를 사용하여 수행할 수 있습니다: ibmcloud [...].
6. 미러링을 비활성화합니다.

스키마 내보내기

자세한 내용은 Confluent 문서를 참조하세요.

Event Streams CLI에서는 스키마 가져오기에 v1 exportVersion 값이 있어야 합니다.

1. 최신 v2.x.x 소스 코드를 다운로드하세요(예: https://github.com/Apicurio/apicurio-registry/archive/refs/tags/2.6.13.Final.zip ).

2. 내보내기 클라이언트 빌드: mvn -pl utils/exportConfluent -am -DskipTests -Pprod package.

3. 내보내기를 실행합니다( confluent-schema-registry-export.zip )에 출력을 저장합니다:

   java -jar utils/exportConfluent/target/apicurio-registry-utils-exportConfluent-2.6.13.Final.jar \
   "https://token:<password>@<my-event-streams-instance.com>/confluent" \
   --client-props basic.auth.credentials.source=URL
   

스키마 가져오기

스키마는 Event Streams CLI를 사용하여 가져올 수 있습니다.

1. event-streams[es] 플러그인이 설치되어 있는지 확인: ibmcloud plugin list.

2. 로그인 IBM Cloud®: ibmcloud login [...].

3. 가져오려는 Event Streams 인스턴스를 초기화합니다: ibmcloud es init.

4. 스키마를 가져옵니다:

   ibmcloud es schema-import \
   -f confluent-schema-registry-export.zip