准备工作

• 使用此过程创建备份时，备份包含所有服务实例中的所有助手和技能。 它可能包括您无法使用的技能和助手。
• 原始服务实例的访问许可权信息不会存储在备份中。 即，不保留用于确定谁可以查看服务实例以及谁无法查看服务实例的原始访问权。
• 您不能使用此程序备份搜索集成返回的数据。 搜索集成检索的数据来自 Discovery 实例中的数据集合。 请参阅 Discovery 文档 以了解如何备份其数据。
• 如果您备份并还原或以其他方式更改搜索集成所连接的 Discovery 服务，则无法还原搜索集成，而必须重新创建。 当您设置搜索集成时，会将助手的响应部分映射到同一集群上由 Discovery 实例托管的数据集合中的字段。 如果该 Discovery 实例发生更改，那么与该实例的映射会中断。 如果您的 Discovery 服务没有变化，那么搜索集成可以继续连接到数据收集。
• 用于复原数据的工具会先清除当前数据库，然后再复原备份。 因此，如果您可能需要还原到当前数据库，请首先创建其备份。
• 您用于还原数据的目标 IBM Cloud Pak for Data 集群必须具有与备份数据库的环境相同数量的预置服务实例。 要在 IBM Cloud Pak for Data Web 客户机中进行验证，请从主导航菜单中选择 服务，选择 实例，然后打开 供应的实例 选项卡。 如果多个用户创建了实例，那么要求创建实例的其他用户登录并检查他们创建的实例数。 然后，可以将部署的实例总数相加。 即使是管理用户也无法查看其他人从 Web 客户机用户界面创建的实例。

使用 CronJob 备份数据

部署服务时，将自动创建并启用名为 $INSTANCE-store-cronjob 的 CronJob。 CronJob 是一种类型的 Kubernetes 控制器。 CronJob 按重复安排来创建作业。 更多信息，请参阅 CronJobKubernetes 文档。

商店 CronJob 将创建 $INSTANCE-backup-job-$TIMESTAMP 作业。 每个 $INSTANCE-backup-job-$TIMESTAMP 作业都会删除旧日志，并运行存储 PostgreSQL 数据库的备份。PostgreSQL 提供用于创建备份的 pg_dump 工具。 要创建备份，pg_dump 工具会将数据库内容发送到 stdout，然后您可以将其写入文件。 pg_dump 工具使用 pg_dump 命令创建备份，并将其存储在名为 $INSTANCE-store-db-backup-pvc 的持久卷主张（PVC）中。

您负责在备份初始创建后将其移动到更安全的位置，最好是在无法轻松删除备份的集群外部可访问的位置。 请确保对所有环境 (尤其是生产集群) 都执行此操作。

下表列出了用于控制备份定时作业的配置值。 您可以在服务部署后，使用 oc edit cronjob $INSTANCE-store-cronjob 命令编辑 cron 作业来编辑这些设置。

使用脚本备份数据

对于 IBM Cloud Pak® for Data 4.6.3 或更高版本，无法使用 watsonx Assistant 中的脚本来备份数据。{ .note}

backupPG.sh 脚本收集其中一个 PostgreSQL pod 的 pod 名称和凭证。 然后，backupPG.sh 脚本使用 PostgreSQL pod 来运行 pg_dump 命令。

要使用提供的脚本来备份数据，请完成以下步骤：

1. 下载 backupPG.sh 脚本。

   访问 GitHub 并找到您的版本目录以查找文件。

   如果您的版本目录中不存在 backupPG.sh 脚本，请使用 KubernetesCronJob 或 pg_dump 工具 备份数据。

2. 登录到安装了产品的 Red Hat OpenShift 项目名称空间。

3. 运行以下脚本：

   ./backupPG.sh --instance ${INSTANCE} > ${BACKUP_DIR}
   

   请替换命令中的以下值：

   • ${BACKUP_DIR}：指定一个文件，用于保存下载的数据。 请确保指定用于存储该文件的备份目录。 例如，/bu/backup-file-name.dump 创建名为 bu 的备份目录。
   • --instance ${INSTANCE}: 选择要备份的特定实例。

如果您想直接使用 PostgreSQL 工具备份数据，可以手动完成备份数据的过程。

手动备份数据

请完成此流程中的步骤，直接使用 PostgreSQL 工具备份您的数据。

要备份数据，请完成以下步骤：

1. 访存正在运行的 PostgreSQL pod:

   仅适用于 4.8.8、5.1.0 版本以及所有未来版本：

      oc get pods -l app=${INSTANCE}-postgres-16 -o jsonpath="{.items[0].metadata.name}"
   

   其他版本请使用：

    oc get pods -l app=${INSTANCE}-postgres -o jsonpath="{.items[0].metadata.name}"
   

   将 $ {INSTANCE} 替换为您要备份的部署实例。

2. 只有在有版本5.0.0或4.8.5之前 的情况下才可执行以下两个步骤：

   a. 获取商店VCAP的密名：

    oc get secrets -l component=store,app.kubernetes.io/instance=${INSTANCE} -o=custom-columns=NAME:.metadata.name | grep store-vcap
   

   b. 获取 PostgreSQL 连接值。 这些值将传递给在下一步中运行的命令。 您必须已安装 jq。

   • 获取数据库：

     oc get secret $VCAP_SECRET_NAME -o jsonpath="{.data.vcap_services}" | base64 --decode | jq --raw-output '.["user-provided"][]|.credentials|.database'
     

   • 要获取主机名:

     oc get secret $VCAP_SECRET_NAME -o jsonpath="{.data.vcap_services}" | base64 --decode | jq --raw-output '.["user-provided"][]|.credentials|.host'
     

   • 获取用户名：

     oc get secret $VCAP_SECRET_NAME -o jsonpath="{.data.vcap_services}" | base64 --decode | jq --raw-output '.["user-provided"][]|.credentials|.username'
     

   • 获取密码：

     oc get secret $VCAP_SECRET_NAME -o jsonpath="{.data.vcap_services}" | base64 --decode | jq --raw-output '.["user-provided"][]|.credentials|.password'
     

3. 只有在有版本4.8.6或5.0.1及更高版本 的情况下才可执行以下两个步骤：

   a. 获取商店连接的密名：

   oc get secrets -l component=store-subsystem,app.kubernetes.io/instance=${INSTANCE} -o=custom-columns=NAME:.metadata.name | grep store-datastore-connection
   

   b. 获取 PostgreSQL 连接值。 这些值将传递给在下一步中运行的命令。 您必须已安装 jq。

   • 获取数据库：

     oc get secret $VCAP_SECRET_NAME -o jsonpath="{.data.store_vcap_services}" | base64 --decode | jq --raw-output '.["user-provided"][]|.credentials|.database'
     

   • 要获取主机名:

     oc get secret $VCAP_SECRET_NAME -o jsonpath="{.data.store_vcap_services}" | base64 --decode | jq --raw-output '.["user-provided"][]|.credentials|.host'
     

   • 获取用户名：

     oc get secret $VCAP_SECRET_NAME -o jsonpath="{.data.store_vcap_services}" | base64 --decode | jq --raw-output '.["user-provided"][]|.credentials|.username'
     

   • 获取密码：

     oc get secret $VCAP_SECRET_NAME -o jsonpath="{.data.store_vcap_services}" | base64 --decode | jq --raw-output '.["user-provided"][]|.credentials|.password'
     

4. 运行以下命令：

   oc exec $KEEPER_POD -- bash -c "export PGPASSWORD='$PASSWORD' && pg_dump -Fc -h $HOSTNAME -d $DATABASE -U $USERNAME" > ${BACKUP_DIR}
   

   以下列表描述了这些论点。 您在上一步中已检索到其中某些参数的值：

   仅适用于 4.8.8、5.1.0 版本以及所有未来版本：

   使用 $KEEPER_POD : 任何 PostgreSQL 16 pod。

   其他版本：

   使用 $KEEPER_POD：实例中的任何 PostgreSQL pod。

   适用于所有版本：

   • ${BACKUP_DIR}：指定一个文件，用于保存下载的数据。 请确保指定用于存储该文件的备份目录。 例如，/bu/backup-file-name.dump 创建名为 bu 的备份目录。
   • $DATABASE: 在步骤 3 中从 Store VCAP 私钥检索到的商店数据库名称。
   • $HOSTNAME: 在步骤 3 中从 Store VCAP 私钥检索到的主机名。
   • $USERNAME: 在步骤 3 中从 Store VCAP 私钥检索到的用户名。
   • $PASSWORD: 在步骤 3 中从 Store VCAP 私钥检索到的密码。

   要查看有关 pg_dump 命令的更多信息，可以运行以下命令：

   oc exec -it ${KEEPER_POD} -- pg_dump --help
   

5. 备份包含加密密钥的秘密。 如果以下 如果该版本中没有上述秘密，请忽略此步骤。

   oc get secret -l service=conversation,app=$INSTANCE-auth-encryption
   oc get secret $INSTANCE-auth-encryption -o yaml > auth-encryption-secret.yaml
   

复原数据

IBM 创建了名为 pgmig 的复原工具。 该工具通过将数据库备份添加到您选择的数据库中，从而恢复数据库备份。 此外，该工具还可将模式升级到与在其中复原数据的产品版本相关联的模式。 在工具添加备份数据之前，它会删除当前服务部署中所有实例的数据，因此任何备件也会被删除。

先决条件：

设置您之前备份的 auth-encryption-secret。

oc apply -f auth-encryption-secret.yaml
oc get secret -l service=conversation,app=$INSTANCE-auth-encryption

1. 安装要将数据复原到的目标 IBM Cloud Pak for Data 集群。

   从目标集群的网络客户端，为每个在旧集群上备份的服务实例创建一个服务实例。 目标 IBM Cloud Pak for Data 集群所具有的实例数必须与在其中备份数据库的源环境中的实例数相同。

2. 备份当前数据库，然后将其替换为备份的数据库。

   该工具会先清除当前数据库，然后再复原备份。 因此，如果您可能需要还原到当前数据库，请确保首先创建其备份。

3. 转到您在上一步骤中通过 ${BACKUP_DIR} 参数指定的备份目录。

4. 运行以下命令以从 GitHub Watson Developer Cloud Community 存储库下载 pgmig 工具。

   在第一个命令中，将 <WA_VERSION> 更新为要复原的版本。 例如，如果要复原 4.6.0，请将 <WA_VERSION> 更新为 4.6.0。

   wget https://github.com/watson-developer-cloud/community/raw/master/watson-assistant/data/<WA_VERSION>/pgmig
   chmod 755 pgmig
   

5. 创建以下两个配置文件，并将其保存在同一个备份目录中：

   • resourceController.yaml：资源控制器文件保存所有已配置实例的列表。 请参阅创建 resourceController.yaml 文件。

   • postgres.yaml：PostgreSQL 文件列出了目标 PostgreSQL 吊舱的详细信息。 请参阅创建 postgres.yaml 文件。

6. 获取私钥:

   仅适用于 4.8.8、5.1.0 版本以及所有未来版本：

   oc get secret ${INSTANCE}-postgres-16-ca -o jsonpath='{.data.ca\.crt}' | base64 -d | tee ${BACKUP_DIR}/ca.crt | openssl x509 -noout -text
   

   其他版本：

   oc get secret ${INSTANCE}-postgres-ca -o jsonpath='{.data.ca\.crt}' | base64 -d | tee ${BACKUP_DIR}/ca.crt | openssl x509 -noout -text
   

   • 将 ${INSTANCE} 替换为您要备份的实例名称。
   • 将 ${BACKUP_DIR} 替换为 postgres.yaml 和 resourceController.yaml 文件所在的目录。

7. 将先前步骤中下载并创建的文件复制到 PostgreSQL pod 上的任何现有目录。

   a. 仅适用于 4.8.8、5.1.0 版本以及所有未来版本：

   运行以下命令查找 PostgreSQL pod：

   oc get pods | grep ${INSTANCE}-postgres-16
   

   b. 其他版本：

   运行以下命令查找 PostgreSQL pod：

   oc get pods | grep ${INSTANCE}-postgres
   

   c. 必须复制的文件为 pgmig，postgres.yaml，resourceController.yaml，ca.crt (在步骤 6 中生成的私钥文件) 以及您为下载的数据创建的文件。 运行以下命令复制文件。

   如果要将数据复原到独立 IBM Cloud Pak for Data 集群，请将这些样本命令中所有对 oc 的引用替换为 kubectl。

    oc exec -it ${POSTGRES_POD} -- mkdir /controller/tmp
    oc exec -it ${POSTGRES_POD} -- mkdir /controller/tmp/bu
    oc rsync ${BACKUP_DIR}/ ${POSTGRES_POD}:/controller/tmp/bu/
   

   • 将 ${POSTGRES_POD} 替换为上一步骤中某个 PostgreSQL pod 的名称。

8. 将商店部署缩减为0个副本，停止商店部署：

   oc scale deploy ibm-watson-assistant-operator -n ${OPERATOR_NS} --replicas=0
   oc get deployments -l component=store
   

   记下商店部署中有多少副本:

    oc scale deployment ${STORE_DEPLOYMENT} --replicas=0
   

9. 在 PostgreSQL pod中启动远程命令的执行：

   oc exec -it ${POSTGRES_POD} /bin/bash
   

10. 运行 pgmig 工具：

    仅适用于 4.8.8、5.1.0 版本以及所有未来版本：

    cd /controller/tmp/bu
    export PG_CA_FILE=/controller/tmp/bu/ca.crt
    ./pgmig --resourceController resourceController.yaml --target postgres.yaml --source <backup-file-name.dump>
    export ENABLE_ICP=true
    

    其他版本：

    cd /controller/tmp/bu
    export PG_CA_FILE=/controller/tmp/bu/ca.crt
    ./pgmig --resourceController resourceController.yaml --target postgres.yaml --source <backup-file-name.dump>
    

    • 将 <backup-file-name.dump> 替换为您为下载的数据创建的文件的名称。

    如需了解更多命令选项，请参阅 PostgreSQL 迁移工具的详细信息。

    脚本运行时，系统会提示您输入信息，其中包括目标集群上要将备份数据添加到的实例。 您指定的实例数据将被删除并替换。 如果备份中有多个实例，那么系统会多次提示您指定目标实例信息。

11. 重新部署商店：

    oc scale deployment ${STORE_DEPLOYMENT} --replicas=${ORIGINAL_NUMBER_OF_REPLICAS}
    oc scale deploy ibm-watson-assistant-operator -n ${OPERATOR_NS} --replicas=1
    

    您可能需要等待几分钟，才能从网络界面看到恢复的数据。

12. 复原数据后，必须训练后端模型。 有关重新训练后端模型的更多信息，请参阅 重新训练后端模型。

accessTokens:
  - value
  - value2
host: localhost
port: 5000

host: localhost
port: 5432
database: store
username: user
su_username: admin
su_password: password

instance-mappings:
  00000000-0000-0000-0000-001570184978: 00000000-0000-0000-0000-001570194490

重新训练后端模型

根据助手中的模型数，可以使用下列其中一个选项来重新训练后端模型:

• 手动重新训练后端模型
• 自动重新训练后端模型

#!/bin/bash

calculate_duration() {
 local input_variable="$1"
 DURATION=$(("$NUM_OF_WORKSPACES_TO_TRAIN"*60 / (input_variable * 2) + "$NUM_OF_WORKSPACES_TO_TRAIN" * 2))
}

export PROJECT_CPD_INST_OPERANDS=<namespace where Assistant is installed>

ETCD_ENDPOINTS=$(oc get secret wa-cluruntime-datastore-connection-strings -n ${PROJECT_CPD_INST_OPERANDS} -o jsonpath="{.data.etcd}" | base64 --decode | jq -r '.endpoints')

NUM_OF_WORKSPACES_TO_TRAIN=$(oc exec wa-etcd-0 -n ${PROJECT_CPD_INST_OPERANDS} -- bash -c "
 password=\"\$( cat /var/run/credentials/pass.key)\"
 etcdctl_user=\"root:\$password\"
 export ETCDCTL_USER=\"\$etcdctl_user\"

 ETCDCTL_API=3 etcdctl --cert=/etc/etcdtls/operator/etcd-tls/etcd-client.crt --key=/etc/etcdtls/operator/etcd-tls/etcd-client.key --cacert=/etc/etcdtls/operator/etcd-tls/etcd-client-ca.crt --endpoints=${ETCD_ENDPOINTS} get  --prefix  /bluegoat/voyager-nlu/voyager-nlu-slot-wa/workspaces/ --keys-only | sed '/^$/d' | wc -l")

echo "Number of workspaces to train $NUM_OF_WORKSPACES_TO_TRAIN"

calculate_duration 5
DURATION_5=$DURATION

calculate_duration 10
DURATION_10=$DURATION

calculate_duration 15
DURATION_15=$DURATION

echo "Approximate duration of the auto retrain all job if you have 5 Training pods: $DURATION_5 seconds"
echo "Approximate duration of the auto retrain all job if you have 10 Training pods: $DURATION_10 seconds"
echo "Approximate duration of the auto retrain all job if you have 15 Training pods: $DURATION_15 seconds"

#!/bin/bash
calculate_duration() {
    local input_variable="$1"
    DURATION=$(("$NUM_OF_WORKSPACES_TO_TRAIN"*60 / (input_variable * 2) + "$NUM_OF_WORKSPACES_TO_TRAIN" * 2))
  }

export PROJECT_CPD_INST_OPERANDS=<namespace where Assistant is installed>

NUM_OF_WORKSPACES_TO_TRAIN=$(oc exec wa-etcd-0 -n ${PROJECT_CPD_INST_OPERANDS} -- bash -c '
  password="$( cat /var/run/credentials/pass.key )"
  etcdctl_user="root:$password"
  export ETCDCTL_USER="$etcdctl_user"

  ETCDCTL_API=3 etcdctl --cert=/etc/etcdtls/operator/etcd-tls/etcd-client.crt --key=/etc/etcdtls/operator/etcd-tls/etcd-client.key --cacert=/etc/etcdtls/operator/etcd-tls/etcd-client-ca.crt --endpoints=https://$(hostname).${CLUSTER_NAME}.cpd.svc.cluster.local:2379 get  --prefix  /bluegoat/voyager-nlu/voyager-nlu-slot-wa/workspaces/ --keys-only | sed '/^$/d' | wc -l')

echo "Number of workspaces to train $NUM_OF_WORKSPACES_TO_TRAIN"

calculate_duration 5
DURATION_5=$DURATION

calculate_duration 10
DURATION_10=$DURATION

calculate_duration 15
DURATION_15=$DURATION
echo "Approximate duration of the auto retrain all job if you have 5 Training pods: $DURATION_5 seconds"
echo "Approximate duration of the auto retrain all job if you have 10 Training pods: $DURATION_10 seconds"
echo "Approximate duration of the auto retrain all job if you have 15 Training pods: $DURATION_15 seconds"

oc logs $(oc get pod -l component=store-admin --no-headers -n ${PROJECT_CPD_INST_OPERANDS}  |awk '{print $1}') | grep "\[RETRAIN-ALL-SUMMARY\] Affected workspaces found"