使用 sap-hana-ha 资源代理在 Red Hat Enterprise Linux High Availability Add-On 集群中配置 SAP HANA 扩展系统复制

为单区实施设置额外的环境变量

查看 预订虚拟 IP 地址 并为 SAP HANA 系统复制群集预订虚拟 IP 地址。 将 VIP 环境变量设置为保留 IP 地址。

为多区区域实施设置额外的环境变量

按照 为配置高可用性群集收集参数 一节中的描述，设置 CLOUD_REGION, APIKEY, IBMCLOUD_CRN_?, POWERVSI_? 变量。 将 API_TYPE 设置为 private，以便通过专用端点与 IBM Cloud IAM 和 IBM Power Cloud API 通信。

为 powervs-subnet 资源代理准备变量：

• SUBNET_NAME 指定子网的名称。
• CIDR 以无类别域间路由（CIDR） 格式定义子网：<IPv4_address>/number.
• VIP 是虚拟 IP 地址，必须在定义的 CIDR 范围内。
• 将 JUMBO 设置为 true，以启用对子网中大 MTU 大小的支持。

子网 SUBNET_NAME 必须不存在，其 CIDR 范围不得与任一工作区中任何现有子网的 IP 范围重叠。

下面的导出命令示例展示了如何为多区 powervs-subnet 实现设置所需的环境变量。

export CLOUD_REGION="eu-de"
export IBMCLOUD_CRN_1="crn:v1:bluemix:public:power-iaas:eu-de-2:a/a1b2c3d4e5f60123456789a1b2c3d4e5:a1b2c3d4-0123-4567-89ab-a1b2c3d4e5f6::"
export IBMCLOUD_CRN_2="crn:v1:bluemix:public:power-iaas:eu-de-1:a/a1b2c3d4e5f60123456789a1b2c3d4e5:e5f6a1b2-cdef-0123-4567-a1b2c3d4e5f6::"
export POWERVSI_1="a1b2c3d4-0123-890a-f012-0123456789ab"
export POWERVSI_2="e5f6a1b2-4567-bcde-3456-cdef01234567"
export APIKEY="@/root/.apikey.json"
export API_TYPE="private"
export SUBNET_NAME="vip-mh1-net"
export CIDR="10.40.41.100/30"
export VIP="10.40.41.102"
export JUMBO="true"

为所有 SAP HANA 实例配置挂钩 HanaSR

sap-hana-ha 软件包包括 HanaSR.py 钩子脚本，它位于 /usr/share/sap-hana-ha 目录中。 在所有 SAP HANA 集群节点上配置此钩子。

在继续群集设置之前，请启用并测试 SAP HANA srConnectionChanged( ) 钩子。

1. 更新每个 SAP HANA 节点上的 global.ini 文件，启用 HanaSR 钩子脚本。

   在两个节点上运行以下命令。

   sudo -i -u ${sid}adm -- <<EOT
       python \$DIR_INSTANCE/exe/python_support/setParameter.py \
         -set SYSTEM/global.ini/ha_dr_provider_hanasr/provider=HanaSR \
         -set SYSTEM/global.ini/ha_dr_provider_hanasr/path=/usr/share/sap-hana-ha/ \
         -set SYSTEM/global.ini/ha_dr_provider_hanasr/execution_order=1 \
         -set SYSTEM/global.ini/trace/ha_dr_hanasr=info
   EOT
   

2. 验证更新后的 global.ini 文件。

   在两个节点上运行以下命令。

   cat /hana/shared/${SID}/global/hdb/custom/config/global.ini
   

3. 为 SAP HANA 操作系统的管理员 sidadm 配置 sudo 设置。

   这些设置允许钩子脚本 srConnectionChanged( ) 更新节点属性。

   在两个节点上运行以下命令，创建所需的 sudo 配置文件。

   cat >> /etc/sudoers.d/20-saphana << EOT
   Cmnd_Alias DC1_SOK = /usr/sbin/crm_attribute -n hana_${sid}_site_srHook_${DC1} -v SOK -t crm_config -s SAPHanaSR
   Cmnd_Alias DC1_SFAIL = /usr/sbin/crm_attribute -n hana_${sid}_site_srHook_${DC1} -v SFAIL -t crm_config -s SAPHanaSR
   Cmnd_Alias DC2_SOK = /usr/sbin/crm_attribute -n hana_${sid}_site_srHook_${DC2} -v SOK -t crm_config -s SAPHanaSR
   Cmnd_Alias DC2_SFAIL = /usr/sbin/crm_attribute -n hana_${sid}_site_srHook_${DC2} -v SFAIL -t crm_config -s SAPHanaSR
   Cmnd_Alias FENCE_ME = /usr/bin/SAPHanaSR-hookHelper --sid=${SID} --case=fenceMe
   ${sid}adm ALL=(ALL) NOPASSWD: DC1_SOK, DC1_SFAIL, DC2_SOK, DC2_SFAIL, FENCE_ME
   Defaults!DC1_SOK, DC1_SFAIL, DC2_SOK, DC2_SFAIL, FENCE_ME !requiretty
   EOT
   

   只有在使用参数 action_on_lost = fence 配置 ChkSrv 钩子脚本时，才需要 Cmnd_Alias FENCE_ME。

   设置正确的所有权和权限，并使用 visudo 验证其语法。

   chown root:root /etc/sudoers.d/20-saphana
   

   chmod 0440 /etc/sudoers.d/20-saphana
   

   cat /etc/sudoers.d/20-saphana
   

   visudo -c
   

纠正 visudo -c 命令报告的任何问题。

为所有 SAP HANA 实例配置 ChkSrv 钩子（可选）

sap-hana-ha 软件包包括 ChkSrv.py 钩子脚本，它位于 /usr/share/sap-hana-ha 目录中。 在所有 SAP HANA 集群节点上配置此钩子。

您可以配置挂钩 srServiceStateChanged( )，以便在 indexserver 进程失败时加速恢复。 此配置是可选的。

ChkSrv.py 脚本会停止整个 SAP HANA 实例，以便更快地恢复。 如果群集中启用了 automated failover，且辅助节点处于健康状态，系统将启动接管操作。 如果无法进行故障转移，脚本会强制重启本地节点上的 SAP HANA 实例。

钩子脚本会分析实例事件，过滤事件细节，并根据过滤结果触发操作。 它将 SAP HANA indexserver 进程与作为实例关闭的一部分而停止的进程区分开来，前者是由系统停止并重新启动的。

钩子触发的操作取决于 action_on_lost 参数的配置。

忽略

此操作会将事件详情和相应的决策逻辑记录到文件中。

停止

通过使用 sapcontrol 命令，该操作可优雅地停止 SAP HANA 实例。

终止

该操作会触发 HDB kill-<signal> 命令，默认信号为 9。 信号可以配置。

停止和杀死操作都会停止 SAP HANA 实例，但杀死操作稍快一些。

防护

当检测到 indexserver 进程失效时，该操作会对群集节点进行围栏。 授予 sudo 权限，允许 sidadm 用户运行 /usr/bin/SAPHanaSR-hookHelper 脚本。

1. 更新每个 SAP HANA 节点上的 global.ini 文件，启用钩子脚本。

   在两个节点上运行以下命令。

   sudo -i -u ${sid}adm -- <<EOT
       python \$DIR_INSTANCE/exe/python_support/setParameter.py \
         -set SYSTEM/global.ini/ha_dr_provider_chksrv/provider=ChkSrv \
         -set SYSTEM/global.ini/ha_dr_provider_chksrv/path=/usr/share/sap-hana-ha/ \
         -set SYSTEM/global.ini/ha_dr_provider_chksrv/execution_order=2 \
         -set SYSTEM/global.ini/ha_dr_provider_chksrv/action_on_lost=stop \
         -set SYSTEM/global.ini/trace/ha_dr_chksrv=info
   EOT
   

   在本例中，action_on_lost 参数设置为 stop；默认值为 ignore。 您可以选择配置 stop_timeout 参数（默认值：20 秒）和 kill_signal 参数（默认值：9）。

激活挂钩

1. 重新载入挂钩配置。

   在两个节点上运行以下命令激活钩子。

   sudo -i -u ${sid}adm -- hdbnsutil -reloadHADRProviders
   

2. 通过检查跟踪日志来验证钩子是否处于活动状态。

   在两个节点上运行以下命令。

   sudo -i -u ${sid}adm -- sh -c 'grep "ha_dr_provider" $DIR_INSTANCE/$VTHOSTNAME/trace/nameserver_* | cut -d" " -f2,3,6-'
   

   样本输出：

   2025-02-27 15:47:21.855038   HADRProviderManager.cpp(00087) : loading HA/DR Provider 'ChkSrv' from /usr/share/sap-hana-ha/
   2025-02-27 15:47:22.648229   HADRProviderManager.cpp(00087) : loading HA/DR Provider 'HanaSR' from /usr/share/sap-hana-ha/
   

在单区环境中创建虚拟 IP 群集资源

使用保留的 IP 地址创建虚拟 IP 地址集群资源。 通过该 IP 地址可以访问 SAP HANA 系统复制主实例。

使用以下命令创建虚拟 IP 地址集群资源。

pcs resource create vip_${SID}_${INSTNO} IPaddr2 \
    ip=$VIP \
    --disabled

验证虚拟 IP 地址资源配置和群集状态。

pcs resource config vip_${SID}_${INSTNO}

pcs status --full

转到 创建群集资源限制 部分。

在多区区域环境中创建虚拟 IP 群集资源

确定 多区域环境中 SAP HANA 高可用性解决方案中虚拟 IP 集群资源的资源管理器 - 网络注意 事项部分。

确保完成了“为虚拟 IP 地址资源准备多区 RHEL HA Add-On 群集”部分中的所有步骤。

使用 pcs resource describe powervs-move-ip 命令获取有关 powervs-move-ip 资源代理参数的信息。 使用 pcs resource describe powervs-subnet 命令获取有关 powervs-subnet 资源代理参数的信息。

如果使用 powervs-move-ip 资源代理，请在 NODE1 上运行以下命令，为虚拟 IP 地址创建群集资源。

pcs resource create vip_${SID}_${INSTNO} powervs-move-ip \
    api_key=${APIKEY} \
    api_type=${API_TYPE} \
    ip=${VIP} \
    route_host_map="${NODE1}:${ROUTE_CRN1};${NODE2}:${ROUTE_CRN2}" \
    region=${CLOUD_REGION} \
    monitor_api=${MON_API}
    op start timeout=60 \
    op stop timeout=60 \
    op monitor interval=60 timeout=60 \
    --disabled

否则，请在 NODE1 上运行以下命令，为虚拟 IP 地址创建 powervs-subnet 群集资源。

pcs resource create vip_${SID}_${INSTNO} powervs-subnet \
    api_key=${APIKEY} \
    api_type=${API_TYPE} \
    cidr=${CIDR} \
    ip=${VIP} \
    crn_host_map="${NODE1}:${IBMCLOUD_CRN_1};${NODE2}:${IBMCLOUD_CRN_2}" \
    vsi_host_map="${NODE1}:${POWERVSI_1};${NODE2}:${POWERVSI_2}" \
    jumbo=${JUMBO} \
    region=${CLOUD_REGION} \
    subnet_name=${SUBNET_NAME} \
    op start timeout=720 \
    op stop timeout=300 \
    op monitor interval=60 timeout=30 \
    --disabled

当 API_TYPE 设置为 public 时，还必须指定 proxy 参数。

在运行 pcs resource config 命令之前，请确认群集中的两个虚拟服务器实例的状态都是 Active，其健康状态都是 OK。

验证已配置的虚拟 IP 资源和群集状态。

pcs resource config vip_${SID}_${INSTNO}

powervs-subnet 资源代理的输出示例：

# pcs resource config vip_MH1_00
Resource: vip_MH1_00 (class=ocf provider=heartbeat type=powervs-subnet)
  Attributes: vip_MH1_00-instance_attributes
    api_key=@/root/.apikey.json
    api_type=private
    cidr=10.40.41.100/30
    crn_host_map=cl-mh1-1:crn:v1:bluemix:public:power-iaas:eu-de-2:a/**********************************:**********************************::;cl-mh1-2:crn:v1:bluemix:public:power-iaas:eu-
        de-1:a/**********************************:**********************************::
    ip=10.40.41.102
    jumbo=true
    region=eu-de
    subnet_name=vip-mh1-net
    vsi_host_map=cl-mh1-1:**********************************;cl-mh1-2:**********************************
  Operations:
    monitor: vip_MH1_00-monitor-interval-60
      interval=60 timeout=30
    start: vip_MH1_00-start-interval-0s
      interval=0s timeout=720
    stop: vip_MH1_00-stop-interval-0s
      interval=0s timeout=300

测试 1 - 说明

模拟在 NODE1 上运行的 SAP HANA 主数据库实例崩溃。

测试 1 - 先决条件

• 为 HANA 系统复制配置的功能性双节点 RHEL HA Add-On 集群
• 群集在两个节点上运行
• SAPHanaController_${SID}_${INSTNO} 资源配置为 AUTOMATED_REGISTER=false
• 验证 SAP HANA 系统复制状态：
  • SAP HANA 主数据库运行在 NODE1
  • SAP HANA 备用数据库运行在 NODE2
  • 系统复制已启动并保持同步

测试 1 - 测试程序

以 sidadm 用户身份发送 SIGKILL 信号，模拟 SAP HANA 主实例崩溃。

在 NODE1 上，运行以下命令。

sudo -i -u ${sid}adm -- HDB kill-9

测试 1 - 预期行为

• SAP HANA NODE1 上的主实例崩溃。
• 群集会检测到已停止的 HANA 主数据库，并将资源标记为 failed。
• 群集会将 NODE2 上的辅助 HANA 数据库升级为新的主数据库。
• 虚拟 IP 地址从 NODE1 释放，并重新分配给 NODE2。
• SAP NetWeaver 等应用程序如果连接到租户数据库，会自动重新连接到新的主数据库。

测试 1 - 恢复程序

由于 SAPHanaController_${SID}_${INSTNO} 资源配置为 AUTOMATED_REGISTER=false，因此群集不会重新启动故障的 SAP HANA 实例，也不会将其注册到新的主服务器上。 因此，NODE2 上的新主站显示原副站处于 CONNECTION TIMEOUT 状态。

要手动将先前的主设备重新注册为新的辅助设备，请在 NODE1 上运行以下命令。

sudo -i -u ${sid}adm -- <<EOT
    hdbnsutil -sr_register \
      --name=${DC1} \
      --remoteHost=${NODE2} \
      --remoteInstance=00 \
      --replicationMode=sync \
      --operationMode=logreplay \
      --online
EOT

验证 SAP HANA 系统复制状态。

sudo -i -u ${sid}adm -- <<EOT
    hdbnsutil -sr_state
    HDBSettings.sh systemReplicationStatus.py
EOT

手动注册和资源刷新后，新的辅助实例会重新启动，并显示为 SOK （同步）状态。

在 NODE1 上，运行以下命令。

pcs resource refresh SAPHanaController_${SID}_${INSTNO}

pcs status --full

测试 2 - 说明

模拟托管 SAP HANA 主数据库实例的节点崩溃。

测试 2 - 准备

确保 SAPHanaController_${SID}_${INSTNO} 资源配置为 AUTOMATED_REGISTER=true。

在 NODE1 上，运行以下命令。

pcs resource update SAPHanaController_${SID}_${INSTNO} AUTOMATED_REGISTER=true

pcs resource config SAPHanaController_${SID}_${INSTNO}

测试 2 - 先决条件

• 为 HANA 系统复制配置的功能性双节点 RHEL HA Add-On 集群
• 群集在两个节点上运行
• 验证 SAP HANA 系统复制状态：
  • SAP HANA 主数据库运行在 NODE2
  • SAP HANA 备用数据库运行在 NODE1
  • 系统复制已启动并保持同步

测试 2 - 测试程序

通过触发系统崩溃，在 NODE2 上模拟节点故障。

在 NODE2 上，运行以下命令。

sync; echo c > /proc/sysrq-trigger

测试 2 - 预期行为

• NODE2 关闭。
• 群集检测到故障节点，并将其状态标记为 OFFLINE。
• 群集会将 NODE1 上的辅助 SAP HANA 实例升级为新的主实例。
• 虚拟 IP 地址将重新分配给 NODE1。
• SAP NetWeaver 等应用程序如果连接到租户数据库，会自动重新连接到新的主数据库。

测试 2 - 恢复程序

登录 IBM Cloud® 控制台，启动 NODE2 实例。 NODE2 可用后，重新启动群集框架。

在 NODE2 上，运行以下命令。

pcs cluster start

pcs status --full

由于 AUTOMATED_REGISTER=true 是为 SAPHanaController_${SID}_${INSTNO} 资源配置的，因此当 NODE_B1 重新加入群集时，SAP HANA 会自动重新启动。 前主实例重新注册为辅助实例。

测试 3 - 说明

该测试模拟辅助 SAP HANA 实例崩溃，以验证群集故障切换行为。

测试 3 - 先决条件

• 为 HANA 系统复制配置的功能性双节点 RHEL HA Add-On 集群
• 群集在两个节点上运行
• SAPHanaController_${SID}_${INSTNO} 资源配置为 AUTOMATED_REGISTER=true
• 验证 SAP HANA 系统复制状态：
  • SAP HANA 主数据库运行在 NODE1
  • SAP HANA 备用数据库运行在 NODE2
  • HANA 系统复制已激活并保持同步

测试 3 - 测试程序

以 sidadm 用户身份发送 SIGKILL 信号，模拟二级 SAP HANA 实例崩溃。

在 NODE2 上，运行以下命令。

sudo -i -u ${sid}adm -- HDB kill-9

测试 3 - 预期行为

• NODE2 上的辅助 SAP HANA 实例崩溃。
• 群集会检测到已停止的二级 HANA 数据库，并将资源标记为 failed。
• 群集重新启动辅助 HANA 实例。
• 群集验证系统复制是否重新建立并保持同步。

测试 3 - 恢复程序

等待直到辅助 SAP HANA 实例启动，系统复制状态恢复到 SOK。 然后，清理任何失败的资源操作，如 pcs status 所示。

在 NODE2 上，运行以下命令。

pcs resource refresh SAPHanaController_${SID}_${INSTNO}

pcs status --full

测试 4 - 说明

使用群集管理命令将主 SAP HANA 实例迁移到另一个节点进行维护。

测试 4 - 先决条件

• 一个功能性双节点 RHEL HA Add-On 集群，配置用于 SAP HANA 系统复制
• 群集在两个节点上运行
• SAPHanaController_${SID}_${INSTNO} 资源配置为 AUTOMATED_REGISTER=true
• 验证 SAP HANA 系统复制状态：
  • 主 SAP HANA 实例在 NODE1
  • 辅助 SAP HANA 实例在 NODE2
  • HANA 系统复制已激活并保持同步

测试 4 - 测试程序

使用 pcs resource move 命令，手动将主 SAP HANA 实例移动到另一个节点。

在 NODE1 上，运行以下命令。

pcs resource move SAPHanaController_${SID}_${INSTNO}-clone

测试 4 - 预期行为

• 集群会创建临时位置限制，将资源重新定位到目标节点。
• 群集启动接管，将辅助 SAP HANA 实例提升为主要实例。
• SAP NetWeaver 等应用程序如果连接到租户数据库，会自动重新连接到新的主实例。

测试 4 - 恢复程序

作为资源移动过程的一部分，群集会自动注册并启动原主节点作为新的辅助实例。 移动成功完成后，群集会删除任何临时位置限制。

在 NODE1 上运行以下命令，以确认临时限制已删除并验证群集状态。

pcs constraint

pcs status --full