Préparation des variables d'environnement

Pour simplifier le processus d'installation, définissez les variables d'environnement suivantes pour l'utilisateur root sur les deux nœuds du cluster. Ces variables sont utilisées dans les commandes suivantes du système d'exploitation.

Sur les deux nœuds, définissez les variables d'environnement suivantes.

# General settings
export CLUSTERNAME="SAP_S01"        # Cluster name
export NODE1=<HOSTNAME_1>           # Virtual server instance 1 hostname
export NODE2=<HOSTNAME_2>           # Virtual server instance 2 hostname

export SID=<SID>                    # SAP System ID (uppercase)
export sid=<sid>                    # SAP System ID (lowercase)

# ASCS instance
export ASCS_INSTNO=<INSTNO>         # ASCS instance number
export ASCS_NET=<Subnet name>       # Name for the ASCS subnet in IBM Cloud
export ASCS_CIDR=<CIDR of subnet>   # CIDR of the ASCS subnet containing the service IP address
export ASCS_VH=<virtual hostname>   # ASCS virtual hostname
export ASCS_IP=<IP address>         # ASCS virtual IP address

# ERS instance
export ERS_INSTNO=<INSTNO>          # ERS instance number
export ERS_NET=<Subnet name>        # Name for the ERS subnet in IBM Cloud
export ERS_CIDR=<CIDR of subnet>    # CIDR of the ERS subnet containing the service IP address
export ERS_VH=<virtual hostname>    # ERS virtual hostname
export ERS_IP=<IP address>          # ERS virtual IP address

# Other multizone region settings
export CLOUD_REGION=<CLOUD_REGION>       # Multizone region name
export APIKEY="APIKEY or path to file"   # API key of the ServiceID for the resource agent
export API_TYPE="private or public"      # Use private or public API endpoints
export IBMCLOUD_CRN_1=<IBMCLOUD_CRN_1>   # Workspace 1 CRN
export IBMCLOUD_CRN_2=<IBMCLOUD_CRN_2>   # Workspace 2 CRN
export POWERVSI_1=<POWERVSI_1>           # Virtual server 1 instance id
export POWERVSI_2=<POWERVSI_2>           # Virtual server 2 instance id
export JUMBO="true or false"             # Enable Jumbo frames

# NFS settings
export NFS_SERVER="NFS server"           # Hostname or IP address of the highly available NFS server
export NFS_SHARE="NFS server directory"  # Exported file system directory on the NFS server
export NFS_OPTIONS="rw,sec=sys"          # Sample NFS client mount options

Les commandes d'exportation suivantes sont un exemple de la manière de définir les variables d'environnement supplémentaires nécessaires à la mise en œuvre d'une région multizone.

# General settings
export CLUSTERNAME="SAP_S01"         # Cluster name
export NODE1="cl-s01-1"              # Virtual service instance 1 hostname
export NODE2="cl-s01-2"              # Virtual server instance 2 hostname

export SID="S01"                     # SAP System ID (uppercase)
export sid="s01"                     # SAP System ID (lowercase)

# ASCS instance
export ASCS_INSTNO="21"              # ASCS instance number
export ASCS_NET="s01-ascs-net"       # Name for the ASCS subnet in IBM Cloud
export ASCS_CIDR="10.40.21.100/30"   # CIDR of the ASCS subnet containing the service IP address
export ASCS_VH="s01ascs"             # ASCS virtual hostname
export ASCS_IP="10.40.21.102"        # ASCS virtual IP address

# ERS instance
export ERS_INSTNO="22"               # ERS instance number
export ERS_NET="s01-ers-net"         # Name for the ERS subnet in IBM Cloud
export ERS_CIDR="10.40.22.100/30"    # CIDR of the ERS subnet containing the service IP address
export ERS_VH="s01ers"               # ERS virtual hostname
export ERS_IP="10.40.22.102"         # ERS virtual IP address

# Other multizone region settings
export CLOUD_REGION="eu-de"
export IBMCLOUD_CRN_1="crn:v1:bluemix:public:power-iaas:eu-de-2:a/a1b2c3d4e5f60123456789a1b2c3d4e5:a1b2c3d4-0123-4567-89ab-a1b2c3d4e5f6::"
export IBMCLOUD_CRN_2="crn:v1:bluemix:public:power-iaas:eu-de-1:a/a1b2c3d4e5f60123456789a1b2c3d4e5:e5f6a1b2-cdef-0123-4567-a1b2c3d4e5f6::"
export POWERVSI_1="a1b2c3d4-0123-890a-f012-0123456789ab"
export POWERVSI_2="e5f6a1b2-4567-bcde-3456-cdef01234567"
export APIKEY="@/root/.apikey.json"
export API_TYPE="private"
export JUMBO="true"

# NFS settings
export NFS_SERVER="cl-nfs"           # Hostname or IP address of the highly available NFS server
export NFS_SHARE="/sapS01"           # Exported file system directory on the NFS server
export NFS_OPTIONS="rw,sec=sys"      # Sample NFS client mount options

Création de points de montage pour les systèmes de fichiers de l'instance

Sur les deux nœuds du cluster, exécutez la commande suivante pour créer les points de montage requis pour les systèmes de fichiers de l'instance SAP.

mkdir -p /usr/sap/${SID} /sapmnt/${SID}

Configuration des propriétés générales du cluster

Pour empêcher le cluster de relocaliser des ressources saines, par exemple lors du redémarrage d'un nœud précédemment défaillant, définissez les métaattributs par défaut suivants.

• resource-stickiness=1: Assure que les ressources restent sur leur nœud actuel.
• migration-threshold=3: Limite le nombre d'échecs avant qu'une ressource ne soit déplacée.

Sur NODE1, exécutez la commande suivante.

pcs resource defaults update resource-stickiness=1

pcs resource defaults update migration-threshold=3

Configuration des montages NFS

Le système d'exploitation monte les systèmes de fichiers NFS sur tous les nœuds du cluster. Ces montages ne sont pas gérés par le cluster HA et doivent être configurés manuellement dans la table des systèmes de fichiers /etc/fstab.

Dans cet exemple, le serveur NFS exporte les sous-répertoires SAP_${SID}/sapmnt et SAP_${SID}/usrsap${sid}. Ajustez les chemins d'accès en fonction de la configuration de votre serveur NFS.

Exécutez les commandes suivantes sur les deux nœuds du cluster.

1. Vérifiez si /etc/fstab contient déjà des entrées pour les systèmes de fichiers sapmnt et saptrans. Si ce n'est pas le cas, ajoutez les entrées de montage nécessaires.

   Veillez à adapter les chemins d'exportation à la configuration de votre serveur NFS.

   cat >> /etc/fstab << EOT
   ${NFS_SERVER}:${NFS_SHARE}/SAP_${SID}/sapmnt /sapmnt/${SID} nfs4 ${NFS_OPTIONS} 0 0
   EOT
   

   cat >> /etc/fstab << EOT
   ${NFS_SERVER}:${NFS_SHARE}/SAP_${SID}/usrsap${sid} /usr/sap/${SID} nfs4 ${NFS_OPTIONS} 0 0
   EOT
   

   Veillez à ce que des entrées en double ne soient pas ajoutées à /etc/fstab. N'utilisez cat >> que si les entrées n'existent pas.

2. Montez les systèmes de fichiers NFS sur les deux nœuds du cluster.

   mount /usr/sap/${SID}
   

   mount /sapmnt/${SID}
   

Préparation de l'installation de l'instance ASCS sur NODE1

Sur NODE1, exécutez la commande suivante pour créer une ressource de cluster powervs-subnet pour l'adresse IP virtuelle ASCS.

pcs resource create ${sid}_vip_ascs${ASCS_INSTNO} powervs-subnet \
    api_key=${APIKEY} \
    api_type=${API_TYPE} \
    cidr=${ASCS_CIDR} \
    ip=${ASCS_IP} \
    crn_host_map="${NODE1}:${IBMCLOUD_CRN_1};${NODE2}:${IBMCLOUD_CRN_2}" \
    vsi_host_map="${NODE1}:${POWERVSI_1};${NODE2}:${POWERVSI_2}" \
    jumbo=${JUMBO} \
    region=${CLOUD_REGION} \
    subnet_name=${ASCS_NET} \
    route_table=5${ASCS_INSTNO} \
    op start timeout=720 \
    op stop timeout=300 \
    op monitor interval=90 timeout=45 \
    group ${sid}_ascs${ASCS_INSTNO}_group \
    --future

Préparation de l'installation de l'instance ERS sur NODE2

Sur NODE1, exécutez la commande suivante pour créer une ressource de cluster powervs-subnet pour l'adresse IP virtuelle ERS.

pcs resource create ${sid}_vip_ers${ERS_INSTNO} powervs-subnet \
    api_key=${APIKEY} \
    api_type=${API_TYPE} \
    cidr=${ERS_CIDR} \
    ip=${ERS_IP} \
    crn_host_map="${NODE1}:${IBMCLOUD_CRN_1};${NODE2}:${IBMCLOUD_CRN_2}" \
    vsi_host_map="${NODE1}:${POWERVSI_1};${NODE2}:${POWERVSI_2}" \
    jumbo=${JUMBO} \
    region=${CLOUD_REGION} \
    subnet_name=${ERS_NET} \
    route_table=5${ERS_INSTNO} \
    op start timeout=720 \
    op stop timeout=300 \
    op monitor interval=90 timeout=45 \
    group ${sid}_ers${ERS_INSTNO}_group \
    --future

Vérification de la configuration du cluster

Sur NODE1, exécutez la commande suivante pour vérifier la configuration actuelle du cluster et vous assurer que toutes les ressources sont correctement définies et actives.

pcs status --full

Exemple de sortie :

# pcs status --full
Cluster name: SAP_S01
Cluster Summary:
  * Stack: corosync (Pacemaker is running)
  * Current DC: cl-s01-1 (1) (version 2.1.7-5.2.el9_4-0f7f88312) - partition with quorum
  * Last updated: Wed Mar  5 14:45:48 2025 on cl-s01-1
  * Last change:  Wed Mar  5 14:41:38 2025 by hacluster via hacluster on cl-s01-2
  * 2 nodes configured
  * 2 resource instances configured

Node List:
  * Node cl-s01-1 (1): online, feature set 3.19.0
  * Node cl-s01-2 (2): online, feature set 3.19.0

Full List of Resources:
  * Resource Group: s01_ascs21_group:
    * s01_vip_ascs21    (ocf:heartbeat:powervs-subnet):  Started cl-s01-1
  * Resource Group: s01_ers22_group:
    * s01_vip_ers22     (ocf:heartbeat:powervs-subnet):  Started cl-s01-2

Migration Summary:

Tickets:

PCSD Status:
  cl-s01-1: Online
  cl-s01-2: Online

Daemon Status:
  corosync: active/disabled
  pacemaker: active/disabled
  pcsd: active/enabled
  sbd: active/enabled

Assurez-vous que le groupe de ressources du cluster ${sid}_ascs${ASCS_INSTNO}_group s'exécute sur NODE1 et que le groupe de ressources du cluster ${sid}_ers${ERS_INSTNO}_group s'exécute sur NODE2. Si nécessaire, utilisez la commande pcs resource move <resource_group_name> pour relocaliser le groupe de ressources sur le nœud approprié.

Modification de la propriété des points de montage ASCS et ERS

Les points de montage ASCS et ERS doivent appartenir à l'utilisateur sidadm. Avant de commencer l'installation de l'instance, assurez-vous que les utilisateurs et les groupes requis sont définis et que la propriété du point de montage est correctement définie.

Suivez ces étapes sur les deux nœuds pour configurer la propriété correcte.

1. Lancez le site SAP Software Provisioning Manager (SWPM) pour créer les utilisateurs et les groupes du système d'exploitation.

   <swpm>/sapinst
   

   Dans l'interface web de SWPM, allez dans Renommer le système > Préparations > Utilisateurs et groupes du système d'exploitation. Enregistrez les identifiants de l'utilisateur et du groupe et vérifiez qu'ils sont identiques sur les deux nœuds.

2. Modifier la propriété des points de montage.

   chown -R ${sid}adm:sapsys /sapmnt/${SID} /usr/sap/${SID}
   

Désactivation du démarrage automatique des agents de l'instance SAP pour ASCS et ERS

Désactiver le démarrage automatique des agents de l'instance sapstartsrv pour les instances ASCS et ERS après un redémarrage du système.

cat /usr/sap/sapservices

systemctl --no-ask-password start SAPS01_01 # sapstartsrv pf=/usr/sap/S01/SYS/profile/S01_ASCS01_cl-sap-scs

LD_LIBRARY_PATH=/usr/sap/S01/ASCS01/exe:$LD_LIBRARY_PATH;export LD_LIBRARY_PATH;/usr/sap/S01/ASCS01/exe/sapstartsrv pf=/usr/sap/S01/SYS/profile/S01_ASCS01_cl-sap-scs -D -u s01adm

sed -i -e 's/^LD_LIBRARY_PATH=/#LD_LIBRARY_PATH=/' /usr/sap/sapservices

#LD_LIBRARY_PATH=/usr/sap/S01/ASCS01/exe:$LD_LIBRARY_PATH;export LD_LIBRARY_PATH;/usr/sap/S01/ASCS01/exe/sapstartsrv pf=/usr/sap/S01/SYS/profile/S01_ASCS01_cl-sap-scs -D -u s01adm

systemctl disable --now SAP${SID}_${ASCS_INSTNO}.service

systemctl disable --now SAP${SID}_${ERS_INSTNO}.service

mkdir /etc/systemd/system/SAP${SID}_${ASCS_INSTNO}.service.d

mkdir /etc/systemd/system/SAP${SID}_${ERS_INSTNO}.service.d

cat >> /etc/systemd/system/SAP${SID}_${ASCS_INSTNO}.service.d/HA.conf << EOT
[Service]
Restart=no
EOT

cat >> /etc/systemd/system/SAP${SID}_${ERS_INSTNO}.service.d/HA.conf << EOT
[Service]
Restart=no
EOT

systemctl daemon-reload

Installation des clés de licence permanentes SAP

Lorsque l'instance ASCS SAP fonctionne sur une instance Power Virtual Server, le mécanisme de licence SAP utilise l'UUID de la partition pour générer la clé matérielle. Pour plus de détails, voir SAP note 2879336 - Hardware key based on unique ID.

Sur les deux nœuds, exécutez la commande suivante en tant qu'utilisateur sidadm pour récupérer la clé matérielle.

sudo -i -u ${sid}adm -- sh -c 'saplikey -get'

Exemple de sortie :

$ sudo -i -u ${sid}adm -- sh -c 'saplikey -get'

saplikey: HARDWARE KEY = H1428224519

Enregistrez le site HARDWARE KEY de chaque nœud.

Vous avez besoin des clés matérielles des deux nœuds pour demander des clés de licence SAP distinctes. Pour obtenir des conseils sur la demande de clés de licence pour les systèmes de basculement, consultez les notes suivantes : SAP:

• 2879336 - Clé matérielle basée sur un identifiant unique
• 2662880 - Comment demander les clés de licence SAP pour les systèmes de basculement

Installation des agents de ressources SAP

Installer les logiciels nécessaires. Le paquetage resource-agents-sap fournit l' agent de ressources de cluster SAPInstance qui est utilisé pour gérer les instances SAP.

Si sap_cluster_connector n'est pas configuré pour l'instance SAP, le cluster RHEL HA Add-On traite tout changement d'état comme un problème potentiel. Lorsque des outils externes SAP tels que sapcontrol sont utilisés pour gérer l'instance, sap_cluster_connector permet une interaction sûre avec les instances SAP fonctionnant dans le cluster. Si les instances SAP sont gérées exclusivement par des outils de cluster, sap_cluster_connector n'est pas nécessaire.

Installez les paquets pour l'agent de ressources de cluster et la bibliothèque SAP Cluster Connector. Pour plus de détails, consultez Comment activer l'interface SAP HA pour les instances de serveur d'applications SAP ABAP gérées par le module complémentaire RHEL HA

Sur les deux nœuds, exécutez les commandes suivantes.

Si nécessaire, utilisez subscription-manager pour activer le référentiel SAP NetWeaver. Pour obtenir des instructions, reportez-vous à la documentation RHEL for SAP Subscriptions and Repositories.

subscription-manager repos --enable="rhel-8-for-ppc64le-sap-netweaver-e4s-rpms"

Installez les packages requis.

dnf install -y resource-agents-sap sap-cluster-connector

Configuration de SAP Cluster Connector

Ajoutez l'utilisateur sidadm au groupe haclient sur les deux nœuds.

usermod -a -G haclient ${sid}adm

Adaptation des profils d'instance SAP

Modifier les profils de démarrage des instances SAP qui sont gérées par des outils SAP en dehors du cluster. Le cluster RHEL HA Add-On et ses agents de ressources peuvent contrôler les instances ASCS et ERS. Pour empêcher les redémarrages automatiques des processus d'instance, adaptez les profils d'instance SAP en conséquence.

Sur NODE1, passez au répertoire de profil SAP.

cd /sapmnt/${SID}/profile

Remplacer toutes les entrées Restart_Program par Start_Program dans les profils d'instance ASCS et ERS.

sed -i -e 's/Restart_Program_\([0-9][0-9]\)/Start_Program_\1/' ${SID}_ASCS${ASCS_INSTNO}_${ASCS_VH}

sed -i -e 's/Restart_Program_\([0-9][0-9]\)/Start_Program_\1/' ${SID}_ERS${ERS_INSTNO}_${ERS_VH}

Ajoutez les lignes suivantes à la fin des profils d'instance ASCS et ERS pour permettre l'intégration de sap_cluster_connector:

service/halib = $(DIR_EXECUTABLE)/saphascriptco.so
service/halib_cluster_connector = /usr/bin/sap_cluster_connector

Configuration du groupe de ressources du cluster ASCS

Sur NODE1, exécutez la commande suivante pour créer une ressource de cluster qui gère l'agent de l'instance SAP pour l'instance ASCS.

pcs resource create ${sid}_srv_ascs${ASCS_INSTNO} SAPStartSrv \
    InstanceName="${SID}_ASCS${ASCS_INSTNO}_${ASCS_VH}" \
    group ${sid}_ascs${ASCS_INSTNO}_group \
    --future

Ensuite, sur NODE1, créez une ressource cluster pour gérer l'instance ASCS.

pcs resource create ${sid}_ascs${ASCS_INSTNO} SAPInstance \
    InstanceName="${SID}_ASCS${ASCS_INSTNO}_${ASCS_VH}" \
    START_PROFILE=/sapmnt/${SID}/profile/${SID}_ASCS${ASCS_INSTNO}_${ASCS_VH} \
    AUTOMATIC_RECOVER=false \
    meta resource-stickiness=5000 \
    migration-threshold=1 failure-timeout=60 \
    op monitor interval=20 on-fail=restart timeout=60 \
    op start interval=0 timeout=600 \
    op stop interval=0 timeout=600 \
    group ${sid}_ascs${ASCS_INSTNO}_group \
    --future

L'option meta resource-stickiness=5000 équilibre le comportement de basculement de l'instance ERS. Cette option garantit que la ressource reste sur son nœud d'origine et ne migre pas de manière inattendue au sein du cluster.

Pour s'assurer que l'instance ASCS reste sur son nœud désigné, ajoutez de l'adhérence aux ressources au groupe.

pcs resource meta ${sid}_ascs${ASCS_INSTNO}_group \
    resource-stickiness=3000

Configuration du groupe de ressources du cluster ERS

Sur NODE2, exécutez la commande suivante pour créer une ressource de cluster qui gère l'agent de l'instance SAP pour l'instance ERS.

pcs resource create ${sid}_srv_ers${ERS_INSTNO} SAPStartSrv \
    InstanceName="${SID}_ERS${ERS_INSTNO}_${ERS_VH}" \
    group ${sid}_ers${ERS_INSTNO}_group \
    --future

Ensuite, sur NODE2, créez une ressource de cluster pour gérer l'instance ERS.

pcs resource create ${sid}_ers${ERS_INSTNO} SAPInstance \
    InstanceName="${SID}_ERS${ERS_INSTNO}_${ERS_VH}" \
    START_PROFILE=/sapmnt/${SID}/profile/${SID}_ERS${ERS_INSTNO}_${ERS_VH} \
    AUTOMATIC_RECOVER=false \
    IS_ERS=true \
    op monitor interval=20 on-fail=restart timeout=60 \
    op start interval=0 timeout=600 \
    op stop interval=0 timeout=600 \
    group ${sid}_ers${ERS_INSTNO}_group \
    --future

Configuration des contraintes du cluster

Sur NODE1, exécutez les commandes suivantes pour configurer les contraintes du cluster.

Une contrainte de colocalisation garantit que les groupes de ressources ${sid}_ascs${ASCS_INSTNO}_group et ${sid}_ers${ERS_INSTNO}_group ne s'exécutent pas sur le même nœud, si au moins deux nœuds sont disponibles. Si un seul nœud est disponible, la valeur d'adhérence de -5000 permet aux deux groupes de s'exécuter sur le même nœud.

pcs constraint colocation add \
    ${sid}_ers${ERS_INSTNO}_group with ${sid}_ascs${ASCS_INSTNO}_group -- -5000

Une contrainte d'ordre garantit que ${sid}_ascs${ASCS_INSTNO}_group commence avant ${sid}_ers${ERS_INSTNO}_group.

pcs constraint order start \
    ${sid}_ascs${ASCS_INSTNO}_group then stop ${sid}_ers${ERS_INSTNO}_group \
    symmetrical=false \
    kind=Optional