アクティブ-パッシブHA LVMの準備

両方のノードで、ボリュームグループにシステムIDを含めるようにファイル /etc/lvm/lvm.conf を編集します。 構成設定 system_id_source を検索し、その値を「uname」に変更します。

/etc/lvm/lvm.conf における system_id_source の設定例：

# grep "system_id_source ="  /etc/lvm/lvm.conf
system_id_source = "uname"

ノードの LVM system ID が uname -n の出力と一致していることを確認してください。

lvm systemid

uname -n

出力例:

# lvm systemid
  system ID: cl-nfs-1
# uname -n
  cl-nfs-1

共有ストレージボリュームのワールドワイド名を特定する

共有ボリュームグループで使用されているすべてのボリュームのワールドワイド名（WWN）を特定します。

1. IBM Cloud® にログインし、 Power Virtual Server の ストレージボリュームの表示に移動します。

2. ワークスペースを選択します。

3. ストレージボリュームのリストでボリュームのプレフィックスをフィルタリングし、対象のボリュームのワールドワイド名をすべて特定します （ワールドワイド名は 32桁の16進数です）。

   それらのボリュームの属性 「共有可能」 が 「オン」 になっていることを確認してください。

4. 仮想サーバーインスタンスの表示で、クラスタの仮想サーバーインスタンスの両方に移動し、スコープボリュームが両方の仮想サーバーインスタンスにアタッチされていることを確認します。

物理ボリュームの作成

NODE1 で、以下のコマンドを実行する。

pvcreate /dev/mapper/${NFS_PVID}

出力例:

pvcreate /dev/mapper/${NFS_PVID}
  Physical volume "/dev/mapper/360050768108103357000000000002ddc" successfully created.

ボリュームグループの作成

NODE1 で、 NFS エクスポート用のボリュームグループを作成します。

vgcreate ${NFS_VG} /dev/mapper/${NFS_PVID}

システムID が設定されていることを確認してください。

vgs -o+systemid

出力例:

# vgs -o+systemid
  VG          #PV #LV #SN Attr   VSize   VFree   System ID
  nfssharevg    1   0   0 wz--n- <50.00g <50.00g cl-sap-1

論理ボリュームの作成

NODE1 で、 NFS のエクスポート用に3つの論理ボリュームを作成します。

lvcreate -l ${NFS_SZ1} -n ${NFS_LV1} ${NFS_VG}

lvcreate -l ${NFS_SZ2} -n ${NFS_LV2} ${NFS_VG}

lvcreate -l ${NFS_SZ3} -n ${NFS_LV3} ${NFS_vg}

ファイルシステムを作成する

NODE1 で、 NFS エクスポート用のファイルシステムを作成します。

この例では、ファイルシステムタイプとして xfs を使用しています。 他のファイルシステムタイプも可能です。 次に、リソース定義を変更する必要があります。

mkfs.xfs /dev/${NFS_VG}/${NFS_LV1}

mkfs.xfs /dev/${NFS_VG}/${NFS_LV2}

mkfs.xfs /dev/${NFS_VG}/${NFS_LV3}

NFS のエクスポート用マウントポイントの作成

両方のノードで、以下のコマンドを実行します。

mkdir -p ${NFS_FS1}

ボリュームグループが複数のクラスタノードでアクティブ化されていないことを確認する

Pacemaker によって管理されるボリュームグループは、起動時に自動的にアクティブ化されてはなりません。

RHEL 8.5 以降では、vgcreateコマンドに --setautoactivation n フラグを指定してボリュームグループを作成すると、ボリュームグループの自動アクティベーションを無効にすることができます。

両方のノードで、ファイル /etc/lvm/lvm.conf を編集し、 auto_activation_volume_list のエントリを変更して、自動アクティベーションを特定のボリュームグループに限定します。 パラメータ auto_activation_volume_list を検索し、 NFS クラスタ用に定義したボリュームグループ以外のボリュームグループを、そのリストのエントリとして追加します。

/etc/lvm/lvm.conf の auto_activation_volume_list のエントリーのサンプル設定：

auto_activation_volume_list = [ "rhel_root" ]

initramfsブートイメージを再構築し、クラスタによって制御されているボリュームグループが起動イメージによって起動されないようにします。

両方のノードで、以下のコマンドを実行します。

dracut -H -f /boot/initramfs-$(uname -r).img $(uname -r)

両方のノードを再起動します。

LVM-activateリソースの作成

すべての NFS リソースが同じノードで実行されるようにするには、リソースグループ nfsgroup の一部としてそれらを設定します。

このリソースグループは、最初のリソースとともに作成されます。 リソースはグループに追加された順番に並びます。 リソースは逆順で停止します。

NODE1 で、以下のコマンドを実行する。

pcs resource create nfs_vg ocf:heartbeat:LVM-activate \
    vgname=${NFS_VG} \
    vg_access_mode=system_id \
    --group nfsgroup

データ破損を避けるため、アクティブ-パッシブHA構成で同じLVMボリュームグループを使用する LVM-activateリソースを1つ以上構成しないでください。 アクティブ-パッシブHA構成において、LVM-activateリソースをクローンリソースとして構成しないでください。

クラスタのステータスを確認し、リソース nfs_vg がアクティブであることを確認します。

NODE1 で、以下のコマンドを実行する。

pcs resource status

出力例:

# pcs resource status
  * Resource Group: nfsgroup:
    * nfs_vg    (ocf::heartbeat:LVM-activate):   Started cl-nfs-1

次のコマンドは、 nfsgroup リソースグループの xfs ファイルシステムリソースを設定します。 ファイルシステムは、以前に作成されたLVMボリュームグループ ${NFS_vg} と論理ボリューム（${NFS_LV1}、 ${NFS_LV2}、 ${NFS_LV3} ）を使用します。

NODE1 で、以下のコマンドを実行する。

pcs resource create nfs_fs1 Filesystem \
    device=/dev/${NFS_VG}/${NFS_LV1} \
    directory=${NFS_FS1} \
    fstype=xfs \
    --group nfsgroup

options=<options> パラメータを使用して、ファイルシステムリソースのリソース構成の一部としてマウントオプションを指定することができます。 pcs resource describe filesystem を実行すると、設定オプションの完全なリストが表示されます。

クラスタの状態を確認し、リソース nfs_fs1 がアクティブであることを確認します。

pcs resource status

出力例:

# pcs resource status
  * Resource Group: nfsgroup:
    * nfs_vg    (ocf::heartbeat:LVM-activate):   Started cl-nfs-1
    * nfs_fs1   (ocf::heartbeat:Filesystem):     Started cl-nfs-1

アクティブなリソースグループを持つノード nfsgroup で、 ${NFS_FS1} に2つのサブディレクトリを作成します。 ${NFS_FS1}/stat nfs_shared_infodir は ロック情報用、 は ルート用として使用されます。 NFS ${NFS_FS1}/export NFS

mkdir ${NFS_FS1}/stat ${NFS_FS1}/export

他のエクスポートされたファイルシステム用のマウントポイントを作成します。

両方のノードで、以下のコマンドを実行します。

mkdir ${NFS_FS2} ${NFS_FS3}

他の2つの NFS ファイルシステム用のリソースを作成します。

NODE1 で、以下のコマンドを実行する。

pcs resource create nfs_fs2 Filesystem \
    device=/dev/${NFS_VG}/${NFS_LV2} \
    directory=${NFS_FS2} \
    fstype=xfs \
    --group nfsgroup

pcs resource create nfs_fs3 Filesystem \
    device=/dev/${NFS_VG}/${NFS_LV3} \
    directory=${NFS_FS3} \
    fstype=xfs \
    --group nfsgroup

クラスタのステータスを確認し、3つのファイルシステムリソース（nfs_fs1、 nfs_fs2、 nfs_fs3 ）がすべてアクティブであることを確認します。

pcs resource status

出力例:

# pcs resource status
  * Resource Group: nfsgroup:
    * nfs_vg    (ocf::heartbeat:LVM-activate):   Started cl-nfs-1
    * nfs_fs1   (ocf::heartbeat:Filesystem):     Started cl-nfs-1
    * nfs_fs2   (ocf::heartbeat:Filesystem):     Started cl-nfs-1
    * nfs_fs3   (ocf::heartbeat:Filesystem):     Started cl-nfs-1

nfsserverリソースの作成

NODE1 で、 NFS サーバーを管理するためのリソースを作成します。

pcs resource create nfs_daemon nfsserver \
    nfs_shared_infodir=${NFS_FS1}/stat \
    nfs_no_notify=true \
    --group nfsgroup

nfsserver リソースの nfs_shared_infodir パラメータは、 NFS サーバーがステートフル情報を保存するディレクトリを指定します。

クラスタの状態を確認し、 NFS サーバーが起動していることを確認します。

pcs resource status

出力例:

# pcs resource status
  * Resource Group: nfsgroup:
    * nfs_vg    (ocf::heartbeat:LVM-activate):   Started cl-nfs-1
    * nfs_fs1   (ocf::heartbeat:Filesystem):     Started cl-nfs-1
    * nfs_fs2   (ocf::heartbeat:Filesystem):     Started cl-nfs-1
    * nfs_fs3   (ocf::heartbeat:Filesystem):     Started cl-nfs-1
    * nfs_daemon        (ocf::heartbeat:nfsserver):      Started cl-nfs-1

exportfsリソースの作成

${NFS_ROOT} ディレクトリをエクスポートするには、 nfsgroup グループに exportfsリソースを追加します。これにより、 NFSv4 クライアント用の仮想ディレクトリが構築されます。 NFSv3 クライアントもこれらのエクスポートにアクセスできます。

NODE1 で、以下のコマンドを実行する。

pcs resource create nfs_export exportfs \
    clientspec=${NFS_CLIENTSPEC} \
    options=${NFS_OPTIONS} \
    directory=${NFS_ROOT} \
    fsid=0 \
    --group nfsgroup

フローティングIPアドレスリソースの設定

「仮想 IP アドレスの予約 」の情報を確認し、 NFS クラスター用の仮想 IP アドレスを予約します。

NFS サーバーの仮想IPアドレスのリソースを作成します。 NFS クライアントは、フローティングIPアドレスを使用して の共有にアクセスします。 NFS

NODE1 で、以下のコマンドを実行する。

pcs resource create nfs_ip IPaddr2 \
    ip=${NFS_IP} \
    --group nfsgroup

通知リソースの設定

nfsnotifyリソースは、 FSv3NFS の展開全体が初期化された後に再起動通知を送信します。

NODE1 で、以下のコマンドを実行する。

pcs resource create nfs_notify nfsnotify \
    source_host=${NFS_IP} \
    --group nfsgroup

NFS クラスタのセットアップは完了しました。

NODE1 で、以下のコマンドを実行してステータスをチェックする。

pcs resource status

出力例:

# pcs resource status
  * Resource Group: nfsgroup:
    * nfs_vg    (ocf::heartbeat:LVM-activate):   Started cl-nfs-1
    * nfs_fs1   (ocf::heartbeat:Filesystem):     Started cl-nfs-1
    * nfs_fs2   (ocf::heartbeat:Filesystem):     Started cl-nfs-1
    * nfs_fs3   (ocf::heartbeat:Filesystem):     Started cl-nfs-1
    * nfs_daemon        (ocf::heartbeat:nfsserver):      Started cl-nfs-1
    * nfs_export        (ocf::heartbeat:exportfs):       Started cl-nfs-1
    * nfs_ip    (ocf::heartbeat:IPaddr2):        Started cl-nfs-1
    * nfs_notify        (ocf::heartbeat:nfsnotify):      Started cl-nfs-1

Test2- 説明

NFS のリソースを持つクラスタノードのクラッシュをシミュレートします。

Test2- 前提条件

• NFS HA サーバー用の機能的な2ノード RHEL HA アドオンクラスター。
• クラスタは両方のノードで起動します。
• ファイルシステムはクラスタ外の NFS クライアントノードにマウントされ、アプリケーションはコンテンツにアクセスできます。

Test2- 試験手順

シャットオフシステムリクエストを送信してクラスタノードをクラッシュさせる。

まず、クラスタのステータスを確認し*、nfsgroupリソースグループが*実行されているノードを特定します。

NODE1 で、以下のコマンドを実行する。

pcs status

次に、特定されたクラスタノードにログインし、 クラッシュシステムリクエストを送信します。

sync; echo c > /proc/sysrq-trigger

Test2- 期待される動作

• アクティブな nfsgroup リソースグループを持つノードがシャットダウンします。
• クラスタは故障したノードを検知し、フェンシング処理を開始します。
• フェンシング操作により、フェンシングされたノードの状態がオフラインに設定されます。
• クラスタはフェールオーバーノード上の NFS サーバーリソースを取得します。

フェールオーバーノード上ですべてのリソースが起動したことを確認します。

pcs resource status

出力例:

# pcs resource status
  * Resource Group: nfsgroup:
    * nfs_vg    (ocf::heartbeat:LVM-activate):   Started cl-nfs-2
    * nfs_fs1   (ocf::heartbeat:Filesystem):     Started cl-nfs-2
    * nfs_fs2   (ocf::heartbeat:Filesystem):     Started cl-nfs-2
    * nfs_fs3   (ocf::heartbeat:Filesystem):     Started cl-nfs-2
    * nfs_daemon        (ocf::heartbeat:nfsserver):      Started cl-nfs-2
    * nfs_export        (ocf::heartbeat:exportfs):       Started cl-nfs-2
    * nfs_ip    (ocf::heartbeat:IPaddr2):        Started cl-nfs-2
    * nfs_notify        (ocf::heartbeat:nfsnotify):      Started cl-nfs-2

NFS クライアントノードにファイルシステムがマウントされていること、およびアプリケーションがコンテンツにアクセスできることを確認してください。

Test2- 回復手順

IBM Cloud コンソールにログインし、停止したインスタンスを起動します。 クラスタノードが再び利用可能になるまで待ち、その後クラスタフレームワークを再起動します。

クラスタ・ノードで以下のコマンドを実行する。

pcs cluster start

クラスタのステータスを確認します。

pcs status

出力例:

# pcs status
Cluster name: SAP_NFS
Cluster Summary:
  * Stack: corosync
  * Current DC: cl-nfs-1 (version 2.0.5-9.el8_4.5-ba59be7122) - partition with quorum
  * Last updated: Mon Mar 20 08:11:28 2023
  * Last change:  Mon Mar 20 07:56:25 2023 by hacluster via crmd on cl-nfs-1
  * 2 nodes configured
  * 9 resource instances configured

Node List:
  * Online: [ cl-nfs-1 cl-nfs-2 ]

Full List of Resources:
  * res_fence_ibm_powervs	(stonith:fence_ibm_powervs):	 Started cl-nfs-1
  * Resource Group: nfsgroup:
    * nfs_vg	(ocf::heartbeat:LVM-activate):	 Started cl-nfs-2
    * nfs_fs1	(ocf::heartbeat:Filesystem):	 Started cl-nfs-2
    * nfs_fs2	(ocf::heartbeat:Filesystem):	 Started cl-nfs-2
    * nfs_fs3	(ocf::heartbeat:Filesystem):	 Started cl-nfs-2
    * nfs_daemon	(ocf::heartbeat:nfsserver):	 Started cl-nfs-2
    * nfs_export	(ocf::heartbeat:exportfs):	 Started cl-nfs-2
    * nfs_ip	(ocf::heartbeat:IPaddr2):	 Started cl-nfs-2
    * nfs_notify	(ocf::heartbeat:nfsnotify):	 Started cl-nfs-2

Daemon Status:
  corosync: active/disabled
  pacemaker: active/disabled
  pcsd: active/enabled