クローラー・ポッドでの永続ボリューム請求の作成とマウント

ローカル・ファイル・システムをクロールする前に、Persistent Volume Claim を作成し、それを crawler ポッドにマウントする必要があります。 また、クロール対象のファイルを、作業中の Discovery クラスターにコピーする必要があります。 複数の Discovery クラスターがある場合は、このタスクで作成する crawler-pvc-portworx.yaml ファイルとともにファイルを各クラスターにコピーする必要があります。

以下のステップを実行します。

1. 以下のコマンドを入力して、Portworx プロビジョナーの storageclass 名を確認します。

   oc get storageclass | grep portworx-gp3-sc
   

   以下のような出力が表示されます。

   NAME             PROVISIONER                    RECLAIMPOLICY  VOLUMEBINDINGMODE  ALLOWVOLUMEEXPANSION  AGE
   portworx-gp3-sc  kubernetes.io/portworx-volume  Retain         Immediate          true                  51d
   

2. crawler-pvc-portworx.yaml という名前のファイルを作成して、以下の内容の Persistent Volume Claim (PVC) を定義します。

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: <name-of-portworx-pvc>
   spec:
     accessModes:
       - ReadWriteMany
     resources:
       requests:
         storage: 10Gi
     storageClassName: portworx-gp3-sc
   

   <name-of-portworx-pvc> を、動的 Portworx 永続ボリューム要求の名前に置き換えます。 例えば、jdoe-pvc-portworx

3. 永続ボリュームの主張を作成するには、以下のコマンドを入力します

   oc create -f crawler-pvc-portworx.yaml
   

   以下のメッセージが表示されます。

   persistentvolumeclaim/jdoe-pvc-portworx created
   

4. crawler ポッドに永続ボリュームの主張をマウントするには、以下のコマンドを入力します

   oc patch wd wd --type=merge \
   --patch='{"spec": {"ingestion": {"crawler": {"mount": {"enabled": true, "persistentVolumeClaimName": "<name-of-portworx-pvc>" } } } } }'
   

   <name-of-portworx-pvc> を、動的 Portworx 永続ボリューム要求の名前に置き換えます。 例えば、jdoe-pvc-portworxです。

5. 以下のコマンドを入力して、クロール対象ファイルを動的 Portworx 永続ボリューム請求にコピーします。

   このコマンドは、既存の crawler ポッドのいずれかに対して1回実行するだけで十分です。 持続的なボリュームの主張は、すべての crawler および ingestion-api ポッドで共有されています。 コマンド内の変数を適切な情報に置き換えます。

   oc rsync <path-to-local-file-system-folder> <crawler-pod>:/mnt
   

パーシスタント・ボリューム・クレーム (PVC) をマウントし、クロールするファイルを PVC にコピーしました。

外部 NFS サーバーの構成

クロール対象となるローカル・ファイル・システムのファイルまたはフォルダーが外部ネットワーク・ファイル・システム (NFS) 内に保管されている場合、外部 NFS サーバーを使用して永続ボリューム請求を作成できます。

1. crawler-pv-nfs.yaml という名前で、以下の内容のファイルを作成します

   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: <persistent-volume-name>
     labels:
       pv-name: <persistent-volume-name>
   spec:
     capacity:
       storage: 10Gi
     accessModes:
       - ReadWriteMany
     persistentVolumeReclaimPolicy: Retain
     nfs:
       server: <NFS server hostname or IP address>
       path: <Path of NFS exported folder>
   

   <persistent-volume-name> への参照を永続ボリュームの名前に置き換えます。 例えば、 jdoe-nfs-pv と入力し、欠落している外部 NFS の詳細を追加します。

2. 永続ボリュームの主張を作成するには、以下のコマンドを入力します

   oc create -f crawler-pv-nfs.yaml
   

   以下のメッセージが表示されます。

   persistentvolume/jdoe-nfs-pv created
   

3. crawler-pvc-nfs.yaml というファイルを作成し、以下の内容を入力します

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: <persistent-volume-claim-name>
   spec:
     accessModes:
       - ReadWriteMany
     resources:
       requests:
         storage: 10Gi
     selector:
       matchLabels:
         pv-name: <persistent-volume-name>
   

   以下の変数を置き換えます。

   • <persistent-volume-claim-name>: 永続ボリュームの主張の名前を指定します。 例えば、jdoe-nfs-pvcです。
   • <persistent-volume-name>: 永続ボリュームの名前を指定します。 例えば、jdoe-nfs-pvです。

4. 永続ボリュームの主張を作成するには、以下のコマンドを入力します

   oc create -f crawler-pvc-nfs.yaml
   

   以下のメッセージが表示されます。

   persistentvolumeclaim/jdoe-nfs-pvc created
   

5. crawler ポッドに永続ボリュームの主張をマウントするには、以下のコマンドを入力します。

   このコマンドは、すべての ingestion-api ポッドに永続ボリュームの主張をマウントします。 <persistent-volume-claim-name> を、永続ボリューム要求の名前に置き換えます。 例えば、jdoe-nfs-pvc などです。

   oc patch wd wd --type=merge \
   --patch='{"spec": {"ingestion": {"crawler": {"mount": {"enabled": true, "persistentVolumeClaimName": "<persistent-volume-claim-name>" } } } } }'
   

NFS ストレージクラスを使用した動的プロビジョニングの設定

ローカルのファイルシステム上のファイルやフォルダをクロールしたいが、それらのファイルやフォルダを保存するための追加の NFS サーバーを用意したくない場合は、 NFS ストレージクラスを使用して動的ストレージを設定することができます。

Discovery がサポートするストレージプロバイダーの詳細およびストレージの比較については 、「ストレージに関する考慮事項 」を参照してください。

このタスクを完了する前に、クロールしたいファイルを、作業中の Discovery クラスタにコピーしてください。 複数の Discovery クラスターがある場合は、このタスクで作成した crawler-pvc-dynamic.yaml ファイルとともにファイルを各クラスターにコピーする必要があります。

以下のステップを実行します。

1. 以下のコマンドを入力して、NFS プロビジョナーの storageclass 名を確認します。

   oc get storageclass
   

   メッセージが表示されます。

   NAME        PROVISIONER                                     RECLAIMPOLICY  VOLUMEBINDINGMODE  ALLOWVOLUMEEXPANSION  AGE
   nfs-client  cluster.local/innocence-nfs-client-provisioner  Delete         Immediate          true                  177m
   

2. crawler-pvc-dynamic.yaml という名前のファイルを作成し、そのファイルに以下の内容を追加します。

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: <name-of-dynamic-pvc>
   spec:
     accessModes:
       - ReadWriteMany
     resources:
       requests:
         storage: 10Gi
     storageClassName: nfs-client
   

   <name-of-dynamic-pvc> を、動的 NFS 永続ボリューム要求の名前に置き換えます。 例えば、jdoe-dynamic-pvcです。

3. 永続ボリュームの主張を作成するには、以下のコマンドを入力します

   oc create -f crawler-pvc-dynamic.yaml
   

   メッセージが表示されます。

   persistentvolumeclaim/jdoe-dynamic-pvc created
   

4. crawler ポッドに永続ボリュームの主張をマウントするには、以下のコマンドを入力します。

   このコマンドは、すべての ingestion-api ポッドに永続ボリュームの主張をマウントします。

   oc patch wd wd --type=merge \
   --patch='{"spec": {"ingestion": {"crawler": {"mount": {"enabled": true, "persistentVolumeClaimName": "<name-of-dynamic-pvc>" } } } } }'
   

   <name-of-dynamic-pvc> を、前のステップの動的 NFS 永続ボリューム要求の名前に置き換えます。 例えば、jdoe-dynamic-pvcです。

5. 以下のコマンドを入力して、クロール対象ファイルを動的 NFS 永続ボリューム請求にコピーします。

   このコマンドは、既存の crawler ポッドの 1 つに対して 1 回のみ実行する必要があります。 持続的なボリュームの主張は、すべての crawler および ingestion-api ポッドで共有されています。 コマンド内の変数を適切な情報に置き換えます。

   oc rsync <path-to-local-file-system-folder> <crawler-pod>:/mnt
   

Persistent Volume Claim (PVC) をマウントし、クロールする必要があるすべてのファイルを PVC にコピーしました。