크롤러 팟(Pod)에서 지속적 볼륨 청구 작성 및 마운트

로컬 파일 시스템을 크롤링하려면 먼저 퍼시스턴트 볼륨 클레임을 만들어서 crawler 파드에 마운트해야 합니다. 또한 크롤링하려는 파일을 작업 중인 Discovery 클러스터에 복사해야 합니다. Discovery 클러스터가 여러 개 있는 경우 이 작업에서 만들 crawler-pvc-portworx.yaml 파일과 함께 파일을 각 클러스터에 복사해야 합니다.

다음 단계를 완료하십시오.

1. 다음 명령을 입력하여 Portworx 제공자의 storageclass 이름을 확인하십시오.

   oc get storageclass | grep portworx-gp3-sc
   

   다음과 유사한 출력이 표시됩니다.

   NAME             PROVISIONER                    RECLAIMPOLICY  VOLUMEBINDINGMODE  ALLOWVOLUMEEXPANSION  AGE
   portworx-gp3-sc  kubernetes.io/portworx-volume  Retain         Immediate          true                  51d
   

2. crawler-pvc-portworx.yaml 이라는 파일을 생성하여 다음 내용으로 영구 볼륨 클레임(PVC)을 정의합니다:

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: <name-of-portworx-pvc>
   spec:
     accessModes:
       - ReadWriteMany
     resources:
       requests:
         storage: 10Gi
     storageClassName: portworx-gp3-sc
   

   <name-of-portworx-pvc> 을 동적 Portworx 퍼시스턴트 볼륨 클레임의 이름으로 바꿉니다. 예: jdoe-pvc-portworx

3. 다음 명령을 입력하여 영구 볼륨 클레임을 생성합니다:

   oc create -f crawler-pvc-portworx.yaml
   

   메시지가 표시됩니다:

   persistentvolumeclaim/jdoe-pvc-portworx created
   

4. crawler pod에 영구 볼륨 클레임을 마운트하려면 다음 명령을 입력하십시오

   oc patch wd wd --type=merge \
   --patch='{"spec": {"ingestion": {"crawler": {"mount": {"enabled": true, "persistentVolumeClaimName": "<name-of-portworx-pvc>" } } } } }'
   

   <name-of-portworx-pvc> 을 동적 Portworx 퍼시스턴트 볼륨 클레임의 이름으로 바꿉니다. 예를 들어, jdoe-pvc-portworx입니다.

5. 다음 명령을 입력하여 크롤링할 파일을 동적 Portworx 지속적 볼륨 청구에 복사하십시오.

   crawler 의 기존 pod 중 하나에 대해 이 명령을 한 번만 실행하면 됩니다. 지속적인 볼륨 클레임은 모든 crawler 및 ingestion-api pod에 공유됩니다. 명령의 변수를 적절한 정보로 바꿉니다.

   oc rsync <path-to-local-file-system-folder> <crawler-pod>:/mnt
   

영구 볼륨 클레임(PVC)을 마운트하고 크롤링하려는 파일을 PVC에 복사했습니다.

외부 NFS 서버 구성하기

크롤링할 로컬 파일 시스템 파일 또는 폴더가 외부 네트워크 파일 시스템(NFS)에 저장된 경우 외부 NFS 서버를 사용하여 지속적 볼륨 청구를 작성할 수 있습니다.

1. crawler-pv-nfs.yaml 라는 이름의 파일을 만들고 다음 내용을 입력합니다:

   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: <persistent-volume-name>
     labels:
       pv-name: <persistent-volume-name>
   spec:
     capacity:
       storage: 10Gi
     accessModes:
       - ReadWriteMany
     persistentVolumeReclaimPolicy: Retain
     nfs:
       server: <NFS server hostname or IP address>
       path: <Path of NFS exported folder>
   

   <persistent-volume-name> 에 대한 참조를 퍼시스턴트 볼륨의 이름으로 바꿉니다. 예를 들어, jdoe-nfs-pv 를 입력하고 누락된 외부 NFS 세부 정보를 추가합니다.

2. 다음 명령을 입력하여 영구 볼륨 클레임을 생성합니다:

   oc create -f crawler-pv-nfs.yaml
   

   다음 메시지가 표시됩니다.

   persistentvolume/jdoe-nfs-pv created
   

3. crawler-pvc-nfs.yaml 라는 파일을 만들고 다음 내용을 입력합니다:

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: <persistent-volume-claim-name>
   spec:
     accessModes:
       - ReadWriteMany
     resources:
       requests:
         storage: 10Gi
     selector:
       matchLabels:
         pv-name: <persistent-volume-name>
   

   다음 변수를 대체하십시오.

   • <persistent-volume-claim-name>: 지속적 볼륨 클레임의 이름을 지정합니다. 예를 들어, jdoe-nfs-pvc입니다.
   • <persistent-volume-name>: 영구 볼륨의 이름을 지정합니다. 예를 들어, jdoe-nfs-pv입니다.

4. 다음 명령을 입력하여 영구 볼륨 클레임을 생성합니다:

   oc create -f crawler-pvc-nfs.yaml
   

   다음 메시지가 표시됩니다.

   persistentvolumeclaim/jdoe-nfs-pvc created
   

5. crawler 의 pod에 영구 볼륨 클레임을 마운트하려면 다음 명령을 입력하십시오.

   이 명령은 또한 모든 ingestion-api 포드에 퍼시스턴트 볼륨 클레임을 마운트합니다. <persistent-volume-claim-name> 를 영구 볼륨 클레임의 이름으로 바꿉니다. 예: jdoe-nfs-pvc.

   oc patch wd wd --type=merge \
   --patch='{"spec": {"ingestion": {"crawler": {"mount": {"enabled": true, "persistentVolumeClaimName": "<persistent-volume-claim-name>" } } } } }'
   

NFS 스토리지 클래스를 이용한 동적 프로비저닝 구성

로컬 파일 시스템 파일이나 폴더를 크롤링하고 싶지만, 그 파일이나 폴더를 저장하기 위해 별도의 NFS 서버를 준비하고 싶지 않다면, NFS 스토리지 클래스를 사용하여 동적 스토리지를 구성할 수 있습니다.

Discovery 가 지원하는 스토리지 제공업체에 대한 자세한 정보와 스토리지 비교는 스토리지 고려 사항을 참조하십시오.

이 작업을 완료하기 전에 크롤링하려는 파일을 작업 중인 Discovery 클러스터로 복사하십시오. 여러 Discovery 클러스터가 있는 경우 이 작업에서 만드는 crawler-pvc-dynamic.yaml 파일과 함께 파일을 각 클러스터에 복사해야 합니다.

다음 단계를 완료하십시오.

1. 다음 명령을 입력하여 NFS 제공자의 storageclass 이름을 확인하십시오.

   oc get storageclass
   

   메시지가 표시됩니다.

   NAME        PROVISIONER                                     RECLAIMPOLICY  VOLUMEBINDINGMODE  ALLOWVOLUMEEXPANSION  AGE
   nfs-client  cluster.local/innocence-nfs-client-provisioner  Delete         Immediate          true                  177m
   

2. crawler-pvc-dynamic.yaml 이라는 이름의 파일을 만들고 다음 콘텐츠를 추가합니다:

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: <name-of-dynamic-pvc>
   spec:
     accessModes:
       - ReadWriteMany
     resources:
       requests:
         storage: 10Gi
     storageClassName: nfs-client
   

   <name-of-dynamic-pvc> 을 동적 NFS 영구 볼륨 클레임의 이름으로 바꿉니다. 예를 들어, jdoe-dynamic-pvc입니다.

3. 다음 명령을 입력하여 영구 볼륨 클레임을 생성합니다:

   oc create -f crawler-pvc-dynamic.yaml
   

   메시지가 표시됩니다.

   persistentvolumeclaim/jdoe-dynamic-pvc created
   

4. crawler 의 pod에 영구 볼륨 클레임을 마운트하려면 다음 명령을 입력하십시오.

   이 명령은 또한 모든 ingestion-api 포드에 퍼시스턴트 볼륨 클레임을 마운트합니다.

   oc patch wd wd --type=merge \
   --patch='{"spec": {"ingestion": {"crawler": {"mount": {"enabled": true, "persistentVolumeClaimName": "<name-of-dynamic-pvc>" } } } } }'
   

   <name-of-dynamic-pvc> 을 이전 단계의 동적 NFS 영구 볼륨 클레임의 이름으로 바꿉니다. 예를 들어, jdoe-dynamic-pvc입니다.

5. 다음 명령을 입력하여 크롤링할 파일을 동적 NFS 지속적 볼륨 청구에 복사하십시오.

   이 명령은 기존 crawler 파드 중 하나에 대해 한 번만 실행해야 합니다. 지속적인 볼륨 클레임은 모든 crawler 및 ingestion-api pod에 공유됩니다. 명령의 변수를 적절한 정보로 바꿉니다.

   oc rsync <path-to-local-file-system-folder> <crawler-pod>:/mnt
   

영구 볼륨 클레임(PVC)을 마운트하고 크롤링하려는 모든 파일을 PVC에 복사했습니다.