Persistent Volume Claim für Crawler-Pod erstellen und anhängen

Bevor Sie ein lokales Dateisystem durchsuchen können, müssen Sie einen Persistent Volume Claim (PVC) erstellen und an den Pod crawler anhängen. Sie müssen auch die Dateien, die Sie durchsuchen wollen, in den Discovery-Cluster kopieren, an dem Sie arbeiten. Wenn Sie über mehrere Discovery-Cluster verfügen, müssen Sie die Dateien zusammen mit der Datei crawler-pvc-portworx.yaml, die Sie in dieser Task erstellen, in jeden Cluster kopieren.

Führen Sie die folgenden Schritte aus:

1. Geben Sie den folgenden Befehl ein, um den Namen für die Speicherklasse (storageclass) des Portworx-Bereitstellers zu überprüfen:

   oc get storageclass | grep portworx-gp3-sc
   

   Die Ausgabe sieht in etwa wie folgt aus:

   NAME             PROVISIONER                    RECLAIMPOLICY  VOLUMEBINDINGMODE  ALLOWVOLUMEEXPANSION  AGE
   portworx-gp3-sc  kubernetes.io/portworx-volume  Retain         Immediate          true                  51d
   

2. Erstellen Sie eine Datei mit dem Namen crawler-pvc-portworx.yaml, um den Persistent Volume Claim (PVC) mit dem folgenden Inhalt zu definieren:

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: <name-of-portworx-pvc>
   spec:
     accessModes:
       - ReadWriteMany
     resources:
       requests:
         storage: 10Gi
     storageClassName: portworx-gp3-sc
   

   Ersetzen Sie <name-of-portworx-pvc> durch den Namen Ihres dynamischen Persistent Volume Claim Portworx. Zum Beispiel,jdoe-pvc-portworx

3. Geben Sie den folgenden Befehl ein, um den persistenten Volumenanspruch zu erstellen:

   oc create -f crawler-pvc-portworx.yaml
   

   Eine Nachricht wird angezeigt:

   persistentvolumeclaim/jdoe-pvc-portworx created
   

4. Geben Sie den folgenden Befehl ein, um den persistenten Volumenanspruch auf dem crawler-Pod zu mounten:

   oc patch wd wd --type=merge \
   --patch='{"spec": {"ingestion": {"crawler": {"mount": {"enabled": true, "persistentVolumeClaimName": "<name-of-portworx-pvc>" } } } } }'
   

   Ersetzen Sie <name-of-portworx-pvc> durch den Namen Ihres dynamischen Persistent Volume Claim Portworx. Beispiel: jdoe-pvc-portworx.

5. Geben Sie den folgenden Befehl ein, um die Dateien, für die Sie eine Crawlersuche durchführen möchten, zum dynamischen Portworx-Persistent Volume Claim zu kopieren.

   Sie müssen diesen Befehl nur einmal für einen der vorhandenen crawler-Pods ausführen. Die anhaltende Volumenforderung wird von allen crawler- und ingestion-api-Pods geteilt. Ersetzen Sie die Variablen im Befehl durch die entsprechenden Informationen.

   oc rsync <path-to-local-file-system-folder> <crawler-pod>:/mnt
   

Sie haben den Persistent Volume Claim (PVC) angehängt und die Dateien, die Sie durchsuchen wollen, in den PVC kopiert.

Externen NFS-Server konfigurieren

Wenn die Dateien oder Ordner des lokalen Dateisystems, für die Sie eine Crawlersuche durchführen möchten, in einem externen Network File System (NFS) gespeichert sind, können Sie den externen NFS-Server zum Erstellen des Persistent Volume Claim verwenden.

1. Erstellen Sie eine Datei mit dem Namen crawler-pv-nfs.yaml mit folgendem Inhalt:

   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: <persistent-volume-name>
     labels:
       pv-name: <persistent-volume-name>
   spec:
     capacity:
       storage: 10Gi
     accessModes:
       - ReadWriteMany
     persistentVolumeReclaimPolicy: Retain
     nfs:
       server: <NFS server hostname or IP address>
       path: <Path of NFS exported folder>
   

   Ersetzen Sie Verweise auf <persistent-volume-name> durch den Namen Ihres persistenten Datenträgers. Beispiel: jdoe-nfs-pv und fügen Sie die fehlenden externen NFS-Details hinzu.

2. Geben Sie den folgenden Befehl ein, um den persistenten Volumenanspruch zu erstellen:

   oc create -f crawler-pv-nfs.yaml
   

   Die folgende Nachricht wird angezeigt:

   persistentvolume/jdoe-nfs-pv created
   

3. Erstellen Sie eine Datei mit dem Namen crawler-pvc-nfs.yaml mit folgendem Inhalt:

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: <persistent-volume-claim-name>
   spec:
     accessModes:
       - ReadWriteMany
     resources:
       requests:
         storage: 10Gi
     selector:
       matchLabels:
         pv-name: <persistent-volume-name>
   

   Ersetzen Sie die folgenden Variablen:

   • <persistent-volume-claim-name>: Geben Sie den Namen Ihres persistenten Volumenanspruchs an. Beispiel: jdoe-nfs-pvc.
   • <persistent-volume-name>: Geben Sie den Namen Ihres persistenten Datenträgers an. Beispiel: jdoe-nfs-pv.

4. Geben Sie den folgenden Befehl ein, um den persistenten Volumenanspruch zu erstellen:

   oc create -f crawler-pvc-nfs.yaml
   

   Die folgende Nachricht wird angezeigt:

   persistentvolumeclaim/jdoe-nfs-pvc created
   

5. Geben Sie den folgenden Befehl ein, um den persistenten Volumenanspruch auf dem crawler-Pod zu mounten.

   Dieser Befehl bindet auch den persistenten Volume-Anspruch an alle ingestion-api-Pods. Ersetzen Sie <persistent-volume-claim-name> durch den Namen Ihres Persistent Volume Claim. Zum Beispiel jdoe-nfs-pvc.

   oc patch wd wd --type=merge \
   --patch='{"spec": {"ingestion": {"crawler": {"mount": {"enabled": true, "persistentVolumeClaimName": "<persistent-volume-claim-name>" } } } } }'
   

Konfigurieren der dynamischen Bereitstellung mit einer NFS-Speicherklasse

Wenn Sie die Dateien oder Ordner Ihres lokalen Dateisystems durchsuchen möchten, aber keinen zusätzlichen NFS-Server für die Speicherung dieser Dateien oder Ordner vorbereiten möchten, können Sie den dynamischen Speicher mithilfe einer NFS-Speicherklasse konfigurieren.

Weitere Informationen zu Speicheranbietern, die von Discovery unterstützt werden, und zu Speichervergleichen finden Sie unter Überlegungen zum Speicher.

Bevor Sie diese Aufgabe abschließen, kopieren Sie die Dateien, die Sie durchsuchen möchten, in den Discovery-Cluster, an dem Sie arbeiten. Wenn Sie über mehrere Discovery-Cluster verfügen, müssen Sie die Dateien zusammen mit der Datei crawler-pvc-dynamic.yaml, die Sie in dieser Task erstellen, in jeden Cluster kopieren.

Führen Sie die folgenden Schritte aus:

1. Geben Sie den folgenden Befehl ein, um den Namen der Speicherklasse (storageclass) des NFS-Bereitstellers zu überprüfen:

   oc get storageclass
   

   Eine Nachricht wird angezeigt.

   NAME        PROVISIONER                                     RECLAIMPOLICY  VOLUMEBINDINGMODE  ALLOWVOLUMEEXPANSION  AGE
   nfs-client  cluster.local/innocence-nfs-client-provisioner  Delete         Immediate          true                  177m
   

2. Erstellen Sie eine Datei mit dem Namen crawler-pvc-dynamic.yaml und fügen Sie den folgenden Inhalt hinzu:

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: <name-of-dynamic-pvc>
   spec:
     accessModes:
       - ReadWriteMany
     resources:
       requests:
         storage: 10Gi
     storageClassName: nfs-client
   

   Ersetzen Sie <name-of-dynamic-pvc> durch den Namen Ihres dynamischen Persistent Volume Claim NFS. Beispiel: jdoe-dynamic-pvc.

3. Geben Sie den folgenden Befehl ein, um den persistenten Volumenanspruch zu erstellen:

   oc create -f crawler-pvc-dynamic.yaml
   

   Eine Nachricht wird angezeigt.

   persistentvolumeclaim/jdoe-dynamic-pvc created
   

4. Geben Sie den folgenden Befehl ein, um den persistenten Volumenanspruch auf dem crawler-Pod zu mounten.

   Dieser Befehl bindet auch den persistenten Volume-Anspruch an alle ingestion-api-Pods.

   oc patch wd wd --type=merge \
   --patch='{"spec": {"ingestion": {"crawler": {"mount": {"enabled": true, "persistentVolumeClaimName": "<name-of-dynamic-pvc>" } } } } }'
   

   Ersetzen Sie <name-of-dynamic-pvc> durch den Namen Ihres dynamischen Persistent Volume Claim NFS im vorherigen Schritt. Beispiel: jdoe-dynamic-pvc.

5. Geben Sie den folgenden Befehl ein, um die Dateien, für die Sie eine Crawlersuche durchführen möchten, zum Persistent Volume Claim des dynamischen NFS zu kopieren.

   Sie dürfen diesen Befehl nur einmal für einen der vorhandenen crawler-Pods ausführen. Die anhaltende Volumenforderung wird von allen crawler- und ingestion-api-Pods geteilt. Ersetzen Sie die Variablen im Befehl durch die entsprechenden Informationen.

   oc rsync <path-to-local-file-system-folder> <crawler-pod>:/mnt
   

Sie haben den Persistent Volume Claim (PVC) angehängt und alle Dateien, die Sie durchsuchen wollen, in den PVC kopiert.