创建持久卷声明并将其安装在搜寻器 pod 上

必须先创建持久卷声明并将其安装在 crawler pod 上，然后才能搜寻本地文件系统。 您还需要将要搜寻的文件复制到您正在处理的 Discovery 集群。 如果有多个 Discovery 集群，那么必须将这些文件以及将在此任务中创建的 crawler-pvc-portworx.yaml 文件复制到每个集群。

完成以下步骤：

1. 输入以下命令，以检查 Portworx 供应者的 storageclass 名称：

   oc get storageclass | grep portworx-gp3-sc
   

   您可能会看到类似于以下内容的输出：

   NAME             PROVISIONER                    RECLAIMPOLICY  VOLUMEBINDINGMODE  ALLOWVOLUMEEXPANSION  AGE
   portworx-gp3-sc  kubernetes.io/portworx-volume  Retain         Immediate          true                  51d
   

2. 创建名为 crawler-pvc-portworx.yaml 的文件，以定义具有以下内容的持久卷声明 (PVC):

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: <name-of-portworx-pvc>
   spec:
     accessModes:
       - ReadWriteMany
     resources:
       requests:
         storage: 10Gi
     storageClassName: portworx-gp3-sc
   

   将 <name-of-portworx-pvc> 替换为动态 Portworx 持久卷声明的名称。 例如， jdoe-pvc-portworx

3. 输入以下命令创建持久卷声明：

   oc create -f crawler-pvc-portworx.yaml
   

   将显示一条消息:

   persistentvolumeclaim/jdoe-pvc-portworx created
   

4. 输入以下命令，将持久卷声明挂载到 crawler 容器：

   oc patch wd wd --type=merge \
   --patch='{"spec": {"ingestion": {"crawler": {"mount": {"enabled": true, "persistentVolumeClaimName": "<name-of-portworx-pvc>" } } } } }'
   

   将 <name-of-portworx-pvc> 替换为动态 Portworx 持久卷声明的名称。 例如，jdoe-pvc-portworx。

5. 输入以下命令，以将要搜寻的文件复制到动态 Portworx 持久卷声明。

   您只需对现有的 crawler Pod运行一次此命令。 所有 crawler 和 ingestion-api 群组都共享持续的音量请求。 将命令中的变量替换为相应的信息。

   oc rsync <path-to-local-file-system-folder> <crawler-pod>:/mnt
   

安装了持久卷声明 (PVC) 并将要搜寻的文件复制到 PVC。

配置外部 NFS 服务器

如果要搜寻的本地文件系统文件或文件夹存储在外部网络文件系统 (NFS) 中，那么可以使用外部 NFS 服务器来创建持久卷声明。

1. 创建一个名为 crawler-pv-nfs.yaml 的文件，内容如下：

   apiVersion: v1
   kind: PersistentVolume
   metadata:
     name: <persistent-volume-name>
     labels:
       pv-name: <persistent-volume-name>
   spec:
     capacity:
       storage: 10Gi
     accessModes:
       - ReadWriteMany
     persistentVolumeReclaimPolicy: Retain
     nfs:
       server: <NFS server hostname or IP address>
       path: <Path of NFS exported folder>
   

   将对 <persistent-volume-name> 的引用替换为持久卷的名称。 例如，jdoe-nfs-pv 并添加缺少的外部 NFS 详细信息。

2. 输入以下命令创建持久卷声明：

   oc create -f crawler-pv-nfs.yaml
   

   这将显示以下消息：

   persistentvolume/jdoe-nfs-pv created
   

3. 创建一个名为 crawler-pvc-nfs.yaml 的文件，内容如下：

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: <persistent-volume-claim-name>
   spec:
     accessModes:
       - ReadWriteMany
     resources:
       requests:
         storage: 10Gi
     selector:
       matchLabels:
         pv-name: <persistent-volume-name>
   

   替换以下变量：

   • <persistent-volume-claim-name>：指定您的持久卷声明的名称。 例如，jdoe-nfs-pvc。
   • <persistent-volume-name>: 指定持久卷的名称。 例如，jdoe-nfs-pv。

4. 输入以下命令创建持久卷声明：

   oc create -f crawler-pvc-nfs.yaml
   

   这将显示以下消息：

   persistentvolumeclaim/jdoe-nfs-pvc created
   

5. 输入以下命令，将持久卷声明挂载到 crawler 容器。

   此命令还将持久卷声明挂载到所有 ingestion-api 容器。 将 <persistent-volume-claim-name> 替换为持久卷声明的名称。 例如，jdoe-nfs-pvc。

   oc patch wd wd --type=merge \
   --patch='{"spec": {"ingestion": {"crawler": {"mount": {"enabled": true, "persistentVolumeClaimName": "<persistent-volume-claim-name>" } } } } }'
   

使用 NFS 存储类配置动态供应

如果您想抓取本地文件系统中的文件或文件夹，但又不想额外准备一个 NFS 服务器来存储这些文件或文件夹，则可以使用 NFS 存储类来配置动态存储。

如需了解 Discovery 支持的存储提供商的更多信息以及存储比较，请参阅 存储注意事项。

在完成这项任务之前，请将您要抓取的文件复制到您正在使用的 Discovery 集群中。 如果您有多个 Discovery 集群，那么必须将这些文件以及在此任务中创建的 crawler-pvc-dynamic.yaml 文件复制到每个集群。

完成以下步骤：

1. 输入以下命令，以检查 NFS 供应者的 storageclass 名称：

   oc get storageclass
   

   将显示一条消息。

   NAME        PROVISIONER                                     RECLAIMPOLICY  VOLUMEBINDINGMODE  ALLOWVOLUMEEXPANSION  AGE
   nfs-client  cluster.local/innocence-nfs-client-provisioner  Delete         Immediate          true                  177m
   

2. 创建名为 crawler-pvc-dynamic.yaml 的文件，并向其添加以下内容:

   kind: PersistentVolumeClaim
   apiVersion: v1
   metadata:
     name: <name-of-dynamic-pvc>
   spec:
     accessModes:
       - ReadWriteMany
     resources:
       requests:
         storage: 10Gi
     storageClassName: nfs-client
   

   将 <name-of-dynamic-pvc> 替换为动态 NFS 持久卷声明的名称。 例如，jdoe-dynamic-pvc。

3. 输入以下命令创建持久卷声明：

   oc create -f crawler-pvc-dynamic.yaml
   

   将显示一条消息。

   persistentvolumeclaim/jdoe-dynamic-pvc created
   

4. 输入以下命令，将持久卷声明挂载到 crawler 容器。

   此命令还将持久卷声明挂载到所有 ingestion-api 容器。

   oc patch wd wd --type=merge \
   --patch='{"spec": {"ingestion": {"crawler": {"mount": {"enabled": true, "persistentVolumeClaimName": "<name-of-dynamic-pvc>" } } } } }'
   

   将 <name-of-dynamic-pvc> 替换为上一步中动态 NFS 持久卷声明的名称。 例如，jdoe-dynamic-pvc。

5. 输入以下命令，以将要搜寻的文件复制到动态 NFS 持久卷声明。

   只能对其中一个现有 crawler Pod 运行此命令一次。 所有 crawler 和 ingestion-api 群组都共享持续的音量请求。 将命令中的变量替换为相应的信息。

   oc rsync <path-to-local-file-system-folder> <crawler-pod>:/mnt
   

安装了持久卷声明 (PVC)，并将要搜寻的所有文件复制到 PVC。