Sistema de archivos local

Rastrear documentos almacenados en un sistema de archivos local.

IBM Cloud Pak for Data IBM Software Hub

Esta información sólo se aplica a los despliegues instalados.

Qué documentos se rastrean

  • Sólo se rastrean los tipos de archivo soportados por Discovery en la vía de acceso de archivo; todos los demás se ignoran. Para obtener más información, consulte Tipos de archivo soportados.
  • El rastreador solo puede acceder a los archivos del directorio /mnt o a uno de sus subdirectorios.
  • Sólo se rastrean los archivos con extensiones de archivo que coinciden con las reglas de filtro de extensión de archivo que especifique. Añadido con el release 4.7.0.
  • Cuando se vuelve a rastrear una fuente, se añaden nuevos documentos, se modifican los documentos actualizados a la versión actual y se eliminan los documentos eliminados del índice de la colección.
  • Todos los conectores de origen de datos Discovery son de sólo lectura. Independientemente de los permisos otorgados a la cuenta de rastreo, Discovery nunca graba, actualiza o suprime ningún contenido del origen de datos original.

Pasos de requisito previo

Antes de conectarse al origen de datos del sistema de archivos local, realice el paso siguiente:

El servicio utiliza el almacenamiento Portworx de forma predeterminada. Sin embargo, si utiliza el almacenamiento del sistema de archivos de red (NFS), consulte Pasos de requisito previo para el almacenamiento NFS en su lugar.

Creación y montaje de una reclamación de volumen persistente en el pod del rastreador

Para poder rastrear un sistema de archivos local, debe crear una reclamación de volumen persistente y montarla en el pod crawler. También debe copiar los archivos que desea rastrear en el clúster Discovery en el que está trabajando. Si tiene varios clústeres Discovery, debe copiar los archivos junto con el archivo crawler-pvc-portworx.yaml que creará en esta tarea en cada clúster.

Complete los pasossiguientes:

  1. Especifique el mandato siguiente para comprobar el nombre de storageclass del dispositivo Portworx:

    oc get storageclass | grep portworx-gp3-sc
    

    La salida podría ser similar a la siguiente:

    NAME             PROVISIONER                    RECLAIMPOLICY  VOLUMEBINDINGMODE  ALLOWVOLUMEEXPANSION  AGE
    portworx-gp3-sc  kubernetes.io/portworx-volume  Retain         Immediate          true                  51d
    
  2. Cree un archivo denominado crawler-pvc-portworx.yaml para definir la reclamación de volumen persistente (PVC) con el contenido siguiente:

    kind: PersistentVolumeClaim
    apiVersion: v1
    metadata:
      name: <name-of-portworx-pvc>
    spec:
      accessModes:
        - ReadWriteMany
      resources:
        requests:
          storage: 10Gi
      storageClassName: portworx-gp3-sc
    

    Sustituya <name-of-portworx-pvc> por el nombre de la reclamación de volumen persistente Portworx dinámica. Por ejemplo, jdoe-pvc-portworx

  3. Introduzca el siguiente comando para crear la reclamación de volumen persistente:

    oc create -f crawler-pvc-portworx.yaml
    

    Se visualiza un mensaje:

    persistentvolumeclaim/jdoe-pvc-portworx created
    
  4. Introduzca el siguiente comando para montar la reclamación de volumen persistente en el pod de crawler :

    oc patch wd wd --type=merge \
    --patch='{"spec": {"ingestion": {"crawler": {"mount": {"enabled": true, "persistentVolumeClaimName": "<name-of-portworx-pvc>" } } } } }'
    

    Sustituya <name-of-portworx-pvc> por el nombre de la reclamación de volumen persistente Portworx dinámica. Por ejemplo, jdoe-pvc-portworx.

  5. Especifique el mandato siguiente para copiar los archivos que desea rastrear en la reclamación de volumen persistente de Portworx dinámico.

    Solo tiene que ejecutar este comando una vez en uno de los pods de crawler existentes. La reclamación de volumen persistente se comparte entre todos los pods de crawler y ingestion-api. Sustituya las variables del mandato por la información adecuada.

    oc rsync <path-to-local-file-system-folder> <crawler-pod>:/mnt
    

Ha montado la reclamación de volumen persistente (PVC) y ha copiado los archivos que desea rastrear en la PVC.

Conexión a un origen de datos del sistema de archivos local

En el proyecto Discovery, realice los pasos siguientes:

  1. En el panel de navegación, elija Gestionar colecciones.

  2. Haga clic en Nueva colección.

  3. Pulse Sistema de archivos local y, a continuación, pulse Siguiente.

  4. Asigne un nombre a la colección.

  5. Si el idioma de los documentos que desea rastrear no es el inglés, seleccione el idioma adecuado.

    Para ver una lista de los idiomas admitidos, consulte Soporte de idiomas.

  6. Opcional: cambie la planificación de sincronización.

    Para obtener más información, consulte Opciones de planificación de rastreo.

  7. En la sección Especificar lo que desea rastrear, especifique la vía de acceso de archivo que desea rastrear en el campo Vía de acceso y, a continuación, pulse Añadir.

    La ruta del archivo distingue entre mayúsculas y minúsculas. Recuerde que el rastreador sólo puede acceder a los archivos del directorio /mnt o a uno de sus subdirectorios.

  8. Opcionalmente, añada más vías de acceso de archivo.

  9. Si desea limitar los tipos de archivos que se van a añadir a la colección, puede listar las extensiones de archivo para los tipos de archivo que se van a incluir o excluir.

    Para obtener una lista de tipos de archivo soportados, consulte Tipos de archivo soportados.

    Se ha añadido soporte para esta opción con el release 4.7.0.

  10. Si desea que el rastreador extraiga texto de imágenes en documentos, expanda Más valores de procesoy establezca Aplicar reconocimiento óptico de caracteres (OCR) en On.

    Cuando OCR está habilitado y los documentos contienen imágenes, el proceso tarda más tiempo. Para obtener más información, consulte Reconocimiento de caracteres ópticos.

  11. Pulse Finalizar.

La colección se crea rápidamente. Los datos tardan más tiempo en procesarse a medida que se añaden a la colección.

Si desea comprobar el progreso, vaya a la página Actividad. En el panel de navegación, pulse Gestionar colecciones y, a continuación, pulse para abrir la colección.

Pasos de requisito previo para el almacenamiento NFS

Elija uno de los métodos siguientes para habilitar el pod crawler para acceder al sistema de archivos:

Configuración de un servidor NFS externo

Si los archivos del sistema de archivos local o las carpetas que desea rastrear están almacenados en un sistema de archivos de red (NFS) externo, puede utilizar el servidor NFS externo para crear la reclamación de volumen persistente.

  1. Cree un archivo llamado crawler-pv-nfs.yaml con el siguiente contenido:

    apiVersion: v1
    kind: PersistentVolume
    metadata:
      name: <persistent-volume-name>
      labels:
        pv-name: <persistent-volume-name>
    spec:
      capacity:
        storage: 10Gi
      accessModes:
        - ReadWriteMany
      persistentVolumeReclaimPolicy: Retain
      nfs:
        server: <NFS server hostname or IP address>
        path: <Path of NFS exported folder>
    

    Sustituya las referencias a <persistent-volume-name> por el nombre del volumen persistente. Por ejemplo, jdoe-nfs-pv y añada los detalles de NFS externos que faltan.

  2. Introduzca el siguiente comando para crear la reclamación de volumen persistente:

    oc create -f crawler-pv-nfs.yaml
    

    Se muestra el siguiente mensaje:

    persistentvolume/jdoe-nfs-pv created
    
  3. Cree un archivo llamado crawler-pvc-nfs.yaml con el siguiente contenido:

    kind: PersistentVolumeClaim
    apiVersion: v1
    metadata:
      name: <persistent-volume-claim-name>
    spec:
      accessModes:
        - ReadWriteMany
      resources:
        requests:
          storage: 10Gi
      selector:
        matchLabels:
          pv-name: <persistent-volume-name>
    

    Sustituya las variables siguientes:

    • <persistent-volume-claim-name>: Especifique el nombre de su reclamación de volumen persistente. Por ejemplo, jdoe-nfs-pvc.
    • <persistent-volume-name>: especifique el nombre del volumen persistente. Por ejemplo, jdoe-nfs-pv.
  4. Introduzca el siguiente comando para crear la reclamación de volumen persistente:

    oc create -f crawler-pvc-nfs.yaml
    

    Se muestra el siguiente mensaje:

    persistentvolumeclaim/jdoe-nfs-pvc created
    
  5. Introduzca el siguiente comando para montar la reclamación de volumen persistente en el pod de crawler.

    Este comando también monta la reclamación de volumen persistente en todos los pods de ingestion-api. Sustituya <persistent-volume-claim-name> por el nombre de la reclamación de volumen persistente. Por ejemplo, jdoe-nfs-pvc.

    oc patch wd wd --type=merge \
    --patch='{"spec": {"ingestion": {"crawler": {"mount": {"enabled": true, "persistentVolumeClaimName": "<persistent-volume-claim-name>" } } } } }'
    

Configuración del aprovisionamiento dinámico con una clase de almacenamiento de datos de tipo " NFS " (datos de tipo " ")

Si desea rastrear los archivos o carpetas de su sistema de archivos local, pero no desea preparar un servidor de almacenamiento extra ( NFS ) para almacenar esos archivos o carpetas, puede configurar el almacenamiento dinámico utilizando una clase de almacenamiento de memoria virtual ( NFS ).

Para obtener más información sobre los proveedores de almacenamiento que admite Discovery y para comparar los servicios de almacenamiento, consulte Consideraciones sobre el almacenamiento.

Antes de completar esta tarea, copie los archivos que desea rastrear al clúster de Discovery en el que está trabajando. Si tiene varios clústeres Discovery, debe copiar los archivos junto con el archivo crawler-pvc-dynamic.yaml que cree en esta tarea en cada clúster.

Complete los pasossiguientes:

  1. Especifique el mandato siguiente para comprobar el nombre de storageclass del dispositivo NFS:

    oc get storageclass
    

    Aparecerá un mensaje.

    NAME        PROVISIONER                                     RECLAIMPOLICY  VOLUMEBINDINGMODE  ALLOWVOLUMEEXPANSION  AGE
    nfs-client  cluster.local/innocence-nfs-client-provisioner  Delete         Immediate          true                  177m
    
  2. Cree un archivo denominado crawler-pvc-dynamic.yaml y añádale el contenido siguiente:

    kind: PersistentVolumeClaim
    apiVersion: v1
    metadata:
      name: <name-of-dynamic-pvc>
    spec:
      accessModes:
        - ReadWriteMany
      resources:
        requests:
          storage: 10Gi
      storageClassName: nfs-client
    

    Sustituya <name-of-dynamic-pvc> por el nombre de la reclamación de volumen persistente NFS dinámica. Por ejemplo, jdoe-dynamic-pvc.

  3. Introduzca el siguiente comando para crear la reclamación de volumen persistente:

    oc create -f crawler-pvc-dynamic.yaml
    

    Aparecerá un mensaje.

    persistentvolumeclaim/jdoe-dynamic-pvc created
    
  4. Introduzca el siguiente comando para montar la reclamación de volumen persistente en el pod de crawler.

    Este comando también monta la reclamación de volumen persistente en todos los pods de ingestion-api.

    oc patch wd wd --type=merge \
    --patch='{"spec": {"ingestion": {"crawler": {"mount": {"enabled": true, "persistentVolumeClaimName": "<name-of-dynamic-pvc>" } } } } }'
    

    Sustituya <name-of-dynamic-pvc> por el nombre de la reclamación de volumen persistente NFS dinámica en el paso anterior. Por ejemplo, jdoe-dynamic-pvc.

  5. Especifique el mandato siguiente para copiar los archivos que desea rastrear en la reclamación de volumen persistente de NFS dinámico.

    Debe ejecutar este mandato una sola vez en uno de los pods de crawler existentes. La reclamación de volumen persistente se comparte entre todos los pods de crawler y ingestion-api. Sustituya las variables del mandato por la información adecuada.

    oc rsync <path-to-local-file-system-folder> <crawler-pod>:/mnt
    

Ha montado la reclamación de volumen persistente (PVC) y ha copiado todos los archivos que desea rastrear en la PVC.