Sistema de archivos local
Rastrear documentos almacenados en un sistema de archivos local.
IBM Cloud Pak for Data IBM Software Hub
Esta información sólo se aplica a los despliegues instalados.
Qué documentos se rastrean
- Sólo se rastrean los tipos de archivo soportados por Discovery en la vía de acceso de archivo; todos los demás se ignoran. Para obtener más información, consulte Tipos de archivo soportados.
- El rastreador solo puede acceder a los archivos del directorio
/mnto a uno de sus subdirectorios. - Sólo se rastrean los archivos con extensiones de archivo que coinciden con las reglas de filtro de extensión de archivo que especifique. Añadido con el release 4.7.0.
- Cuando se vuelve a rastrear una fuente, se añaden nuevos documentos, se modifican los documentos actualizados a la versión actual y se eliminan los documentos eliminados del índice de la colección.
- Todos los conectores de origen de datos Discovery son de sólo lectura. Independientemente de los permisos otorgados a la cuenta de rastreo, Discovery nunca graba, actualiza o suprime ningún contenido del origen de datos original.
Pasos de requisito previo
Antes de conectarse al origen de datos del sistema de archivos local, realice el paso siguiente:
El servicio utiliza el almacenamiento Portworx de forma predeterminada. Sin embargo, si utiliza el almacenamiento del sistema de archivos de red (NFS), consulte Pasos de requisito previo para el almacenamiento NFS en su lugar.
Creación y montaje de una reclamación de volumen persistente en el pod del rastreador
Para poder rastrear un sistema de archivos local, debe crear una reclamación de volumen persistente y montarla en el pod crawler. También debe copiar los archivos que desea rastrear en el clúster Discovery en el que está trabajando.
Si tiene varios clústeres Discovery, debe copiar los archivos junto con el archivo crawler-pvc-portworx.yaml que creará en esta tarea en cada clúster.
Complete los pasossiguientes:
-
Especifique el mandato siguiente para comprobar el nombre de
storageclassdel dispositivo Portworx:oc get storageclass | grep portworx-gp3-scLa salida podría ser similar a la siguiente:
NAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE ALLOWVOLUMEEXPANSION AGE portworx-gp3-sc kubernetes.io/portworx-volume Retain Immediate true 51d -
Cree un archivo denominado
crawler-pvc-portworx.yamlpara definir la reclamación de volumen persistente (PVC) con el contenido siguiente:kind: PersistentVolumeClaim apiVersion: v1 metadata: name: <name-of-portworx-pvc> spec: accessModes: - ReadWriteMany resources: requests: storage: 10Gi storageClassName: portworx-gp3-scSustituya
<name-of-portworx-pvc>por el nombre de la reclamación de volumen persistente Portworx dinámica. Por ejemplo,jdoe-pvc-portworx -
Introduzca el siguiente comando para crear la reclamación de volumen persistente:
oc create -f crawler-pvc-portworx.yamlSe visualiza un mensaje:
persistentvolumeclaim/jdoe-pvc-portworx created -
Introduzca el siguiente comando para montar la reclamación de volumen persistente en el pod de
crawler:oc patch wd wd --type=merge \ --patch='{"spec": {"ingestion": {"crawler": {"mount": {"enabled": true, "persistentVolumeClaimName": "<name-of-portworx-pvc>" } } } } }'Sustituya
<name-of-portworx-pvc>por el nombre de la reclamación de volumen persistente Portworx dinámica. Por ejemplo,jdoe-pvc-portworx. -
Especifique el mandato siguiente para copiar los archivos que desea rastrear en la reclamación de volumen persistente de Portworx dinámico.
Solo tiene que ejecutar este comando una vez en uno de los pods de
crawlerexistentes. La reclamación de volumen persistente se comparte entre todos los pods decrawleryingestion-api. Sustituya las variables del mandato por la información adecuada.oc rsync <path-to-local-file-system-folder> <crawler-pod>:/mnt
Ha montado la reclamación de volumen persistente (PVC) y ha copiado los archivos que desea rastrear en la PVC.
Conexión a un origen de datos del sistema de archivos local
En el proyecto Discovery, realice los pasos siguientes:
-
En el panel de navegación, elija Gestionar colecciones.
-
Haga clic en Nueva colección.
-
Pulse Sistema de archivos local y, a continuación, pulse Siguiente.
-
Asigne un nombre a la colección.
-
Si el idioma de los documentos que desea rastrear no es el inglés, seleccione el idioma adecuado.
Para ver una lista de los idiomas admitidos, consulte Soporte de idiomas.
-
Opcional: cambie la planificación de sincronización.
Para obtener más información, consulte Opciones de planificación de rastreo.
-
En la sección Especificar lo que desea rastrear, especifique la vía de acceso de archivo que desea rastrear en el campo Vía de acceso y, a continuación, pulse Añadir.
La ruta del archivo distingue entre mayúsculas y minúsculas. Recuerde que el rastreador sólo puede acceder a los archivos del directorio
/mnto a uno de sus subdirectorios. -
Opcionalmente, añada más vías de acceso de archivo.
-
Si desea limitar los tipos de archivos que se van a añadir a la colección, puede listar las extensiones de archivo para los tipos de archivo que se van a incluir o excluir.
Para obtener una lista de tipos de archivo soportados, consulte Tipos de archivo soportados.
Se ha añadido soporte para esta opción con el release 4.7.0.
-
Si desea que el rastreador extraiga texto de imágenes en documentos, expanda Más valores de procesoy establezca Aplicar reconocimiento óptico de caracteres (OCR) en
On.Cuando OCR está habilitado y los documentos contienen imágenes, el proceso tarda más tiempo. Para obtener más información, consulte Reconocimiento de caracteres ópticos.
-
Pulse Finalizar.
La colección se crea rápidamente. Los datos tardan más tiempo en procesarse a medida que se añaden a la colección.
Si desea comprobar el progreso, vaya a la página Actividad. En el panel de navegación, pulse Gestionar colecciones y, a continuación, pulse para abrir la colección.
Pasos de requisito previo para el almacenamiento NFS
Elija uno de los métodos siguientes para habilitar el pod crawler para acceder al sistema de archivos:
- Configurar un servidor NFS externo
- Configurar el aprovisionamiento dinámico con una clase de almacenamiento de datos de tipo " NFS "(datos de tipo " ")
Configuración de un servidor NFS externo
Si los archivos del sistema de archivos local o las carpetas que desea rastrear están almacenados en un sistema de archivos de red (NFS) externo, puede utilizar el servidor NFS externo para crear la reclamación de volumen persistente.
-
Cree un archivo llamado
crawler-pv-nfs.yamlcon el siguiente contenido:apiVersion: v1 kind: PersistentVolume metadata: name: <persistent-volume-name> labels: pv-name: <persistent-volume-name> spec: capacity: storage: 10Gi accessModes: - ReadWriteMany persistentVolumeReclaimPolicy: Retain nfs: server: <NFS server hostname or IP address> path: <Path of NFS exported folder>Sustituya las referencias a
<persistent-volume-name>por el nombre del volumen persistente. Por ejemplo,jdoe-nfs-pvy añada los detalles de NFS externos que faltan. -
Introduzca el siguiente comando para crear la reclamación de volumen persistente:
oc create -f crawler-pv-nfs.yamlSe muestra el siguiente mensaje:
persistentvolume/jdoe-nfs-pv created -
Cree un archivo llamado
crawler-pvc-nfs.yamlcon el siguiente contenido:kind: PersistentVolumeClaim apiVersion: v1 metadata: name: <persistent-volume-claim-name> spec: accessModes: - ReadWriteMany resources: requests: storage: 10Gi selector: matchLabels: pv-name: <persistent-volume-name>Sustituya las variables siguientes:
<persistent-volume-claim-name>: Especifique el nombre de su reclamación de volumen persistente. Por ejemplo,jdoe-nfs-pvc.<persistent-volume-name>: especifique el nombre del volumen persistente. Por ejemplo,jdoe-nfs-pv.
-
Introduzca el siguiente comando para crear la reclamación de volumen persistente:
oc create -f crawler-pvc-nfs.yamlSe muestra el siguiente mensaje:
persistentvolumeclaim/jdoe-nfs-pvc created -
Introduzca el siguiente comando para montar la reclamación de volumen persistente en el pod de
crawler.Este comando también monta la reclamación de volumen persistente en todos los pods de
ingestion-api. Sustituya<persistent-volume-claim-name>por el nombre de la reclamación de volumen persistente. Por ejemplo,jdoe-nfs-pvc.oc patch wd wd --type=merge \ --patch='{"spec": {"ingestion": {"crawler": {"mount": {"enabled": true, "persistentVolumeClaimName": "<persistent-volume-claim-name>" } } } } }'
Configuración del aprovisionamiento dinámico con una clase de almacenamiento de datos de tipo " NFS " (datos de tipo " ")
Si desea rastrear los archivos o carpetas de su sistema de archivos local, pero no desea preparar un servidor de almacenamiento extra ( NFS ) para almacenar esos archivos o carpetas, puede configurar el almacenamiento dinámico utilizando una clase de almacenamiento de memoria virtual ( NFS ).
Para obtener más información sobre los proveedores de almacenamiento que admite Discovery y para comparar los servicios de almacenamiento, consulte Consideraciones sobre el almacenamiento.
Antes de completar esta tarea, copie los archivos que desea rastrear al clúster de Discovery en el que está trabajando. Si tiene varios clústeres Discovery, debe copiar los archivos junto con el archivo crawler-pvc-dynamic.yaml que cree en esta tarea en cada clúster.
Complete los pasossiguientes:
-
Especifique el mandato siguiente para comprobar el nombre de
storageclassdel dispositivo NFS:oc get storageclassAparecerá un mensaje.
NAME PROVISIONER RECLAIMPOLICY VOLUMEBINDINGMODE ALLOWVOLUMEEXPANSION AGE nfs-client cluster.local/innocence-nfs-client-provisioner Delete Immediate true 177m -
Cree un archivo denominado
crawler-pvc-dynamic.yamly añádale el contenido siguiente:kind: PersistentVolumeClaim apiVersion: v1 metadata: name: <name-of-dynamic-pvc> spec: accessModes: - ReadWriteMany resources: requests: storage: 10Gi storageClassName: nfs-clientSustituya
<name-of-dynamic-pvc>por el nombre de la reclamación de volumen persistente NFS dinámica. Por ejemplo,jdoe-dynamic-pvc. -
Introduzca el siguiente comando para crear la reclamación de volumen persistente:
oc create -f crawler-pvc-dynamic.yamlAparecerá un mensaje.
persistentvolumeclaim/jdoe-dynamic-pvc created -
Introduzca el siguiente comando para montar la reclamación de volumen persistente en el pod de
crawler.Este comando también monta la reclamación de volumen persistente en todos los pods de
ingestion-api.oc patch wd wd --type=merge \ --patch='{"spec": {"ingestion": {"crawler": {"mount": {"enabled": true, "persistentVolumeClaimName": "<name-of-dynamic-pvc>" } } } } }'Sustituya
<name-of-dynamic-pvc>por el nombre de la reclamación de volumen persistente NFS dinámica en el paso anterior. Por ejemplo,jdoe-dynamic-pvc. -
Especifique el mandato siguiente para copiar los archivos que desea rastrear en la reclamación de volumen persistente de NFS dinámico.
Debe ejecutar este mandato una sola vez en uno de los pods de
crawlerexistentes. La reclamación de volumen persistente se comparte entre todos los pods decrawleryingestion-api. Sustituya las variables del mandato por la información adecuada.oc rsync <path-to-local-file-system-folder> <crawler-pod>:/mnt
Ha montado la reclamación de volumen persistente (PVC) y ha copiado todos los archivos que desea rastrear en la PVC.