Creación de colecciones

Elegir qué añadir a una colección

Hay que tener en cuenta algunas cosas a la hora de decidir cómo dividir el contenido fuente en colecciones.

• Obtención de contenidos de distintas fuentes de datos

  Si almacena contenidos similares en más de un tipo de fuente de datos (un sitio web y Salesforce, por ejemplo), puede crear un proyecto con dos colecciones separadas. Cada colección añade documentos de una única fuente de datos. Cuando se integran en un único proyecto, el usuario puede buscar en ambas fuentes al mismo tiempo.

• Aplicar enriquecimientos

  Crear una colección es una buena forma de agrupar documentos que desea enriquecer de forma similar. Por ejemplo, puede que un subconjunto de tus documentos contenga jerga del sector y quieras añadir un diccionario que reconozca los términos. Puede crear una colección separada y utilizar la función de sugerencias de términos para acelerar el proceso de creación del diccionario.

• Creación de modelos separados de Smart Document Understanding (SDU)

  Puede utilizar la herramienta de comprensión inteligente de documentos para identificar el contenido basándose en la estructura de un documento. Si tiene 20 archivos PDF creados por el departamento de ventas que utilizan una plantilla y 20 archivos PDF creados por el departamento de investigación que utilizan otra plantilla, agrupe cada conjunto en su propia colección. A continuación, puede utilizar la herramienta SDU para construir un modelo para cada estructura por separado, un modelo que comprenda la estructura única. También puede utilizar la herramienta para definir campos personalizados exclusivos de los documentos de origen.

Creación de una colección

Antes de crear una colección, debe crear un proyecto. Para obtener más información, consulte Creación de proyectos.

Cosas a tener en cuenta:

• Una colección sólo puede admitir una fuente de datos externa.
• Los documentos de la colección deben estar en un solo idioma, el que usted especifique para la colección.

Para crear una colección, siga estos pasos:

1. Abra un proyecto, vaya a la página Gestionar colecciones y haga clic en Nueva colección.

   • Los tipos de proyecto Procesamiento inteligente de documentos, Búsqueda conversacional, Recuperación de documentos y Personalizado pueden contener hasta 5 colecciones.
   • Un proyecto de minería de contenidos sólo puede contener 1 colección.

2. Cargue datos en su colección.

   IBM Cloud Para conectarse a una fuente de datos diferente en lugar de cargar los datos, haga clic en el enlace situado junto al campo ¿Necesita conectarse a una fuente de datos?

   Puede elegir las siguientes formas de conectarse a una fuente de datos en lugar de cargar los datos.

   • Reutilización de datos de una colección

   • Rastreo de una fuente de datos externa.

     Para conocer las fuentes de datos compatibles, consulte el tema correspondiente a su tipo de implantación:

     • IBM Cloud Pak for DataIBM Software HubIBM Cloud Pak for Data fuentes de datos
     • IBM CloudIBM Cloud fuentes de datos

     Estos temas también describen cómo conectarse a fuentes de datos que no están soportadas por defecto por tipo de despliegue.

Para obtener información sobre cómo solucionar los problemas que pueden surgir al añadir documentos a una colección, consulte Solución de problemas de ingestión.

Para obtener más información sobre cómo crear una colección mediante programación, consulte la documentación de referencia de la API.

Reconocimiento de caracteres ópticos (OCR)

Una de las funciones opcionales que puede aplicar a una colección al crearla es el reconocimiento óptico de caracteres. La función de reconocimiento óptico de caracteres (OCR) extrae texto de las imágenes. Esta función es útil para conservar información representada en diagramas o gráficos, o en texto incrustado en archivos como PDF escaneados. Al convertir la información visual en texto, puede buscarse posteriormente.

Se ha introducido una nueva versión de la tecnología en instancias gestionadas en la nube. OCR v2 fue desarrollado por IBM Research para extraer mejor el texto de documentos escaneados y otras imágenes que presentan las siguientes limitaciones:

• Imágenes de baja calidad debido a ajustes incorrectos del escáner, resolución insuficiente, mala iluminación (como en la captura móvil), pérdida de enfoque, páginas desalineadas y documentos mal impresos
• Documentos con fuentes irregulares o varios colores, tamaños de fuente y fondos

Aspectos a tener en cuenta al activar el OCR:

• El tiempo que se tarda en ingestar un documento con imágenes aumenta cuando se activa el OCR.
• Actualmente, el OCR no permite extraer texto manuscrito de documentos e imágenes escaneadas.
• El OCR puede leer tanto imágenes claras como ruidosas. Puede convertir imágenes ruidosas a escala de grises, y suavizarlas y distorsionarlas. Sin embargo, la calidad de la imagen debe cumplir el requisito mínimo de 80 PPP (puntos por pulgada).
• El OCR puede reconocer muchos idiomas, pero el idioma del texto de la imagen debe ser el mismo que el especificado para la colección en la que se añade el archivo.

Para obtener más información sobre los idiomas compatibles con OCR v1 y OCR v2, consulte Compatibilidad de idiomas.

Para obtener una lista de los tipos de archivos en los que puede aplicar el OCR, consulte la tabla Tipos de archivos admitidos.

Permitir el stemming para datos sin curar

Puede configurar Discovery para que utilice el stemming en lugar de la lematización para la normalización cuando cree una colección. Esta configuración sólo es útil ocasionalmente cuando las colecciones, las consultas o ambas contienen datos con muchas faltas de ortografía, ausencia de tildes y errores gramaticales.

Discovery normaliza las palabras para permitir un reconocimiento y una correspondencia más rápidos de las palabras y sus diversas formas, como los plurales o las conjugaciones verbales alternativas. Por defecto, Discovery utiliza la lematización para normalizar las palabras en función de su significado. El "stemming" normaliza las palabras utilizando únicamente los tallos de las palabras.

La lematización es más precisa, pero funciona mejor con datos curados. Si sus datos no están bien conservados, puede que funcione mejor el stemming. Por lo general, se detecta la misma raíz de palabra tanto si la palabra está escrita correctamente como si no. Sin embargo, la lematización puede no reconocer una palabra mal escrita o malinterpretar su significado. Como resultado, el lematizador puede añadir la palabra raíz incorrecta para representar la palabra mal escrita en el índice. Es probable que una búsqueda de una palabra mal escrita a partir de una versión lematizada obtenga mejores resultados que una búsqueda de una palabra mal lematizada.

En la siguiente tabla se muestran ejemplos de cómo se diferencian algunas palabras por su raíz de otras por su lematización.

Como puede verse en los ejemplos, el lematizador capta mejor el significado de las palabras que el stemmer. Tanto running como ran se reconocen como formas diferentes del mismo verbo raíz run. Y se mantiene la diferencia de significado entre los dos sustantivos instructor e instrucción. Sin embargo, si los datos contienen errores ortográficos como instructer e instructoin, la forma normalizada que se genera mediante stemming (instruct ) devolverá mejores coincidencias.

Discovery normaliza las palabras cuando ingiere y almacena datos en el índice y en tiempo de ejecución cuando analiza las consultas que envían los usuarios. Se utiliza el mismo método de normalización para ambas operaciones, aunque una operación se produzca a nivel de colección y la otra a nivel de proyecto. Cuando se envía una consulta, ésta es federada a cada colección dentro del proyecto, donde la consulta es normalizada en base a la configuración de esa colección. Las colecciones configuradas para utilizar el stemmer normalizan la consulta utilizando el stemming. Las colecciones que no lo son, normalizan la consulta mediante lematización.

Para activar el stemmer en lugar del lematizador al crear la colección, amplíe Más opciones de procesamiento y, a continuación, active el conmutador Utilizar stemming en lugar de lematización al indexar.

Si configura Discovery para utilizar el stemmer, considere también la posibilidad de diseñar las consultas que extraen información de la colección para tener en cuenta las diferencias de caracteres durante el cotejo. Para más información, consulte el operador de variación de cadenas.

Para obtener más información sobre los idiomas compatibles con el stemmer, consulte Soporte de idiomas.

Límites de recogida

El número de colecciones que puede crear por proyecto varía según el tipo de proyecto.

El número de colecciones que puede crear por instancia de servicio depende de su tipo de plan Discovery.

IBM Cloud Pak for DataIBM Software Hub El número de colecciones que puede crear depende de la configuración de su hardware. Discovery admite un máximo de 300 colecciones por instancia e instalación, pero ese número depende de muchos factores, incluida la memoria.

Tipos de archivos soportados

Discovery puede ingerir tipos de archivos específicos. Para todos los demás tipos de archivos, se muestra un mensaje de advertencia y el archivo no se ingiere.

La siguiente tabla muestra los tipos de archivo compatibles y la información sobre la compatibilidad de funciones que varía según el tipo de archivo.

Tipo de archivo	Extracción de texto	Compatibilidad con Smart Document Understanding (SDU)	Reconocimiento óptico de caracteres (OCR)
CSV
DOC, DOCX
GIF
HTML
JPG
JSON
PDF
PNG
PPT, PPTX
TIFF
TXT
XLS, XLSX

• Puedes generar archivos PDF utilizando herramientas de generación de PDF como Adobe Acrobat, Microsoft Office, Vista Previa de Apple y otras.

Los objetos vectoriales, los textos vectorizados y las imágenes SVG se ignoran al procesar los PDF. Además, Discovery no admite actualmente la extracción de texto de imágenes con capas de transparencia o grupos de transparencia en PDF.

• Sólo se renderizan las imágenes de los tipos de archivo de imagen admitidos que aparecen en el PDF.
• Para imágenes escaneadas, utilice 300 ppp o más para un OCR óptimo. El mínimo de ppp debe ser 80 según las directrices de Reconocimiento óptico de caracteres
• Sólo se admiten archivos de imagen de una sola página.
• Se extraen los ficheros que se encuentran dentro de archivos comprimidos (ZIP, GZIP, TAR). Discovery ingiere los tipos de ficheros admitidos dentro del archivo. Ignora todos los demás tipos de archivos. Los nombres de los archivos deben estar codificados en UTF-8. Los archivos con nombres que incluyen caracteres japoneses, por ejemplo, deben renombrarse antes de añadirlos al archivo ZIP.
• Discovery solo da soporte a archivos zip de MacOS si se han generado mediante un mandato como el siguiente: zip -r my-folder.zip my-folder -x "*.DS_Store". Los archivos ZIP que se crean haciendo clic con el botón derecho del ratón en una carpeta y haciendo clic en Comprimir no son compatibles.
• Los archivos PDF que se cargan como parte de un archivo comprimido no se muestran en la vista avanzada de un resultado de consulta que se abre desde la página Mejorar y personalizar. Si desea que el archivo se pueda ver desde la vista avanzada, vuelva a importar el archivo PDF por separado del archivo de almacenamiento.

Cuando se añaden archivos a un tipo de proyecto de Recuperación de Documentos para Contratos, cualquier tipo de archivo que admita SDU y OCR se procesa automáticamente con un modelo preentrenado de Comprensión Inteligente de Documentos y Reconocimiento Óptico de Caracteres.

Límites de documentos

El número de documentos permitidos por instancia de servicio depende de su tipo de plan Discovery.

El límite de documentos se aplica al número de documentos del índice. Cargue menos documentos al principio si los enriquecimientos que piensa aplicar pueden aumentar el número de documentos más adelante. Por ejemplo, las siguientes configuraciones generan más documentos:

• Al dividir un documento, éste se segmenta en varios documentos
• Los archivos CSV que cargue generan un documento por línea
• Las fuentes de datos de base de datos que se arrastran producen un documento por fila de base de datos
• Cada objeto que se define en una matriz en un archivo JSON da lugar a un documento independiente

En el plan Enterprise, se cobra a partir de 100.000 documentos al mes. Para más información sobre precios, consulte los planes de precios de Discovery.

El número máximo permitido puede variar ligeramente en función del tamaño de los documentos. Utilice estos valores como orientación general.

Límites de tamaño de los archivos

Límites del campo

Cuando se añade un documento a una colección, el contenido del documento se evalúa y se añade a los campos apropiados en un índice interno.

Para datos estructurados, como archivos CSV o JSON cargados, o datos de bases de datos rastreadas, cada columna u objeto se almacena como un campo de nivel raíz. Por ejemplo, si añade un archivo CSV a la colección, cada columna del archivo CSV se almacena como un campo independiente en el índice.

Se puede añadir un máximo de 1.000 campos al índice.

No puede asignar el tipo de datos, como Fecha o Cadena, de un campo. El tipo de dato se detecta automáticamente y se asigna al campo durante la ingesta del documento. La asignación se basa en el tipo de datos detectado en el primer documento indexado. Pueden producirse errores de ingestión en documentos posteriores si se detecta un tipo de datos diferente para el valor del mismo campo. Por lo tanto, si sus documentos tienen una mezcla de tipos de datos en un solo campo, ingiera primero el documento que tenga un valor con el tipo de datos más flexible, como String, en el campo.

Cuando rastrea un sitio web o carga un archivo HTML, el contenido HTML se añade a la colección y se indexa en un campo html.

La siguiente tabla muestra el límite de tamaño máximo de los campos por documento.

Si el tamaño máximo de los campos del documento supera los límites permitidos, se tratan de la siguiente manera:

• Para un documento con un campo html sobredimensionado, se indexan todos los campos del documento excepto el campo html.

  Para IBM Cloud Pak for Data versión 4.0 y anteriores, no se indexa todo el documento.

• Para un documento con campos no HTML sobredimensionados, el documento no se indexa.

Si está cargando un archivo de Microsoft Excel y aparece un mensaje que indica que se ha superado el límite de tamaño de campo no HTML, considere la posibilidad de convertir el archivo XLS en un archivo CSV. Al cargar un archivo de valores separados por comas (CSV), cada fila se indexa como un documento independiente. Como resultado, no se superan los límites de tamaño de campo.

Para obtener más información sobre cómo se gestionan los campos de los archivos cargados, consulte Cómo se gestionan los campos.

Orígenes de datos soportados

La tabla siguiente muestra los orígenes de datos soportados para cada tipo de despliegue.

Orígenes de datos soportados
Esta tabla tiene cabeceras de fila y columna. Las cabeceras de fila identifican los orígenes de datos soportados. Las cabeceras de columna identifican las distintas opciones de tipo de despliegue de producto. Para comprender qué orígenes de datos están disponibles para el tipo de despliegue, vaya a la fila que describe el origen de datos y busque las columnas para el tipo de despliegue en el que está interesado.

Origen de datos	IBM Cloud	IBM Cloud Pak for Data
Box
Base de datos (IBM Data Virtualization, IBM Db2, Microsoft SQL, Oracle, Postgres)
FileNet P8
HCL Notes
IBM Cloud Object Storage
Sistema de archivos local
Salesforce
Microsoft SharePoint Online
Local de Microsoft SharePoint
Sitio web
Microsoft Windows sistema de archivos

Opciones de planificación de rastreo

Cuando se crea una colección, el rastreo inicial se inicia inmediatamente. La frecuencia que elija para el programa de rastreo determina cuándo comenzará el siguiente rastreo.

Para crear un programa de rastreo, siga estos pasos:

1. En la sección Cronograma de rastreo, elija una frecuencia.

   Puede programar el rastreador para que se ejecute en un día y a una hora determinados. Esta opción es útil si desea evitar una carga pesada en un sistema de destino durante el horario laboral. Si especifica una hora en el intervalo 1 - 9, añada un cero antes del dígito de la hora. Por ejemplo, puede programar el rastreo para 01:00 AM los sábados.

   IBM Cloud Cuando programa un rastreo para que se ejecute mensualmente, las opciones de número de días se limitan de 1 a 28 porque debe especificar un día que ocurra cada mes, incluido febrero que tiene 28 días.

   IBM Cloud Pak for Data Las implantaciones instaladas tienen más opciones de programación:

   • Si desea rastrear cada 12 horas o cada 10 días, elija Intervalos personalizados. Puede programar el rastreador para que se ejecute en un número personalizado de días u horas.
   • Por defecto, el rastreo se programa para que comience durante las horas valle.
   • No ajuste el intervalo a una frecuencia inferior al tiempo que tarda en finalizar el rastreo.
   • No configure varios rastreadores para que se ejecuten a intervalos cortos.
   • Si abre una colección en una zona horaria distinta de aquella en la que se creó la colección, se mostrará la información sobre el desfase del Tiempo Universal Coordinado (UTC).

2. IBM Cloud Pak for DataIBM Software Hub Las implantaciones instaladas tienen una sección Más opciones de programación en la que puede elegir el tipo de programación que desea utilizar para rastrear la fuente de datos.

   Las opciones para todos los conectores (excepto el conector de rastreo web ) son las siguientes:

   • Rastreo completo: Vuelve a rastrear la fuente de datos externa para actualizar los documentos de la colección.
   • Actualizaciones de rastreo (búsqueda de contenidos nuevos, modificados y eliminados): Actualiza la colección sólo si se han añadido, modificado o eliminado datos de la fuente de datos externa desde el último rastreo.
   • Rastreo de contenidos nuevos y modificados: Actualiza la colección sólo si se han añadido o modificado datos en la fuente de datos externa desde el último rastreo.

   Sólo conector de rastreo web: El conector de rastreo web programa los rastreos de forma diferente a los otros tipos de conectores. Sólo para el conector de rastreo web, elija entre las siguientes opciones:

   • Para controlar usted mismo la frecuencia de los rastreos, elija esta opción:

     Rastreo completo

     Cuando elige un tipo de programación de rastreo completo, el rastreo se produce con la frecuencia que especifique en la sección Programación de rastreo de la página.

   • Para permitir que el sistema gestione la frecuencia de los rastreos por usted, elija una de las siguientes opciones:

     Rastreo de actualizaciones (búsqueda de contenidos nuevos, modificados y eliminados) o Rastreo de contenidos nuevos y modificados

     Cuando se elige un tipo de programación que rastrea actualizaciones o contenidos nuevos y modificados, se ignora la frecuencia especificada para la programación de rastreo. La frecuencia con la que se rastrea cada documento es variable y la gestiona íntegramente el servicio. Y la frecuencia cambia en función de la frecuencia con la que se producen cambios en un documento. Por ejemplo, si 5 de los 10 documentos de una colección han cambiado al final del primer intervalo de rastreo, la frecuencia aumenta automáticamente para esos 5 documentos. Actualmente, la frecuencia máxima con la que pueden ejecutarse estas actualizaciones autogestionadas es diaria.

     No se puede interrumpir la gestión automatizada de la frecuencia ni activar un rastreo puntual cuando se configuran este tipo de rastreos programados.

Si desea cambiar la configuración del programa de rastreo flexible más adelante, puede ir a la página Configuración de procesamiento, editar la configuración y, a continuación, hacer clic en Aplicar cambios y volver a procesar.

IBM Cloud El siguiente rastreo programado se muestra en la página Actividad.

Si cambia la frecuencia de programación, es posible que la siguiente hora de rastreo programada no sea la esperada. Los rastreos se configuran para que se produzcan de forma periódica a una hora o un día determinados por defecto. Por ejemplo, si cambia la programación de rastreo de semanal a mensual el 11 de agosto, el siguiente rastreo podría programarse para el 31 de agosto en lugar del 11 de septiembre. No está programado para exactamente un mes a partir del día en que realizó el cambio. En su lugar, se programa para que se ejecute el día designado como día de ejecución por defecto para la frecuencia de rastreo seleccionada.

Detener un rastreo

Puede detener un rastreo sin cambiar la frecuencia del programa de rastreo. Esta acción es útil si desea realizar una tarea que requiere mucho tiempo y no desea que el rastreo se inicie o ejecute entre una tarea y otra.

IBM Cloud Para detener un rastreo, siga los siguientes pasos:

1. Abra la página Gestionar colecciones desde el panel de navegación.

2. Seleccione la colección para la que desea detener el rastreo.

3. En la página Actividad, si el rastreo está en curso, haga clic en Detener.

4. Vaya a la página de configuración de Procesamiento.

5. Establezca Aplicar programación en No y, a continuación, haga clic en Aplicar cambios y volver a procesar.

   El rastreo se detiene y no volverá a iniciarse hasta que lo reinicies.

IBM Cloud Para reiniciar el rastreo, siga estos pasos:

1. Abra la página Gestionar colecciones desde el panel de navegación.

2. Seleccione la colección para la que desea reiniciar el rastreo.

3. Vaya a la página de configuración de Procesamiento.

4. Establezca Aplicar programación en Sí y, a continuación, haga clic en Aplicar cambios y volver a procesar.

   El rastreo comienza inmediatamente.

   El siguiente rastreo se iniciará en función de la frecuencia seleccionada en las opciones de programación del rastreo. Si desea iniciar el rastreo en cualquier momento antes de la frecuencia programada, haga clic en Volver a rastrear en la página Actividad.

IBM Cloud Pak for Data IBM Software Hub

Puedes detener temporalmente un rastreo en curso.

Para detener temporalmente un rastreo, siga estos pasos:

1. Abra la página Gestionar colecciones desde el panel de navegación.

2. Seleccione la colección para la que desea detener temporalmente el rastreo.

3. En la página Actividad, haga clic en Detener.

   El rastreo comienza de nuevo en función de la frecuencia especificada en el calendario de rastreo.