Campos HTML

El campo html del índice de documentos almacena información estructural sobre el documento.

• Si utiliza la herramienta Smart Document Understanding para anotar una colección, la representación del documento se indexa en el campo html.
• Si utiliza la herramienta Smart Document Understanding para aplicar un modelo entrenado previamente a una colección, la representación del documento se indexa tanto en el campo html como en el campo text.
• El campo html tiene un límite de tamaño. Para obtener más información, consulte Límites de campo.

Nota sobre la mejora de los datos:

• Si desea aplicar un enriquecimiento que pueda comprender las tablas de un documento, el documento debe contener un campo html.

Valores de formato de fecha

Si los documentos tienen un campo de nivel raíz con información de fecha, puede establecer el campo para que sea un campo de tipo de datos Date en el índice.

Discovery reconoce los siguientes formatos de fecha automáticamente:

yyyy-MM-dd'T'HH:mm:ssZ
yyyy-MM-dd'T'HH:mm:ssXXX
yyyy-MM-dd'T'HH:mm:ss.SSSZ
yyyy-MM-dd'T'HH:mm:ss.SSSX
yyyy-MM-dd
M/d/yy
yyyyMMdd
yyyy/MM/dd

Si almacena fechas en otros formatos, puede añadir el formato a la lista de formatos soportados.

Para añadir más formatos de fecha, realice los pasos siguientes:

1. En la página Gestionar campos de la colección, añada un formato como una línea nueva en el campo Formatos de fecha.

   Especifica un formato de fecha soportado por la clase Java SimpleDateFormat.

   Por ejemplo, si los registros sólo almacenan valores de año para fechas, añada yyyy a la lista de formatos de fecha soportados. A continuación, puede establecer el tipo de datos para el campo que contiene un valor de año en Fechay volver a procesar la recopilación. Como resultado, una aparición de 2019 en el campo de fecha se almacena como 2019-01-01T05:00:00Z en el índice.

   Al añadir un formato de fecha, debe especificar un huso horario asociado para la fecha.

2. Especifique un huso horario.

3. Opcionalmente, seleccione un entorno local de fecha.

   El entorno local que elija se utiliza para analizar un valor de serie que representa la fecha para los campos de conjunto de datos de tipo de fecha. Por ejemplo, al utilizar el formato EEE, MM dd, yyyy, la configuración regional inglesa (Estados Unidos) puede analizar el valor de la cadena "Wednesday, 07 01, 2020", y la configuración regional japonesa (Japón) puede analizar el mismo valor de cadena "水曜日, 07 01, 2020".

4. Si ya ha importado documentos con fechas en formatos que no se han reconocido, vuelva a procesar los documentos.

Discovery no puede almacenar una fecha que se mencione en un campo de texto como un campo Fecha en el índice. Sin embargo, puede utilizar un enriquecimiento como, por ejemplo, el enriquecimiento Entidades para identificar las fechas que se mencionan en el texto.

Archivos CSV

Notas sobre la adición de datos:

• Cada línea definida en el archivo CSV se añade al índice como un documento independiente, cada uno con el mismo parent_document_id.

  Los documentos hijo normalmente tienen un ID de documento con la sintaxis {parent-ID}_n donde {parent-ID} es el ID de documento del archivo original que se ha añadido y n es un número secuencial. Por ejemplo, si carga un archivo CSV con 5 filas, se añaden cinco documentos a la colección con ID de documento como, por ejemplo, de f5214225c1e03e25190ffcdfad8e84ff_0 a f5214225c1e03e25190ffcdfad8e84ff_4.

• No puede habilitar la característica OCR (reconocimiento óptico de caracteres) para archivos CSV.

• Si el archivo CSV tiene cabeceras, los nombres de cabecera se utilizan para nombrar los campos en los que se almacena el contenido de la columna correspondiente. No utilice nombres que tengan un significado especial en Discovery. Asegúrese de que los nombres de campo se ajustan a las reglas de denominación, como no tener espacios ni números añadidos. Por ejemplo, puede cambiar el nombre de la cabecera start date por start_date y label1 por label-one antes de añadir el archivo. Para obtener más información, consulte Cómo se manejan los campos.

• Cuando un nombre de cabecera de archivo CSV contiene caracteres restringidos, el conversor de documentos elimina automáticamente los caracteres restringidos del nombre de campo cuando añade el campo resultante al índice.

Nota sobre la mejora de los datos:

• No puede aplicar modelos precompilados o entrenados por el usuario de Smart Document Understanding a archivos CSV.

Archivos HTML

Si carga un archivo HTML o rastrea un origen de datos con archivos HTML, como por ejemplo un sitio web, se genera un campo html junto con el campo text. Para obtener más información, consulte Campos HTML.

Archivos JSON

Notas sobre la adición de datos:

• Los nombres de objeto del archivo JSON de origen se utilizan para nombrar los campos en los que se almacena el contenido. No utilice nombres que tengan un significado especial en Discovery. Asegúrese de que los nombres se ajustan a las reglas de denominación, como por ejemplo no tener espacios ni números añadidos. Por ejemplo, puede cambiar el nombre del objeto updated on por updated_on y answer2 por answer-two antes de añadir el archivo. Para obtener más información, consulte Cómo se manejan los campos.

• Si un campo de nivel raíz es una matriz pero no contiene elementos, el campo se omite del índice.

• Si un campo de nivel raíz es una matriz y contiene sólo un elemento, la matriz se indexa como el tipo de datos de un elemento. Por ejemplo, una matriz de series con una serie se indexa como una serie.

• Si un campo anidado contiene una matriz, incluso si la matriz sólo tiene un valor, se indexa como una matriz.

• Si un campo de nivel raíz es una matriz y contiene más de un elemento, los datos se indexan como una matriz.

• Si copia JSON generado por Discovery y, a continuación, lo carga como un archivo JSON, elimine primero estos campos generados por el sistema del archivo: document_id, parent_document_id, filename y title.

• No puede habilitar la característica de reconocimiento óptico de caracteres (OCR) para archivos JSON.

• Si el documento de origen tiene un campo con el nombre document_id, el campo se omite y no se añade al índice de la colección.

  El modo en que se maneja el campo document_id en un archivo JSON ha cambiado con la actualización de versión de 2023-03-31 de la API. Antes de la actualización, cuando ha cargado un archivo JSON desde la interfaz de usuario del producto o ha utilizado la API para añadirlo con el método Añadir documento, el valor del campo document_id del archivo se mostraba como el valor document_id en los resultados de la consulta. Sin embargo, se le ha asignado un ID de documento diferente y se ha almacenado en el campo parent_document_id. El ID de documento asignado es el que se devolvió cuando llamó al método List documents (Lista de documentos ) y es el que tuvo que utilizarse como document_id (valor de retorno) en el endpoint URL para una solicitud de método Delete document (Eliminar documento ). Cuando se utiliza el método Actualizar documento para asignar un nuevo document_id, el ID original continúa devolviéndose en los resultados de la consulta. Sin embargo, se ha tenido que utilizar el ID asignado para suprimir el documento. Si tiene una aplicación que se basa en el comportamiento anterior, puede especificar un número de versión anterior a 2023-03-31, como por ejemplo 2020-08-30, en las llamadas de API.

Notas sobre la mejora de datos:

• No puede aplicar modelos precompilados o entrenados por el usuario de Smart Document Understanding a archivos JSON.

• Cuando aplica un enriquecimiento a un campo desde el archivo JSON, el tipo de datos de campo se convierte en una matriz. El campo se convierte en una matriz incluso si contiene un único valor. Por ejemplo, "field1": "Descubrimiento" se convierte en "field1": ["Descubrimiento"].

• Solo se enriquecen los primeros 50.000 caracteres de un campo personalizado de un archivo JSON.

• En los tipos de proyecto en los que el enriquecimiento Parte de voz (POS) se aplica automáticamente, el enriquecimiento se aplica al campo que contiene la mayor parte del contenido del archivo en el primer archivo JSON que se añade a la colección. Este campo está determinado por las reglas siguientes:

  • Si un campo se denomina text, se le aplica el enriquecimiento POS.
  • Se elige el campo con el valor de serie más largo y el número más alto de valores distintos.
  • Si más de un campo cumple la condición anterior, se elige uno de los campos de forma aleatoria.

• Si desea aplicar un enriquecimiento a un campo anidado, debe crear un proyecto de Content Mining y, a continuación, aplicar el enriquecimiento al campo. Si desea utilizar un tipo de proyecto que no sea Content Mining, puede reutilizar la colección que ha creado con el tipo de proyecto Content Mining en otro lugar. Para obtener más información, consulte Aplicación de enriquecimientos.

Puede especificar los objetos normalizations y conversions en el método Actualizar una colección de la API para mover o fusionar campos JSON.