¿Cómo se utilizan los diccionarios?

Los diccionarios se utilizan en un par de formas, todas opcionales. Los utiliza el modelo de aprendizaje automático para proporcionar palabras o frases que son equivalentes para fines de extracción de información y durante la preanotación para arrancar el esfuerzo de anotación.

• Uso del aprendizaje automático

  El tipo de entidad que asocie con un diccionario no se utiliza para definir reglas para el modelo de aprendizaje automático. El aprendizaje automático evalúa las menciones en los documentos de forma independiente. No presupone que una mención tenga un tipo de entidad específico solo porque la mención coincida con una entrada de un diccionario asociado con tal tipo de entidad. Pone la información en la cuenta, pero la trata como una parte de información entre otras partes de información que se recopile mediante el análisis lingüístico. De hecho, si ninguno de los términos de un diccionario se da en los documentos de datos de campo, el diccionario no lo utilizará en absoluto el modelo de aprendizaje automático.

• Uso de la preanotación

  Los diccionarios son importantes para los siguientes procesos de preanotación.

  • Preanotador del diccionario: Asocie un diccionario con un tipo de entidad desde el sistema de tipos al ejecutar el preanotador del diccionario.
  • Modelo basado en reglas: Puede asociar un diccionario opcionalmente con una clase de regla. Las clases se correlacionarán con tipos de entidades desde el sistema de tipos al ejecutar el modelo basado en reglas para preanotar documentos. Como resultado, los términos del diccionario se correlacionan, aunque no directamente, con los tipos de entidades también para el modelo basado en reglas.

  En ambos casos, los diccionarios proporcionan términos que el sistema puede encontrar y anotar como menciones. Asigna a cada mención el tipo de entidad asociado con el diccionario que contiene el término. Cuando un anotador humano empieza a trabajar en documentos nuevos que se preanotaron, muchas menciones ya estarán anotadas en función de las entradas del diccionario. El anotador humano así tendrá más tiempo para centrarse en asignar tipos de entidades a menciones que requieren un análisis más profundo.

Consideraciones sobre idiomas

• Para el portugués de Brasil, el inglés, el francés, el alemán, el italiano y el español, Knowledge Studio no proporciona actualmente una opción para especificar coincidencias del diccionario que no distingan entre mayúsculas y minúsculas, pero sí entradas del diccionario que coinciden con texto en mayúsculas. Por ejemplo, vehicle ("vehículo") del diccionario coincide con vehicle, Vehicle o VEHICLE del texto, mientras que Sat del diccionario coincide con Sat o SAT del texto, pero no con sat.
• Para el japonés y el coreano, la coincidencia del diccionario durante la preanotación distingue entre mayúsculas y minúsculas.
• Para el árabe, Knowledge Studio presupone que el texto en árabe se almacena sin formato y trata el formato numérico como una propiedad de nivel de almacenamiento. Para obtener detalles sobre cómo maneja Knowledge Studio el formato de caracteres y el formato numérico en árabe, consulte Configuración de soporte para árabe.

Diccionario de archivo CSV

También conocido como el formato de diccionario estándar, un diccionario en formato de valores separados por coma (CSV) es un archivo que puede editar después de cargarlo. El tamaño máximo de un archivo CSV que se puede cargar es de 1 MB. Si tiene un archivo de diccionario mayor, divida el archivo grande en varios archivos y cárguelos uno por uno en un diccionario único del espacio de trabajo de Knowledge Studio.

Para resumir los requisitos, debe utilizar un editor de texto para crear el archivo CSV, no software como Microsoft Excel, y el archivo debe utilizar la codificación UTF-8 que no incluye la marca de orden de bytes (BOM) al principio de la secuencia de texto. La primera fila del archivo debe especificar las siguientes cabeceras de columna:

lemma,poscode,surface

Las líneas restantes del archivo especifican las entradas de diccionario, donde:

• lema

  Especifica el formato de palabras más representativo para la entrada.

• poscode (árabe, portugués de Brasil, inglés, francés, alemán, italiano y español)

  Especifica un código que identifica la categoría léxica. Esta información de categoría léxica la utiliza el anotador del diccionario para ayudar con la señalización de la frase.

  • 0 - Desconocido

    Este código soporta el caso de ejemplo donde desea cargar un diccionario grande generado automáticamente que no incluya la información de la categoría léxica en cada entrada. Puede asignar desconocido a todas las entradas de forma predeterminada. Evite utilizar este código, si es posible.

  • 1 - Pronombre

  • 2 - Verbo

  • 3 - Nombre

  • 4 - Adjetivo

  • 5 - Adverbio

  • 6 - Adposición

  • 7 - Interjección

  • 8 - Conjunción

  • 9 - Determinador

  • 10 - Cuantificador

  En inglés, nombre (3), verbo (2) y adjetivo (4) son las categorías léxicas más comunes utilizadas para las entradas de diccionario.

  La categoría léxica no determina automáticamente el tipo de una mención. No presuponga que todos los nombres equivalen a las menciones de tipo de entidad ni que todos los verbos equivalen a menciones de tipo de relación. Por ejemplo, American es un adjetivo pero podría anotarse mejor como tipo de entidad GPE (entidad geopolítica) o PERSON. Met es un verbo, pero podría anotarse mejor como un EVENT_MEETING.

  En otros idiomas, como el alemán, que utiliza palabras compuestas, la exactitud de la información de categoría léxica es incluso más importante para ayudar a determinar los límites de palabras.

• poscode (chino)

  Especifica un código que identifica la categoría léxica. El valor de categoría léxica es importante para la señalización de texto y la preanotación en idiomas como el chino, que no utilizan el espacio en blanco para denotar límites de palabras.

  • 32 - Nombre
  • 31 - Nombre (Nombre de familia)
  • 35 - Nombre (Organización)
  • 34 - Nombre (Otros)
  • 33 - Nombre (Nombre de persona)

• poscode (japonés)

  Especifica un código que identifica la categoría léxica. El valor de categoría léxica es importante para la señalización del texto y para la preanotación en idiomas como el japonés, que no utilizan espacio en blanco para denotar límites de palabras.

  • 19 - Nombre
  • 23 - Prefijo común
  • 24 - Sufijo común
  • 140 - Nombre propio (Nombre)
  • 141 - Nombre propio (Apellidos)
  • 146 - Nombre propio (Nombre de persona)
  • 142 - Nombre propio (Organización)
  • 144 - Nombre propio (Nombre de lugar)
  • 143 - Nombre propio (Región)
  • 145 - Nombre propio (Otros)

• poscode (coreano)

  Especifica un código que identifica la categoría léxica. El valor de categoría léxica es importante para la señalización de texto y la preanotación en idiomas como el coreano, que no utilizan el espacio en blanco para denotar límites de palabras.

  • 10010 - Nombre
  • 10300 - Nombre propio (Nombre)
  • 10310 - Nombre propio (Apellidos)
  • 110360 - Nombre propio (Nombre de persona)
  • 10320 - Nombre propio (Organización)
  • 10340 - Nombre propio (Nombre de lugar)
  • 10330 - Nombre propio (Región)
  • 10350 - Nombre propio (Otros)

• superficial

  Especifica los términos equivalentes, también llamados formas superficiales. Repita el lema como una forma superficial y utilice una coma para separar varias formas superficiales. Si una forma superficial incluye una coma, ponga la forma superficial entre comillas.

Por ejemplo:

lemma,poscode,surface
IBM,3,IBM Corp.,IBM,"International Business Machines, Inc."
Department of Energy,3,DOE,Department of Energy
premium,4,premium,premium-grade

Conceptos relacionados:

Carga de recursos desde otro espacio de trabajo

Tareas relacionadas:

Preanotación de documentos con un diccionario

Acerca de esta tarea

Si proporciona un diccionario, puede ejecutar el preanotador de diccionarios en los documentos. El preanotador busca términos representados en el diccionario y los anota automáticamente. Este paso inicial en los documentos simplifica el trabajo del anotador humano porque podrá revisar las anotaciones añadidas por el preanotador y corregirlas o añadirlas a los mismos. No tiene que empezar todo desde cero.

Se aplican las siguientes restricciones a los diccionarios:

• Máximo de 15.000 entradas por diccionario

  Nota: Este límite no se aplica a los diccionarios que se cargan como un archivo de CSV diccionario. Los diccionarios de solo lectura pueden contener más entradas.

• Máximo de 64 diccionarios por espacio de trabajo

Procedimiento

Para añadir un diccionario al espacio de trabajo:

1. Inicie sesión como un administrador o gestor de proyectos de Knowledge Studio y abra la página Activos > Diccionarios.

2. Efectúe una de las tareas siguientes:

   • Junto al botón Crear diccionario, pulse el icono Menú y, a continuación, seleccione Cargar diccionario. Seleccione un diccionario y, a continuación, pulse Cargar. Después de cargar un diccionario, selecciónelo para ver el diccionario y asociarlo con un tipo de entidad.

   Puede cargar un archivo ZIP que contenga un diccionario descargado de otro espacio de trabajo de Knowledge Studio. Debe cargar el sistema de tipos descargado desde el otro espacio de trabajo en formato JSON para poder cargar el archivo de diccionario correspondiente. Puede editar y añadir entradas a un diccionario que reutilice de otro espacio de trabajo de Knowledge Studio. Consulte Carga de recursos desde otro espacio de trabajo para obtener más detalles.

   La carga de un archivo CSV también está soportada, pero cargar directamente como un diccionario crea un diccionario de solo vista previa que no puede editar ni descargar. Para cargar un archivo CSV que pueda editar y descargar, pulse Crear diccionario para crear un diccionario en primer lugar y, a continuación, cargar el contenido de CSV como entradas a dicho diccionario creado recientemente.

   • Pulse el botón Crear diccionario para crear un diccionario vacío al que puede añadir entradas de diccionario. Especifique un nombre descriptivo para el diccionario y, a continuación, pulse Guardar.

3. Para añadir entradas al diccionario, realice una de las siguientes tareas:

   • Pulse Añadir entrada para añadir una entrada de diccionario. Especifique el lema (el formato de palabra más representativo para el término).
   • Pulse Cargar para cargar un archivo CSV que contenga entradas de diccionario, y, a continuación, examine para seleccionar el archivo. El archivo CSV debe ser inferior a 1 MB.
   • Añada entradas recomendadas de la lista suministrada en el panel Sugerencias de entradas. Knowledge Studio utiliza los documentos del espacio de trabajo y las entradas existentes del diccionario para sugerir nuevas entradas.

4. Después de cargar o de añadir entradas, podrá editar las entradas.

   Abra una entrada para especificar términos equivalentes, llamados formas superficiales. Cada forma superficial debe tener 256 o menos caracteres. Puede cambiar cuál de las formas superficiales se utilizará como lema. Por ejemplo, el lema IBM puede tener formas superficiales como IBM Corp. e International Business Machines, Inc..

5. Seleccione la categoría léxica apropiada para cada lema y forma superficial del diccionario.

   La información de categoría léxica la utiliza el señalizador, y durante la preanotación.

6. Pulse Guardar para almacenar los cambios.

Qué hacer a continuación

Ejecute el preanotador, que utiliza los diccionarios creados para realizar un pase preliminar de los documentos de origen, y que añade anotaciones a los mismos.