Sugerencias de etiquetado

Revise estas sugerencias antes de empezar:

• La colección de documentos que etiquete debe contener un conjunto representativo de documentos. Los documentos deben tener muchos y variados ejemplos de los tipos de entidad que desea que reconozca el extractor de entidad. Si la colección que ha seleccionado al empezar a crear el extractor de entidad no cumple el requisito, deténgase ahora y vuelva a empezar con una colección de documentos diferente.
• Defina tipos de entidad que sean claramente distintos entre sí.
• Tenga como objetivo etiquetar al menos 40 ejemplos de cada tipo de entidad.
• Etiquete cada ejemplo válido de un tipo de entidad. No omita ninguna aparición. Para acelerar el proceso, utilice la característica de etiqueta masiva.

Ejemplos de entidad de etiquetado

Etiquete los términos en el documento que representan ejemplos de los tipos de entidad que ha definido. Cuando haya terminado con un documento, cambie el estado del documento de En curso a Completadoy, a continuación, pase al siguiente documento.

Para etiquetar ejemplos de entidad, realice los pasos siguientes:

1. Revise el texto del documento. Busque ejemplos de entidad para etiquetar.

   La siguiente tabla muestra algunos ejemplos.

   Tipos de entidad y ejemplos

   Tipo de entidad	Ejemplos para etiquetar en el documento
   color	blanco, verde, morado
   car	convertible, SUV, sedán
   AUTO_MODEL	Explorador, Cívico, Sorrento
   fabricante automático	Ford, Honda, Kia
   clothing	camisa, blusa, skort
   Instrumentos	bonos, acciones, ETF, munis

   Si todavía no se ha creado un tipo de entidad que desea identificar, añada el tipo de entidad. En el panel Tipos de entidad, pulse Crear nuevo. Para obtener más información sobre cómo añadir tipos de entidad, consulte Definición de tipos de entidad.

2. En primer lugar, pulse el tipo de entidad en el panel Tipos de entidad.

3. En el cuerpo del documento, seleccione la palabra o frase que representa el ejemplo de entidad.

   El término se selecciona y se aplica una etiqueta de color al término. Los dos primeros caracteres del nombre de tipo de entidad se muestran en superíndice en mayúsculas dentro del límite de la etiqueta. Tanto el ID de 2 caracteres como el color de etiqueta le ayudan a asociar el ejemplo con el tipo de entidad que representa.

   

   El texto de ejemplo también se añade al panel Tipos de entidad. Si pulsa la comilla angular para ver los detalles, puede ver que el ejemplo aparece en la lista. El texto de ejemplo se guarda en minúsculas, independientemente de las mayúsculas que se utilicen en el texto original.

4. Si el etiquetado masivo está habilitado, se visualiza una notificación para mostrar el número de apariciones del término que se han encontrado y etiquetado en el documento actual.

5. Si desea etiquetar las apariciones del término en todos los documentos de la colección, pulse Aplicar a todos los documentos.

   Cuando habilita esta opción, las apariciones del término se etiquetan en todos los documentos de la colección, incluidos los documentos que ya ha revisado y marcado como completados.

   Se le solicita que confirme la acción porque no se puede deshacer. Si no desea tener que confirmar la acción cada vez que elija aplicar el etiquetado masivo a todos los documentos, seleccione No volver a solicitar confirmación. Pulse Ejecutar.

   

   Para obtener más información, consulte Etiquetado masivo de ejemplos.

6. Desplácese por el documento para etiquetar cada ejemplo válido de cada tipo de entidad que desee que reconozca el extractor.

   Puede buscar términos que desee etiquetar como ejemplos de entidad. Para obtener más información, consulte Búsqueda de ejemplos utilizando palabras clave.

   El modelo de aprendizaje automático aprende tanto de los términos que no etiqueta como los términos que utiliza.

   Si se pierde el etiquetado de un ejemplo válido, el modelo aprende que cuando se utiliza el término en ese contexto, no es una mención válida del tipo de entidad. En algunos casos, una omisión es apropiada. Por ejemplo, algunos términos tienen significados diferentes en contextos diferentes. No desea etiquetar el término cuando se utiliza en el contexto incorrecto. Sin embargo, si el término se utiliza en el contexto correcto y no lo etiqueta, está enseñando al modelo a ignorarlo. Disminuye la eficacia del modelo cuando los datos de entrenamiento son incoherentes.

   Después de etiquetar muchos ejemplos, se muestran sugerencias de ejemplo de entidad. Puede aceptar o rechazar sugerencias de ejemplo de entidad.

   

   Aceptar sugerencias de ejemplo es otra forma de acelerar el proceso de etiquetado. Para obtener más información, consulte Sugerencias de ejemplo de entidad. Después de aceptar una sugerencia, puede etiquetar de forma masiva el término.

7. Si comete un error y etiqueta la palabra incorrecta o una palabra ha sido etiquetada incorrectamente por el proceso de etiquetado masivo, puede suprimir la etiqueta.

   Pase el cursor por encima de la palabra etiquetada hasta que se visualice la opción Suprimir este ejemplo y, a continuación, pulse en ella. Puede elegir suprimir sólo esta mención o todas las menciones del documento. Elija una opción y, a continuación, pulse Suprimir.

8. Después de etiquetar todos los ejemplos de entidad en el documento actual, cambie el estado del documento de En curso a Completado.

   Se visualiza otro documento de la colección.

9. Etiquete ejemplos de los tipos de entidad en cada documento de la colección.

   En cualquier momento durante el proceso de etiquetado, puede pulsar Guardar extractor de entidad para guardar el trabajo.

10. Si no tiene suficientes ejemplos en el conjunto actual de documentos, puede añadir más documentos.

    En el panel Lista de documentos, pulse Añadir documentos. La opción sólo está disponible cuando hay más documentos disponibles en la colección. Puede añadir hasta 20 documentos. Si el etiquetado masivo para todos los documentos está habilitado, las etiquetas se aplican automáticamente a los documentos recién añadidos.

11. Después de etiquetar los ejemplos en tantos documentos de la colección como desee, pulse Guardar extractor de entidad y, a continuación, abra la página Entrenar extractor.

Búsqueda de ejemplos utilizando palabras clave

Utilizando la característica de búsqueda, puede encontrar ejemplos de entidad en un documento y etiquetarlos fácilmente. También puede utilizar la búsqueda para encontrar ejemplos etiquetados y ejemplos no etiquetados y corregir las incoherencias de etiquetado.

Para buscar utilizando palabras clave, realice los pasos siguientes:

1. En la vista Etiquetar documentos, pulse el icono Buscar.

2. En el campo Buscar, especifique una palabra clave para buscar en el documento.

   Los resultados de búsqueda del documento se muestran cuando se especifica la palabra clave.

   Para examinar los resultados de la búsqueda, puede pulsar los iconos Siguiente resultado y Resultado anterior. Para elegir una etiqueta para un ejemplo no etiquetado en el resultado, pulse el icono Editar etiqueta y seleccione una etiqueta. También puede eliminar una etiqueta de un ejemplo ya etiquetado en el resultado pulsando el icono Editar etiqueta.

3. Para filtrar los resultados de la búsqueda, pulse el icono Mostrar opciones de filtro.

   La siguiente tabla describe las opciones de filtro.

   Opciones de filtro en la búsqueda

   Opción	Descripción
   ALL	Para buscar todos los ejemplos en un documento que coincidan con la palabra clave.
   Texto etiquetado	Para buscar ejemplos etiquetados existentes en un documento que coincidan con la palabra clave.
   Texto sin etiquetar	Para buscar ejemplos no etiquetados en un documento que coincidan con la palabra clave.
   Coincidir mayúsculas y minúsculas	Para encontrar ejemplos que coincidan con la palabra clave y sus mayúsculas y minúsculas.
   Palabras completas	Para encontrar ejemplos que coincidan con los límites de palabra de la palabra clave. Por ejemplo, si especifica york como palabra clave, yorktown no coincide cuando se selecciona esta opción.

Para los ejemplos no etiquetados en los resultados, puede aceptar o rechazar una sugerencia de etiqueta.

Para resolver cualquier solapamiento de ejemplos, pulse Revisar sugerencias y elija una sugerencia de ejemplo de entidad en el recuadro de diálogo Solapamiento de sugerencias de ejemplo de entidad.

Etiquetado de ejemplos de forma masiva

Para la mayoría de los ejemplos de entidad, es útil habilitar la característica de etiqueta masiva. Es posible que desee omitirlo si un término tiene más de un significado en contextos diferentes. En ese caso, evalúe cada aparición individualmente. Recuerde que, si habilita la característica de etiqueta masiva, puede comprobar la precisión de las etiquetas que se han añadido automáticamente y realizar correcciones cuando sea necesario al revisar el documento.

Después de habilitar la característica de etiqueta masiva, se visualiza una notificación que indica cuántas apariciones de un ejemplo de entidad se han encontrado en el documento actual. Desde la página actual, la herramienta de etiquetado no puede acceder a otros documentos para informar de cuántas apariciones existen en otros documentos de la colección. Sin embargo, el recuento de menciones se muestra en el panel Tipos de entidad. Cuando abra por primera vez otros documentos, puede comprobar los recuentos de menciones para ver cuántas menciones se han etiquetado automáticamente.

¿Se ha perdido una aparición en la característica de etiqueta masiva?

Las apariciones del término no se etiquetan si aparecen en la misma frase en la que el término ya está etiquetado. Por ejemplo, la primera aparición del término husband no se etiqueta cuando se activa la característica de etiqueta masiva para la segunda aparición del término en la frase siguiente.

Sugerencias de ejemplo de entidad

Después de etiquetar suficientes ejemplos, se visualizan los ejemplos de tipo de entidad sugeridos. El sistema aprende de los tipos de ejemplos que etiqueta y aplica lo que aprende para identificar posibles nuevos ejemplos. Por ejemplo, después de etiquetar red, orange, yellow, green y blue como ejemplos del tipo de entidad color, el panel Sugerencias de ejemplo puede mostrar indigo y violet como ejemplos sugeridos para que los etiquete. Las sugerencias no se visualizan hasta después de etiquetar muchos ejemplos de un tipo de entidad.

El ejemplo siguiente muestra sugerencias que se realizan para menciones de miembros de la familia.

Es posible que observe que un término que ha elegido para etiquetar de forma masiva no está etiquetado, sino que se visualiza como sugerencia en su lugar. Un término se omite en las situaciones siguientes:

• El término puede aparecer en diferentes frases de nombre en diferentes secciones del documento. Por ejemplo, el término father puede aparecer en las frases de nombre the kindest *father* y to her *father*. Cuando una palabra se incluye en una frase de nombre con adjetivos, el significado puede cambiar. Por lo tanto, estos términos a veces se sugieren en lugar de etiquetarse automáticamente.
• Una palabra puede ser un ejemplo válido por sí sola y como parte de una mención de varias palabras. Por ejemplo, una mención a IBM podría referirse a la empresa International Business Machines, Corp. o podría utilizarse como parte del nombre de un producto, como IBM Cloud Pak for Data. Sin embargo, una palabra o frase puede formar parte de un solo ejemplo. Las etiquetas de ejemplo no se pueden solapar entre sí. Por lo tanto, debe elegir qué sugerencia de ejemplo es la más precisa. En este ejemplo, donde el término IBM se utiliza como parte del nombre de un producto, es más preciso etiquetar la frase completa como un ejemplo del tipo de entidad Product.
• El servicio puede reconocer que un término es un posible ejemplo de más de un tipo de entidad. Por ejemplo, la palabra top podría significar el mejor o podría significar shirt.

Para investigar más una sugerencia, haga clic en ella para ver la palabra en contexto dentro del documento. Ver el término en contexto le ayuda a decidir si la aparición es un ejemplo de entidad válido para que la etiquete.

Exportación de datos etiquetados para un extractor de entidad

Puede exportar los datos etiquetados para un extractor de entidad desde Discovery. Puede utilizar los datos etiquetados exportados para entrenar o crear modelos de lenguaje grandes (LLM) en un servicio como Watson Studio y Natural Language Processing (NLP).

Para exportar los datos etiquetados, siga estos pasos:

1. En el panel Herramientas de mejora de la página Mejorar y personalizar, expanda Enseñar conceptos de dominioy, a continuación, pulse Extraer entidades.

2. Para el extractor de entidad desde el que desea exportar datos etiquetados, pulse el icono Acciones y, a continuación, seleccione Descargar datos etiquetados.

   Un archivo comprimido se descarga con datos etiquetados. El archivo comprimido contiene los siguientes archivos JSON.

   • labeled_data.json: Incluye el texto y las etiquetas. El formato de datos se basa en el formato de datos de entrada para la extracción de entidades en Watson Natural Language Processing. Para obtener más información, consulte Formato de datos de entrada.
   • metadata.json: incluye metadatos para el espacio de trabajo y datos etiquetados.

Resolución de problemas de formación

Conozca los posibles mensajes de error y cómo abordarlos.

Los datos de entrenamiento son demasiado grandes

Los datos de entrenamiento contienen un documento de texto grande o muchos tipos de entidad y recursos necesarios para procesar los datos son mayores que los recursos disponibles para la instancia de servicio. Este error se puede producir incluso cuando el espacio de trabajo no supera los límites de extractor de entidad documentados. Para resolver el problema, puede probar uno de los siguientes métodos:

• Elimine uno o más tipos de entidad para reducir el tamaño de los datos de entrenamiento.
• Elimine documentos extra grandes de los datos de entrenamiento. Por ejemplo, si uno de los documentos etiquetados es muy grande, cambie su estado de Completado a En curso para omitirlo de los datos de entrenamiento.
• Reduzca el número de documentos que se incluyen en el conjunto de entrenamiento. La proporción de división predeterminada (70 %-23 %-7%) para los datos de entrenamiento utiliza el 70% de los documentos del conjunto de entrenamiento. Puede cambiar el porcentaje de documentos que se utilizan en el conjunto de entrenamiento a un número menor. Por ejemplo, puede cambiar la proporción de división a 60 %-33 %-7%.
• IBM Cloud Pak for Data aumente la capacidad de su instancia de servicio implementada ampliando los pods de servicio IBM Software Hub Aumente la capacidad de su instancia de servicio implementada ampliando los pods de servicio.

Mejora del extractor

La tabla siguiente muestra los arreglos sugeridos para problemas comunes.

Adición de documentos a los datos de entrenamiento

Para añadir más documentos, siga estos pasos:

1. Abra la pestaña Etiquetar documentos.

2. En el panel Lista de documentos, elija Añadir documentos.

   Este botón está inhabilitado si no hay otros documentos disponibles para añadir al extractor de entidad de la colección actual. Para añadir más documentos a la colección, vaya a la página Actividad de la colección y, a continuación, pulse el mosaico Cargar datos para buscar y añadir más archivos.

No puede elegir los documentos de la colección para mostrarlos en la Lista de documentos con fines de etiquetado. Si hay tipos específicos de documentos que desea etiquetar, considere la posibilidad de añadir documentos representativos a una colección que puede utilizar para crear el extractor de entidad.

Hay límites en el número de documentos que se pueden incluir en los datos de entrenamiento. Si los datos de entrenamiento incluyen documentos con una combinación de secciones que están etiquetadas y otras que no lo están, el sistema puede muestrear algunos ejemplos de frases no etiquetadas. El submuestreo ayuda a equilibrar el número de ejemplos positivos y negativos que se utilizan para el entrenamiento. El equilibrio de los ejemplos en el conjunto de entrenamiento mejora el rendimiento del entrenamiento.

Salida del extractor de entidad

Cuando el enriquecimiento reconoce una de las entidades personalizadas en un documento, se añade una entrada a la sección enriched_text.entities de la representación JSON del documento. La sección contiene apariciones de entidades reconocidas por el modelo personalizado junto con entidades reconocidas por el enriquecimiento Entidades incorporado. El enriquecimiento incorporado utiliza el servicio NLP de Watson para identificar entidades que forman parte de lo que denomina el sistema de tipos Natural Language Understanding. Para obtener más información sobre el enriquecimiento Entidades incorporado, consulte Entidades.

La salida JSON siguiente la genera un modelo personalizado denominado literatura que reconoce las menciones de miembros de la familia.

Supervisión del rendimiento a lo largo del tiempo

Puede volver a entrenar el modelo de extractor de entidad en cualquier momento. Cada vez que entrene el modelo, revise las puntuaciones de métricas de rendimiento para determinar si los cambios más recientes aumentan o disminuyen las puntuaciones del modelo.

1. Para comparar una ejecución de prueba con otra, pulse Ver historial de puntuación.

   La vista de historial muestra las últimas 5 ejecuciones de entrenamiento.

   Para conservar la información de puntuación para más de las 5 ejecuciones de entrenamiento más recientes, puede exportar las métricas en formato de valor separado por comas y realizar un seguimiento de las puntuaciones en una aplicación separada. Pulse el icono de representación tabular y, a continuación, pulse Descargar como CSV.

Si una ejecución de entrenamiento posterior da como resultado puntuaciones más bajas, no publique esa versión del modelo.