Définir des entités personnalisées

Conseils relatifs à l'étiquetage

Passez en revue les conseils suivants avant de commencer:

• La collection de documents que vous étiquetez doit contenir un ensemble de documents représentatif. Les documents doivent contenir des exemples nombreux et variés des types d'entité que l'extracteur d'entité doit reconnaître. Si la collection que vous avez sélectionnée lorsque vous avez commencé à créer l'extracteur d'entité ne répond pas aux exigences, arrêtez-la maintenant et redémarrez-le avec une autre collection de documents.
• Définissez des types d'entité clairement distincts les uns des autres.
• Viser à étiqueter au moins 40 exemples de chaque type d'entité.
• Etiquetez tous les exemples valides d'un type d'entité. Ne sautez aucune occurrence. Pour accélérer le processus, utilisez la fonction d'étiquette en vrac.

Exemples d'entité de libellé

Etiquetez les termes du document qui représentent des exemples des types d'entité que vous avez définis. Lorsque vous avez terminé avec un document, faites passer le statut du document de En cours à Terminé, puis passez au document suivant.

Pour étiqueter des exemples d'entité, procédez comme suit:

1. Consultez le texte du document. Recherchez des exemples d'entité à étiqueter.

   Le tableau suivant en présente quelques exemples.

   Types d'entité et exemples

   Type d'entité	Exemples d'étiquetage dans le document
   couleur	blanc, vert, violet
   voiture	cabriolet, SUV, berline
   AUTO_MODEL	Explorateur, Civic, Sorrente
   fabrication_automatique	Ford, Honda, Kia
   vêtements	chemise, chemisier, skort
   instruments	obligations, actions, ETFs, investisseurs

   Si un type d'entité que vous souhaitez identifier n'est pas encore créé, ajoutez-le. Dans le panneau Types d'entité, cliquez sur Créer. Pour plus d'informations sur l'ajout de types d'entité, voir Définition de types d'entité.

2. Cliquez d'abord sur le type d'entité dans le panneau Types d'entité.

3. Dans le corps du document, sélectionnez le mot ou la phrase qui représente l'exemple d'entité.

   Le terme est sélectionné et un libellé de couleur est appliqué au terme. Les deux premiers caractères du nom de type d'entité sont affichés en exposant en majuscules dans la limite du libellé. L'ID à 2 caractères et la couleur du libellé vous aident à associer l'exemple au type d'entité qu'il représente.

   

   L'exemple de texte est également ajouté au panneau Types d'entité. Si vous cliquez sur le chevron pour afficher les détails, vous pouvez voir que l'exemple est répertorié. L'exemple de texte est enregistré en minuscules, quelle que soit la casse utilisée dans le texte d'origine.

4. Si l'étiquetage en bloc est activé, une notification s'affiche pour indiquer le nombre d'occurrences du terme qui ont été trouvées et étiquetées dans le document en cours.

5. Si vous souhaitez étiqueter les occurrences du terme dans tous les documents de la collection, cliquez sur Appliquer à tous les documents.

   Lorsque vous activez cette option, les occurrences du terme sont libellées dans tous les documents de la collection, y compris les documents que vous avez déjà révisés et marqués comme étant terminés.

   Vous êtes invité à confirmer l'action car elle ne peut pas être annulée. Si vous ne souhaitez pas avoir à confirmer l'action chaque fois que vous choisissez d'appliquer un étiquetage en bloc à tous les documents, sélectionnez Ne plus demander de confirmation. Cliquez sur Exécuter.

   

   Pour plus d'informations, voir Exemples de libellé en bloc.

6. Faites défiler le document pour étiqueter chaque exemple valide de chaque type d'entité que votre extracteur doit reconnaître.

   Vous pouvez rechercher des termes que vous souhaitez étiqueter comme exemples d'entité. Pour plus d'informations, voir Recherche d'exemples à l'aide de mots clés.

   Le modèle d'apprentissage automatique apprend autant des termes que vous ne libellez pas que les termes que vous libellez.

   Si vous manquez l'étiquetage d'un exemple valide, le modèle apprend que lorsque le terme est utilisé dans ce contexte, il ne s'agit pas d'une mention valide du type d'entité. Dans certains cas, une omission est appropriée. Par exemple, certains termes ont des significations différentes dans des contextes différents. Vous ne voulez pas étiqueter le terme lorsqu'il est utilisé dans le mauvais contexte. Cependant, si le terme est utilisé dans le bon contexte et que vous ne l'étiquetez pas, vous apprenez au modèle à l'ignorer. Vous diminuez l'efficacité du modèle lorsque vos données d'apprentissage sont incohérentes.

   Une fois que vous avez étiqueté de nombreux exemples, des suggestions d'exemple d'entité sont affichées. Vous pouvez accepter ou rejeter des exemples de suggestions d'entité.

   

   L'acceptation d'exemples de suggestions est une autre façon d'accélérer le processus d'étiquetage. Pour plus d'informations, voir Suggestions d'exemple d'entité. Après avoir accepté une suggestion, vous pouvez étiqueter le terme en bloc.

7. Si vous faites une erreur et que vous étiquetez le mauvais mot ou qu'un mot a été étiqueté de manière incorrecte par le processus d'étiquetage en bloc, vous pouvez supprimer le libellé.

   Survolez le mot libellé jusqu'à ce que l'option Supprimer cet exemple s'affiche, puis cliquez dessus. Vous pouvez choisir de supprimer uniquement cette mention ou toutes les mentions du document. Faites un choix, puis cliquez sur Supprimer.

8. Après avoir étiqueté tous les exemples d'entité dans le document en cours, remplacez le statut du document En cours par Terminé.

   Un autre document de la collection s'affiche.

9. Etiquetez des exemples de vos types d'entité dans chaque document de la collection.

   A tout moment au cours du processus d'étiquetage, vous pouvez cliquer sur Sauvegarder l'extracteur d'entité pour sauvegarder votre travail.

10. Si vous ne disposez pas de suffisamment d'exemples dans l'ensemble de documents en cours, vous pouvez ajouter d'autres documents.

    Dans le panneau Liste de documents, cliquez sur Ajouter des documents. L'option est disponible uniquement lorsque d'autres documents sont disponibles dans la collection. Vous pouvez ajouter jusqu'à 20 documents. Si l'étiquetage en bloc de tous les documents est activé, les libellés sont appliqués automatiquement aux documents nouvellement ajoutés.

11. Après avoir étiqueté les exemples dans autant de documents que vous le souhaitez dans la collection, cliquez sur Sauvegarder l'extracteur d'entité, puis ouvrez la page Entraîner l'extracteur.

Recherche d'exemples à l'aide de mots clés

A l'aide de la fonction de recherche, vous pouvez trouver des exemples d'entité dans un document et les étiqueter facilement. Vous pouvez également utiliser la recherche pour trouver des exemples libellés et des exemples non libellés et corriger les incohérences de libellé.

Pour effectuer une recherche à l'aide de mots clés, procédez comme suit:

1. Dans la vue Documents de libellé, cliquez sur l'icône Rechercher.

2. Dans la zone Rechercher, indiquez un mot clé à rechercher dans le document.

   Les résultats de la recherche dans le document s'affichent lorsque vous entrez le mot clé.

   Pour parcourir les résultats de la recherche, vous pouvez cliquer sur les icônes Résultat suivant et Résultat précédent. Pour choisir un libellé pour un exemple sans libellé dans le résultat, cliquez sur l'icône Editer le libellé et sélectionnez un libellé. Vous pouvez également supprimer un libellé d'un exemple déjà libellé dans le résultat en cliquant sur l'icône Editer le libellé.

3. Pour filtrer les résultats de la recherche, cliquez sur l'icône Afficher les options de filtrage.

   Le tableau suivant décrit les options de filtrage.

   Options de filtre dans la recherche

   Option	Descriptif
   Tous	Permet de rechercher tous les exemples dans un document correspondant au mot clé.
   Texte libellé	Permet de rechercher des exemples libellés existants dans un document correspondant au mot clé.
   Texte sans libellé	Permet de rechercher des exemples sans libellé dans un document qui correspondent au mot clé.
   Respecter la casse	Permet de rechercher des exemples qui correspondent à la fois au mot clé et à sa casse.
   Mots entiers	Permet de trouver des exemples qui correspondent aux limites de mot du mot clé. Par exemple, si vous spécifiez york comme mot clé, yorktown ne correspond pas lorsque cette option est sélectionnée.

Pour les exemples sans libellé dans les résultats, vous pouvez accepter ou rejeter une suggestion de libellé.

Pour résoudre des exemples de chevauchement, cliquez sur Examiner les suggestions et choisissez une suggestion d'exemple d'entité dans la boîte de dialogue Suggestions d'exemple d'entité chevauchante.

Etiquetage d'exemples en bloc

Pour la plupart des exemples d'entité, l'activation de la fonction de libellé en bloc est utile. Vous pouvez l'ignorer si un terme a plusieurs significations dans des contextes différents. Dans ce cas, évaluez chaque occurrence individuellement. N'oubliez pas que si vous activez la fonction de libellé en bloc, vous pouvez vérifier l'exactitude des libellés qui ont été ajoutés automatiquement et apporter des corrections lorsque cela est nécessaire lorsque vous passez en revue le document.

Une fois que vous avez activé la fonction de libellé en bloc, une notification s'affiche pour indiquer combien d'occurrences d'un exemple d'entité ont été trouvées dans le document en cours. A partir de la page en cours, l'outil d'affectation de libellés ne peut pas accéder à d'autres documents pour indiquer combien d'occurrences existent dans d'autres documents de la collection. Toutefois, le nombre de mentions est affiché dans le panneau Types d'entité. Lorsque vous ouvrez d'autres documents pour la première fois, vous pouvez vérifier le nombre de mentions pour voir combien de mentions ont été étiquetées automatiquement.

La fonction de libellé en vrac a-t-elle manqué une occurrence?

Les occurrences du terme ne sont pas étiquetées si elles apparaissent dans la même expression que celle dans laquelle le terme est déjà étiqueté. Par exemple, la première occurrence du terme husband n'est pas libellée lorsque la fonction de libellé en bloc est activée pour la deuxième occurrence du terme dans la phrase suivante.

Suggestions d'exemple d'entité

Une fois que vous avez étiqueté suffisamment d'exemples, des exemples de type d'entité suggérés sont affichés. Le système apprend à partir des types d'exemples que vous étiquetez et applique ce qu'il apprend pour identifier de nouveaux exemples potentiels. Par exemple, après avoir étiqueté red, orange, yellow, green et blue comme exemples de type d'entité color, le panneau Exemples de suggestions peut afficher indigo et violet comme exemples suggérés pour vous permettre d'étiqueter. Les suggestions ne sont pas affichées tant que vous n'avez pas étiqueté de nombreux exemples d'un type d'entité.

L'exemple suivant montre des suggestions qui sont faites pour les mentions de membres de la famille.

Vous pouvez remarquer qu'un terme que vous avez choisi d'étiqueter en bloc n'est pas étiqueté, mais qu'il s'affiche à la place en tant que suggestion. Un terme est ignoré dans les situations suivantes:

• Le terme peut apparaître dans différentes phrases nominales dans différentes sections du document. Par exemple, le terme father peut apparaître dans les phrases nominales the kindest *father* et to her *father*. Lorsqu'un mot est inclus dans une phrase du nom avec des adjectifs, la signification peut changer. Par conséquent, ces termes sont parfois suggérés plutôt que libellés automatiquement.
• Un mot peut être un exemple valide seul et dans le cadre d'une mention à plusieurs mots. Par exemple, une mention de IBM peut faire référence à la société International Business Machines, Corp. ou peut être utilisée dans le cadre d'un nom de produit, tel que IBM Cloud Pak for Data. Toutefois, un mot ou une phrase ne peut faire partie que d'un seul exemple. Les exemples de libellés ne peuvent pas se chevaucher. Par conséquent, vous devez choisir l'exemple de suggestion le plus précis. Dans cet exemple, où le terme IBM est utilisé comme partie d'un nom de produit, il est plus exact d'étiqueter la phrase complète comme un exemple du type d'entité Product.
• Le service peut reconnaître qu'un terme est un exemple possible de plusieurs types d'entité. Par exemple, le mot top peut signifier le meilleur ou chemise.

Pour examiner une suggestion plus en détail, cliquez dessus pour voir le mot en contexte dans le document. L'affichage du terme en contexte vous aide à déterminer si l'occurrence est un exemple d'entité valide que vous pouvez étiqueter.

Exportation de données libellées pour un extracteur d'entité

Vous pouvez exporter les données libellées d'un extracteur d'entité à partir de Discovery. Vous pouvez utiliser les données libellées exportées pour l'entraînement ou la génération de modèles de langage de grande taille (LLMs) sur un service tel que Watson Studio et Natural Language Processing (NLP).

Pour exporter les données étiquetées, procédez comme suit :

1. Dans le panneau Improvement tools de la page Improve and customize, développez Teach domain concepts, puis cliquez sur Extract entities.

2. Pour l'extracteur d'entité à partir duquel vous souhaitez exporter des données libellées, cliquez sur l'icône Actions, puis sélectionnez Télécharger les données libellées.

   Un fichier compressé est téléchargé avec des données libellées. Le fichier compressé contient les fichiers JSON suivants.

   • labeled_data.json: inclut le texte et les libellés. Le format de données est basé sur le format de données d'entrée pour l'extraction d'entité dans Watson Natural Language Processing. Pour plus d'informations, voir Format des données d'entrée.
   • metadata.json: inclut des métadonnées pour l'espace de travail et des données libellées.

Identification et résolution des problèmes liés à la formation

Découvrez les messages d'erreur possibles et comment les traiter.

Les données d'apprentissage sont trop volumineuses

Vos données d'entraînement contiennent un document texte volumineux ou de nombreux types d'entité et ressources nécessaires pour traiter les données sont supérieurs aux ressources disponibles pour votre instance de service. Cette erreur peut se produire même lorsque votre espace de travail ne dépasse pas les limites d'extracteur d'entité documentées. Pour résoudre le problème, vous pouvez essayer l'une des approches suivantes :

• Supprimez un ou plusieurs types d'entité pour réduire la taille de vos données d'entraînement.
• Supprimez les documents très volumineux des données d'entraînement. Par exemple, si l'un des documents libellés est très volumineux, remplacez son statut Terminé par En cours pour l'omettre des données d'apprentissage.
• Réduisez le nombre de documents inclus dans l'ensemble d'apprentissage. Le rapport de division par défaut (70 %-23 %-7%) pour les données d'entraînement utilise 70% des documents de l'ensemble d'entraînement. Vous pouvez modifier le pourcentage de documents utilisés dans l'ensemble d'apprentissage en indiquant un nombre inférieur. Par exemple, vous pouvez remplacer le rapport de division par 60 %-33 %-7%.
• IBM Cloud Pak for Data augmentez la capacité de votre instance de service déployée en augmentant la taille des pods de service IBM Software Hub Augmentez la capacité de votre instance de service déployée en augmentant la taille des modules de service.

Amélioration de l'extracteur

Le tableau suivant présente les correctifs suggérés pour les problèmes courants.

Ajout de documents aux données d'entraînement

Pour ajouter d'autres documents, procédez comme suit :

1. Ouvrez l'onglet Documents de libellé.

2. Dans le panneau Liste de documents, sélectionnez Ajouter des documents.

   Ce bouton est désactivé si aucun autre document n'est disponible pour être ajouté à l'extracteur d'entité à partir de la collection en cours. Pour ajouter d'autres documents à la collection, accédez à la page Activité de la collection, puis cliquez sur la vignette Télécharger les données pour rechercher et ajouter d'autres fichiers.

Vous ne pouvez pas choisir les documents de la collection à afficher dans la Liste de documents à des fins d'étiquetage. S'il existe des types de documents spécifiques que vous souhaitez étiqueter, envisagez d'ajouter des documents représentatifs à une collection que vous pouvez utiliser pour créer l'extracteur d'entité.

Le nombre de documents pouvant être inclus dans les données d'apprentissage est limité. Si vos données d'apprentissage incluent des documents avec une combinaison de sections libellées et d'autres qui ne le sont pas, le système peut échantillonner des exemples de phrases non libellées. Le sous-échantillonnage permet d'équilibrer le nombre d'exemples positifs et négatifs utilisés pour l'apprentissage. L'équilibrage des exemples dans l'ensemble d'entraînement améliore les performances de l'entraînement.

Sortie de l'extracteur d'entité

Lorsque l'enrichissement reconnaît l'une de vos entités personnalisées dans un document, une entrée est ajoutée à la section enriched_text.entities de la représentation JSON du document. La section contient les occurrences des entités qui sont reconnues par votre modèle personnalisé, ainsi que les entités qui sont reconnues par l'enrichissement Entities intégré. L'enrichissement intégré utilise le service Watson NLP pour identifier les entités qui font partie de ce qu'il appelle le système de types Natural Language Understanding. Pour plus d'informations sur l'enrichissement Entities intégré, voir Entities.

La sortie JSON suivante est générée par un modèle personnalisé nommé littérature qui reconnaît les mentions de membres de la famille.

Surveillance des performances dans le temps

Vous pouvez réentraîner votre modèle d'extracteur d'entité à tout moment. Chaque fois que vous entraînez le modèle, passez en revue les scores des attributs de performance pour déterminer si vos modifications les plus récentes augmentent ou diminuent les scores du modèle.

1. Pour comparer une exécution de test à une autre, cliquez sur Afficher l'historique des scores.

   La vue d'historique affiche les 5 dernières exécutions d'entraînement.

   Pour conserver les informations de score pour plus que les 5 dernières exécutions d'entraînement, vous pouvez exporter les indicateurs au format CSV et suivre les scores dans une application distincte. Cliquez sur l'icône de représentation tabulaire , puis sur Télécharger au format CSV.

Si une exécution d'entraînement ultérieure aboutit à des scores inférieurs, ne publiez pas cette version du modèle.