Adaptation au domaine de bout en bout

Le diagramme suivant schématise les interactions entre ces cinq phases du développement d'un modèle et les activités qui y sont généralement effectuées.

Figure 2. Récapitulatif des cinq étapes du développement d'un modèle et des activités qui se produisent à chaque étape.

Organisation des connaissances

Egalement appelée 'curation', cette phase est extérieure à Knowledge Studio. Elle consiste à sélectionner, collecter, conserver et tenir à jour les contenus pertinents dans un domaine spécifique. Elle transforme les données en information fiable et en connaissances.

Génération des données de référence

Cette phase consiste à utiliser les outils de Knowledge Studio et diverses bonnes pratiques pour produire une collection de données validées qui puissent être utilisées pour adapter une solution Watson à un domaine particulier. L'exactitude de ces données validées, que l'on appelle données de référence ou documents étalon-or, est essentielle, car toute inexactitude sera corrélée à une incertitude dans les applications qui s'appuient dessus.

Une partie essentielle de l'enseignement d'un nouveau domaine à Watson implique de lui fournir la connaissance des entités d'intérêt dans les contenus de ce domaine, des relations entre ces entités et de la manière dont elles sont coréférencées. Le recueil de cette connaissance comprend les activités suivantes :

• Impliquer les experts du domaine dans la création des ressources suivantes, ou identifier des ressources existantes pouvant être réutilisées ou modifiées en fonction du domaine :

  • Directives et exemples d'annotation pour aider les annotateurs humains à apprendre à annoter les mots et les passages dans les contenus relatifs au domaine.
  • Système de types définissant les types (objets) et les caractéristiques (classes de données) spécifiques du domaine, qui peuvent être découverts par l'analyse du texte des documents relatifs au domaine. C'est le système de types qui détermine les types d'annotations qu'un annotateur humain peut ajouter aux documents.
  • Dictionnaires de termes devant être traités comme des termes équivalents dans les contenus relatifs à votre domaine.

• Créer un corpus de documents représentatifs des contenus relatifs à votre domaine.

• Pré-annoter des documents sur la base de dictionnaires que vous ajoutez à un espace de travail Knowledge Studio. Après avoir créé un modèle d'apprentissage automatique, vous pouvez utiliser celui-ci pour pré-annoter de nouveaux documents que vous ajoutez au corpus. La pré-annotation est un processus d'annotation machine d'un document dans toute la mesure du possible avant qu'un modèle d'apprentissage automatique ne soit disponible pour le faire. Elle réduit le travail d'annotation humaine en remplaçant une part de celui-ci par la simple vérification de l'exactitude des annotations ajoutées par la machine.

• Division des documents en plusieurs petits jeux de documents distribués à différents annotateurs humains, qui utilisent ensuite l'outil éditeur de données de référence d'IBM Watson® Knowledge Studio pour ajouter manuellement des annotations aux jeux de documents qui leur sont confiés.

• Comparer les résultats de l'annotation humaine et résoudre les conflits. Un arbitrage est nécessaire à ce stade pour garantir l'exactitude et la cohérence des documents annotés avant qu'ils ne soient promus au rang de données de référence et ne puissent servir à entraîner et tester un modèle d'apprentissage automatique.

Développement du modèle

Cette phase consiste à utiliser les outils de Knowledge Studio pour créer un modèle. Après l'établissement des données de référence, les résultats de l'annotation humaine peuvent servir à entraîner un algorithme en vue d'ajouter automatiquement des annotations à de grandes collections de documents qui peuvent comprendre des millions de documents.

Evaluation du modèle

Cette phase consiste à utiliser les outils de Knowledge Studio pour affiner le modèle et améliorer ses performances. Les résultats générés par le modèle sont évalués par rapport à un jeu de test constitué de documents de référence. Une analyse de l'exactitude identifie les causes d'erreurs d'annotation. Une analyse de la marge de progression (headroom) vous aide à déterminer quelles erreurs nécessitent une attention particulière et où les améliorations du modèle peuvent avoir le plus grand impact. Des ajustements peuvent être effectués à répétition pour améliorer les performances jusqu'à l'obtention d'un niveau d'exactitude satisfaisant.

Déploiement de modèle

Cette phase consiste à exporter les composants qui permettent au modèle de fonctionner dans un environnement d'exécution d'apprentissage automatique et de rendre le modèle accessible aux autres applications cognitives Watson. Par exemple, vous pouvez déployer le modèle d'apprentissage automatique pour son utilisation par IBM Watson® Natural Language Understanding ou IBM Watson® Discovery ou l'exporter pour qu'il puisse être exploité dans IBM Watson Explorer.

A propos de cette tâche

La tâche d'annotation indique quels documents doivent être annotés. Pour comparer les performances des annotateurs humains et voir avec quelle cohérence ils appliquent les directives d'annotation, vous devez en inclure au moins deux dans la tâche. Il faut aussi qu'un certain pourcentage des documents apparaissent dans tous les jeux d'annotations que vous ajoutez à la tâche (vous spécifiez le pourcentage de chevauchement au moment de créer les jeux d'annotations).

Procédure

Pour créer une tâche d'annotation :

1. Connectez-vous en tant qu'administrateur Knowledge Studio et sélectionnez votre espace de travail.

2. Sélectionnez la page Modèle d'apprentissage automatique > Annotations, puis cliquez sur l'onglet Tâches d'annotation.

3. Cliquez sur Ajouter une tâche.

4. Indiquez un nom de tâche descriptif et sélectionnez la date à laquelle la tâche doit être terminée.

5. Si aucun jeu d'annotations n'est disponible, cliquez sur Créer des jeux d'annotations.

   1. Pour le jeu de base, sélectionnez le jeu de documents ou le jeu d'annotations que vous voulez diviser en jeux d'annotations.

   2. Pour la valeur de chevauchement, spécifiez le pourcentage de documents que vous voulez inclure dans chaque jeu d'annotations. Les scores de convergence entre annotateurs ne peuvent être calculés qu'à partir du moment où au moins deux annotateurs humains annotent les mêmes documents. Par exemple, si vous spécifiez une valeur de chevauchement de 20 % pour un corpus de 30 documents et que vous divisez celui-ci en trois jeux de documents, 6 documents (soit 20 %) seront annotés par tous les annotateurs humains. Les 24 documents restants seront répartis entre les trois annotateurs humains (8 chacun). Chaque annotateur recevra donc 14 documents à annoter (6 + 8).

   Un jeu d'annotations que vous prévoyez d'utiliser pour entraîner un modèle d'apprentissage automatique doit contenir au moins 10 documents annotés.

   1. Sélectionnez un nom d'utilisateur dans la liste des annotateurs humains.

   2. Donnez un nom au jeu d'annotations.

      Vous pouvez choisir, pour le jeu d'annotations, un nom qui identifie l'annotateur humain auquel il sera confié. Cela vous permettra d'évaluer le travail de cet annotateur au fil des progrès réalisés dans l'espace de travail. Vous ne pouvez pas changer le nom d'un jeu d'annotations une fois celui-ci créé.

      La taille maximale du nom du jeu d'annotation est de 256 caractères.

   3. Cliquez sur Générer.

6. La liste des jeux d'annotations disponibles s'affiche sous Jeux disponibles, avec les noms des annotateurs humains qui leur sont affectés. Pour ajouter des jeux disponibles à votre tâche d'annotation, cliquez sur Ajouter à la tâche.

7. Assurez-vous que tous les jeux d'annotations que vous voulez inclure dans la tâche s'affichent sous Jeux sélectionnés, puis cliquez sur Sauvegarder pour créer la tâche.

Etape suivante

Une fois la tâche créée, vous pouvez revenir à l'onglet Tâches d'annotation sur la page Modèle d'apprentissage automatique > Annotations pour afficher la progression de chaque annotateur humain. Vous pouvez aussi effectuer les tâches suivantes :

• Pour résoudre les éventuels conflits d'annotations, vérifiez les documents approuvés qui constituent un chevauchement entre les jeux d'annotations.
• Ouvrez une tâche pour y ajouter des jeux d'annotations. Assurez-vous que les jeux d'annotations que vous ajoutez incluent les documents qui se chevauchent avec des documents des jeux d'annotations d'origine.

A partir de l'onglet Paramètres de la navigation principale, vous pouvez spécifier les informations suivantes :

• Spécifier vos préférences d'utilisation des couleurs et des raccourcis clavier dans l'éditeur de données de référence.
• Fixer un seuil de convergence entre annotateurs, puis ouvrir une tâche pour voir avec quelle cohérence plusieurs annotateurs humains ont annoté les mêmes documents.
• Spécifiez une URL pour rendre vos directives d'annotation accessibles à partir de l'éditeur de données de référence.

Procédure

Pour spécifier les préférences visuelles pour le travail dans l'éditeur de données de référence :

1. Connectez-vous en tant qu'administrateur Knowledge Studio et sélectionnez votre espace de travail.

2. Dans la navigation gauche, sélectionnez Paramètres > Paramètres d'annotation de document.

3. Sélectionnez l'onglet Types d'entités ou Types de relations.

4. Sélectionnez le type d'entité ou le type de relation que vous voulez changer, puis cliquez sur Editer les raccourcis clavier et les couleurs. Pour chaque type, vous pouvez définir :

   • un accourci clavier, ce qui signifie qu'un utilisateur peut entrer <key> pour appliquer l'étiquette de type au texte surligné. Par exemple, si vous définissez o comme raccourci clavier pour ORGANIZATION, un utilisateur peut sélectionner du texte, puis appuyer sur la touche o pour appliquer le type d'entité ORGANIZATION au texte surligné. Si vous attribuez une lettre majuscule, vous devez appuyer sur Shift+<key>.
   • Une couleur de texte. Veillez à choisir une couleur suffisamment contrastée par rapport à la couleur d'arrière-plan afin que le texte reste bien visible une fois étiqueté.
   • Une couleur d'arrière-plan. C'est la couleur de l'étiquette qui est appliquée à l'entité une fois que vous l'avez annotée.

   Lorsqu'ils annotent des documents, les annotateurs humains peuvent utiliser les raccourcis clavier pour ajouter rapidement des annotations. Les couleurs d'étiquette et de texte aident aussi les annotateurs à reconnaître instantanément les types une fois les annotations ajoutées à un document.

   • S'il y a des types d'entités ou de relations que vous ne voulez pas voir affecter aux mentions par les annotateurs humains, vous pouvez les masquer de l'éditeur de données de référence. La liste des types disponibles que les utilisateurs verront sera ainsi plus courte. Pour ce faire, décochez la case Actif de chaque type concerné.

   Lorsque vous choisissez de nouveaux raccourcis clavier et de nouvelles couleurs, vous pouvez prévisualiser vos changements.

5. Vous pouvez aussi changer la couleur de sélection du texte. Il s'agit de la couleur de la bordure affichée autour du texte une fois celui-ci sélectionné par l'annotateur humain. Par défaut, il s'agit du bleu clair, mais vous pouvez en changer sous l'onglet Mise en évidence de la sélection pour faciliter l'identification des limites du texte sélectionné.

A propos de cette tâche

Pour comparer comment les annotateurs humains ont annoté les mêmes documents, spécifiez un seuil d'évaluation. Si les annotations effectuées par un annotateur humain diffèrent de celles d'un autre annotateur humain à un point tel qu'il en résulte un mauvais score, on peut en déduire que les deux annotateurs ne sont pas d'accord. Ce désaccord doit alors être investigué et résolu.

Procédure

Pour fixer le seuil de convergence entre annotateurs :

1. Connectez-vous en tant qu'administrateur Knowledge Studio et sélectionnez votre espace de travail.
2. Sélectionnez l'onglet Paramètres > Paramètres IAA.
3. Spécifiez une valeur entre 0 et 1, telle que .5 ou .8, puis cliquez sur Sauvegarder.

Procédure

Pour connecter l'éditeur de données de référence et l'outil d'arbitrage à vos directives d'annotation :

1. Connectez-vous en tant qu'administrateur Knowledge Studio et sélectionnez votre espace de travail.
2. Sélectionnez l'onglet Paramètres > Directives d'annotation.
3. Spécifiez l'URL de l'endroit où sont hébergées vos directives.
4. Cliquez sur Sauvegarder. Le système connecte l'éditeur de données de référence et l'outil d'arbitrage à vos directives d'annotation. Il est possible que les annotateurs humains et les administrateurs de l'espace de travail soient autorisés à mettre à jour vos directives d'annotation après les avoir ouvertes, par exemple, pour ajouter des clarifications et des exemples. Cela dépend si vous avez prévu ou non de leur donner des droits d'accès lorsque vous avez créé les directives.

Directives d'annotation

Il n'existe pas de format imposé pour l'écriture des directives, mais il est important qu'elles incluent des exemples détaillés. Les annotateurs humains ont besoin de comprendre quel type d'entité appliquer à une mention compte tenu du contexte et de savoir quels types de relations sont valides pour une paire particulière de mentions. Les exemples tirés des contenus relatifs à votre domaine sont souvent le meilleur moyen de faire connaître les bons choix d'annotations.

Les directives d'annotation ne sont pas statiques. A mesure que votre projet évolue, vous découvrirez certainement des cas de mentions et de relations qui ne sont pas strictement reflétés dans vos directives. Et vous découvrirez probablement des divergences entre les multiples annotateurs humains qui interprètent différemment vos consignes. En mettant à jour vos directives dès que de telles situations se présentent, vous contribuerez à améliorer l'exactitude et l'uniformité des annotations au fil du temps.

Avant que des documents ne soient considérés comme données de référence, tout conflit sur la façon dont différents annotateurs humains ont annoté les mêmes documents doit être résolu. L'un des principaux moyens de résoudre les conflits est de discuter de ce qui a causé la confusion, aidant ainsi les annotateurs humains à apprendre de leurs erreurs. Améliorer et clarifier les directives aident à minimiser les conflits et contribuent à ce que des documents annotés avec exactitude et uniformité soient promus au rang de données de référence.

Pour gérer au mieux vos directives, vous pouvez peut-être les décomposer en plusieurs parties telles que des consignes d'annotation des entités, des consignes d'annotation des relations et une partie consacrée à l'annotation des façons dont les mentions peuvent être coréférencées. Les changements que vous apportez dans un domaine doivent être évalués et coordonnés avec les changements que vous apportez dans un autre domaine. Par exemple, si vous ajoutez un type d'entité à votre système de types, revoyez les consignes d'annotation des types de relations et spécifiez de quelle manière le nouveau type d'entité peut être relié à d'autres types d'entités.

Exemple de directives d'annotation

Pour que les annotateurs humains parviennent à un bon niveau de cohésion dans leur façon d'annoter les textes, il faut, dans la plupart des cas, des consignes d'annotation très détaillées et avec beaucoup d'exemples.

L'exemple présenté ici est un guide simple qui a été créé pour un petit domaine dont les contenus sont constitués de rapports d'accidents de la circulation.