Définir un ensemble fini de termes avec un dictionnaire
Reconnaissez les termes et les synonymes des termes qui sont importants pour vous, tels que les noms des produits que vous vendez.
Aidez Discovery à trouver les termes qui ont une signification pour votre cas d'utilisation en ajoutant un dictionnaire. Vous pouvez définir plusieurs synonymes pour un terme ou un ensemble de mots dans la même catégorie.
Vous pouvez créer un dictionnaire en ajoutant les termes un par un ou en téléchargeant un fichier CSV qui répertorie les termes.
Pour ajouter des termes de dictionnaire un par un, procédez comme suit:
-
Dans la section Concepts de domaine Teach du panneau Outils d'amélioration, sélectionnez Dictionnaires.
-
Cliquez sur Nouveau.
-
Nommez votre dictionnaire.
Par exemple,
Transportation. -
Choisissez la langue. Un dictionnaire peut contenir des termes dans une seule langue.
-
Facultatif: développez Options avancéeset éditez le nom de facette du dictionnaire.
Les facettes sont utilisées pour catégoriser les documents. Un utilisateur peut choisir un type de facette pour affiner ses résultats de recherche. Le nom du dictionnaire en minuscules est utilisé comme nom de facette par défaut. Vous pouvez modifier la facette pour qu'elle soit en majuscules.
-
Entrez un terme, puis cliquez sur le bouton + pour l'ajouter.
Par exemple,
vehicleetengine.Dans les dictionnaires anglais, spécifiez les termes du dictionnaire en minuscules. Utilisez uniquement des majuscules si vous souhaitez que Discovery ignore les mentions en minuscules du terme lorsqu'elles apparaissent dans le texte. Lorsque des termes sont analysés pour déterminer s'ils sont des occurrences de l'enrichissement de dictionnaire, la forme de surface du terme avec une correspondance en majuscules est utilisée. Par exemple, une entrée
vehicledans le dictionnaire génère des annotations pour les mentionsvehicle,VehicleouVEHICLElorsqu'elles apparaissent dans du texte. Pour une entréeSatdu dictionnaire, des annotations sont ajoutées pourSatouSAT, mais pas poursat.La correspondance de dictionnaire est sensible à la casse pour l'arabe, le chinois, le coréen, le japonais et l'hébreu.
-
Pour ajouter des synonymes pour le terme, cliquez sur l'icône Editer, puis entrez des synonymes dans la zone Autres termes. Séparez les synonymes multiples par une virgule. Cliquez sur Enregistrer le terme.
Le dictionnaire peut contenir des termes et leurs synonymes ou une catégorie et des termes appartenant à la catégorie.
Pour le terme
vehicle, vous pouvez spécifier des synonymes tels quecar,automobile,sedan,convertible,station wagon, etc. Pourengine, vous pouvez spécifiergasket,carburetor,pistonetvalves.Veillez à ne pas ajouter trop de synonymes. Testez l'impact des synonymes que vous ajoutez. Lorsque vous testez, utilisez des données différentes des données que vous utilisez pour dériver les synonymes.
-
Continuez à ajouter des termes.
Des termes similaires provenant de toutes les collections du projet en cours sont suggérés en tant que nouvelles entrées.
Les termes suggérés sont extraits d'un champ nommé text. Si la zone de texte est manquante, une zone avec la valeur de chaîne la plus longue et le nombre le plus élevé de valeurs distinctes est choisie. Les suggestions ne s'affichent pas s'il n'y a pas de documents ou si la collection ne comporte pas de zones contenant des données textuelles.
-
Cliquez sur Save dictionary.
-
Choisissez les collections et les zones dans lesquelles vous souhaitez appliquer le dictionnaire, puis cliquez sur Appliquer.
Exemple
Un dictionnaire de transport est ajouté à un projet.
La facette résultante créée pour le dictionnaire s'affiche dans la page de recherche.
Le document dans lequel l'enrichissement est appliqué contient la phrase suivante:
Some car fluids can be acidic, such as battery fluid.
Le fragment JSON suivant illustre comment une mention d'enrichissement de dictionnaire Transportation est stockée lorsque le terme car, qui est un synonyme de l'entrée de dictionnaire vehicle, est trouvé dans le document.
Dans cette collection, l'enrichissement de dictionnaire est appliqué à la zone text, de sorte que la mention est répertoriée dans le tableau entities qui se trouve dans le tableau enriched_text.
{
"enriched_text": [
{
"entities": [
{
"model_name": "Dictionary:.Transportation",
"mentions": [
{
"confidence": 1,
"location": {
"end": 91122,
"begin": 91119
},
"text": "car"
}
],
"text": "vehicle",
"type": "Transportation"
}
]
}
]
}
Téléchargement des termes du dictionnaire
Pour ajouter un dictionnaire à partir d'un fichier CSV, procédez comme suit :
-
Créez un fichier CSV contenant les termes du dictionnaire que vous souhaitez ajouter.
Utilisez le codage UTF-8. Spécifier une entrée par ligne.
-
Pour définir un ensemble de termes synonymes, utilisez la syntaxe suivante:
<term>,<synonym>,<synonym>,<synonym>,...Par exemple :
vehicle,car,automobile,sedan,convertible,station wagonL'entrée de cet exemple crée une entrée de dictionnaire
vehicle. Lorsque l'enrichissement de dictionnaire est appliqué à un document, toutes les mentions devehicle,car,automobile,sedan,convertibleoustation wagonsont balisées en tant qu'instances de l'entrée de dictionnairevehicle. -
Pour définir un ensemble de termes dans la même catégorie, utilisez la syntaxe suivante:
<category>,<related-term>,<related-term>,...Par exemple :
engine,gasket,carburetor,piston,valvesL'entrée de cet exemple crée une entrée de dictionnaire
engine. Lorsque l'enrichissement de dictionnaire est appliqué à un document, toutes les mentions deengine,gasket,carburetor,pistonouvalvessont balisées en tant qu'instances de l'entrée de dictionnaireengine.
-
-
Dans la section Concepts de domaine Teach du panneau Outils d'amélioration, sélectionnez Dictionnaires.
-
Cliquez sur Transférer.
-
Nommez votre dictionnaire et choisissez la langue utilisée dans le fichier CSV.
-
Facultatif: développez Options avancéeset spécifiez l'édition du nom de facette pour le dictionnaire. Les facettes sont utilisées pour catégoriser les documents. Un utilisateur peut choisir un type de facette pour affiner sa recherche. Le nom du dictionnaire en minuscules est utilisé comme nom de facette par défaut. Vous pouvez modifier la facette pour qu'elle soit en majuscules.
-
Cliquez sur Télécharger pour rechercher le fichier CSV que vous avez créé précédemment.
-
Cliquez sur Créer.
-
Choisissez les collections et les zones dans lesquelles vous souhaitez appliquer le dictionnaire, puis cliquez sur Appliquer.
Si vous ajoutez un dictionnaire à l'aide de l'API d'enrichissement, après avoir appliqué l'enrichissement de dictionnaire généré par l'API à une zone, le dictionnaire s'affiche dans la page Dictionnaires. Toutefois, vous ne pouvez pas éditer le dictionnaire généré par l'API à partir de l'outil de dictionnaire dans l'interface utilisateur du produit.
Pour supprimer un dictionnaire, vous devez utiliser la méthode Supprimer un enrichissement de l'API Discovery v2.
Les enrichissements de dictionnaire que vous ajoutez à un projet peuvent être appliqués à des collections dans d'autres projets de la même instance de service. En fait, vous pouvez les appliquer à des collections dans un projet d'exploration de contenu à partir de l'application d'exploration de contenu déployée.
Limites du dictionnaire
Le nombre de dictionnaires et d'entrées de termes que vous pouvez créer par instance de service dépend de votre type de plan Discovery.
| Planifier | Nombre de dictionnaires par instance de service | Nombre d'entrées de terme par dictionnaire | Nombre de termes pour lesquels des suggestions peuvent être générées |
|---|---|---|---|
| Cloud Pak for Data | Illimité | Illimité | 1 000 |
| Premium | 200 | 10 000 | 1 000 |
| Entreprise | 200 | 10 000 | 1 000 |
| Plus (inclut la version d'essai) | 20 | 1 000 | 50 |