Comprendre le modèle de langage universel

Un assistant qui utilise le modèle de langage universel applique un ensemble de caractéristiques et de règles linguistiques communes à partir de plusieurs langues comme point de départ. Il apprend ensuite à partir des données de formation que vous lui ajoutez.

Le classificateur de langue universelle peut s'adapter à une seule langue par assistant. Il ne peut pas être utilisé pour prendre en charge plusieurs langues au sein d'un seul assistant. Cependant, vous pouvez utiliser le modèle de langage universel en un seul assistant pour prendre en charge une langue, telle que le russe, et dans un autre assistant pour prendre en charge une autre langue, telle que l'hindi. La clé est d'ajouter suffisamment d'exemples de formation ou d'exemples d'intention dans votre langue cible pour enseigner le modèle sur les règles syntaxiques et grammaticales uniques de la langue.

Utilisez le modèle de langue universel lorsque vous souhaitez créer une conversation dans une langue pour laquelle aucun modèle n'est disponible et qui est suffisamment unique pour qu'un modèle existant soit insuffisant.

Au fur et à mesure que vous suivez les étapes normales de conception d'un flux conversationnel, vous apprenez le modèle de langage universel à propos de la langue que vous souhaitez que votre compétence soit prise en charge. C'est en ajoutant des données de formation écrites dans la langue cible que le modèle universel est construit.

Pour plus d'informations sur la prise en charge des fonctions dans le modèle de langage universel, voir Langues prises en charge.

Remarques sur l'intégration

Gardez ces conseils à l'esprit pour les intégrations :

• Discussion Web : la discussion Web comporte certaines chaînes codées en dur que vous pouvez personnaliser pour refléter votre langue cible. Pour plus d'informations, voir Prise en charge d'audiences mondiales dans la discussion Web.
• Intégration téléphonique: Si vous souhaitez déployer un assistant qui utilise le modèle linguistique universel, vous devez vous connecter aux modèles linguistiques personnalisés du service Speech qui peuvent comprendre la langue que vous utilisez. Pour plus d'informations sur les modèles de langue pris en charge, voir la documentation Speech to Text et Text to Speech.
• Intégration de recherche : Si vous générez un assistant spécialisé dans une langue unique, veillez à le connecter aux collections de données écrites dans cette langue. Pour plus d'informations sur les langues prises en charge par Discovery, voir Support de langue.

Langues prises en charge

IBM® watsonx™ Assistant prend en charge des fonctionnalités individuelles à des degrés divers selon les langues. Il dispose de modèles de classification conçus spécifiquement pour prendre en charge les conversations dans les langues suivantes :

*Si vous souhaitez prendre en charge des conversations dans une langue pour laquelle watsonx Assistant n'a pas de modèle dédié, comme le russe, utilisez Universal.

Modification de la langue d'un assistant

Une fois qu'un assistant a été créé, sa langue ne peut pas être modifiée.

Utilisation des caractères accentués

Dans le cadre d'une conversation, les utilisateurs peuvent ou non utiliser des accents avec le service watsonx Assistant. Ainsi, les versions accentuées et non accentuées de mots peuvent être interprétées de la même manière pour la détection d'intention et la reconnaissance d'entité.

Cependant, pour certaines langues comme l'espagnol, certains accents peuvent altérer le sens de l'entité. Par conséquent, pour la détection d'entité, même si l'entité d'origine comporte implicitement un accent, l'assistant peut aussi établir une correspondance avec la version non accentuée de la même entité, mais avec une cote de confiance légèrement inférieure.

Par exemple, avec le mot "barrió", qui est accentué et correspond au participe passé du verbe "barrer" (balayer, en français), l'assistant peut également établir une correspondance avec le "barrio" (quartier, en français), mais avec une cote de confiance légèrement inférieure.

Le système fournit les scores de confiance les plus élevés pour les entités présentant des correspondances exactes. Par exemple, barrio n'est pas détecté si barrió fait partie de l'ensemble de formation; et barrió n'est pas détecté si barrio fait partie de l'ensemble de formation.

Vous êtes supposé entraîner le système à reconnaître les mots avec les caractères et les accents appropriés. Par exemple, si vous attendez barrió comme réponse, placez barrió dans l'ensemble de formation.

Bien qu'il ne s'agisse pas d'une marque d'accent, il en va de même pour les mots qui utilisent la lettre espagnole ñ au lieu de la lettre n, comme "uña" au lieu de "una". Dans ce cas, la lettre ñ n'est pas un n avec un accent; c'est une lettre unique, spécifique à l'espagnol.

Utilisation de téléchargements multilingues pour la traduction

Vous pouvez activer le téléchargement des fichiers de données de langue, au format CSV, afin de pouvoir traduire des exemples de formation et des réponses d'assistant dans d'autres langues et les utiliser dans d'autres assistants.

Chaque fichier CSV inclut des données translatable_string que vous pouvez utiliser avec une machine ou un service de traduction humaine.

Chaque fichier CSV inclut également des données id, resource_type et locator que watsonx Assistant peut utiliser dans un autre assistant pour recréer votre assistant source. Vous n'avez pas besoin de modifier ces informations.

Avant de télécharger le paquet multilingue, reportez-vous à la section Comprendre la correspondance des extensions.

Pour télécharger avec succès le paquet multilingue, le nombre total d'entrées de traduction pour les compétences d'action et de dialogue dans votre assistant doit être inférieur ou égal à 400000. Vous pouvez configurer la limite à une valeur plus élevée dans le plan Enterprise with Data Isolation et IBM® watsonx™ Assistant on-premises. Des valeurs plus élevées nécessitent une allocation de ressources supplémentaires pour soutenir les assistants de grande taille.

Pour configurer la limite d'entrée de traduction à une valeur plus élevée, contactez le centre d'assistance IBM

La présentation du processus multilingue est la suivante:

• Activer le téléchargement multilingue: dans votre assistant source, activez le téléchargement multilingue
• Traduire le contenu: utilisez les fichiers CSV avec un service de traduction
• Upload to language-specific assistants: dans un assistant de destination pour une autre langue, utilisez les fichiers CSV pour télécharger les formations et les réponses traduites.

Prise en charge des langues de contenu

Ces langues sont prises en charge pour le contenu dans les actions, les boîtes de dialogue et l'intégration de la recherche.

Détails du support de contenu

Langue	Actions	Dialog	Intégration de la recherche
Anglais (en)
Arabe (ar)
Chinois (simplifié) (zh-cn)
Chinois (traditionnel) (zh-tw)
Tchèque (cs)
Néerlandais (nl)
Français (fr)
Allemand (de)
Italien (it)
Japonais (ja)
Coréen (ko)
Portugais (Brésil) (pt-br)
Espagnol (es)
Universel (xx)

Le service watsonx Assistant prend en charge plusieurs langues, comme indiqué, mais l'interface utilisateur elle-même (comme les descriptions et les étiquettes) est en anglais. Toutes les langues prises en charge peuvent être utilisées pour la saisie et l'entraînement via l'interface en anglais.

Conformité à la norme GB18030 : GB18030 est une norme chinoise qui spécifie une page de codes étendue destinée au marché chinois. Cette norme de page de code est importante pour l'industrie du logiciel car le Comité technique national chinois de normalisation des technologies de l'information exige que toute application logicielle commercialisée sur le marché chinois après le 1er septembre 2001 soit compatible avec le site GB18030. Le service watsonx Assistant prend en charge ce codage et est certifié conforme à la norme GB18030.

Support de langue de boîte de dialogue

Pour ces fonctions de boîte de dialogue, le support de langue varie en fonction de la langue.

• Prise en charge de la fonction d'intention
• Prise en charge du traitement des entrées utilisateur
• Prise en charge des fonctions d'entité

Prise en charge des fonctions d'intention

Détails de la prise en charge des fonctions d'intention

Langue	Catalogue de contenu	Version de l'algorithme
Anglais (en)
Arabe (ar)	(sauf Covid-19)
Chinois (simplifié) (zh-cn)
Chinois (traditionnel) (zh-tw)
Tchèque (cs)
Néerlandais (nl)
Français (fr)
Allemand (de)	(sauf Covid-19)
Italien (it)	(sauf Covid-19)
Japonais (ja)	(sauf Covid-19)
Coréen (ko)
Portugais (Brésil) (pt-br)
Espagnol (es)
Universel (xx)

Prise en charge du traitement des entrées utilisateur

Détails de la prise en charge du traitement des entrées utilisateur

Langue	Prise en charge des entités basées sur un dictionnaire	Correspondance partielle(Misspelling)	Correspondance approximative(réduction au radical)	Correspondance partielle(Correspondance partielle)	correction automatique
Anglais (en)
Arabe (ar)
Chinois (simplifié) (zh-cn)
Chinois (traditionnel) (zh-tw)
Tchèque (cs)
Néerlandais (nl)
Français (fr)					Bêta
Allemand (de)
Italien (it)
Japonais (ja)
Coréen (ko)
Portugais (Brésil) (pt-br)
Espagnol (es)
Universel (xx)

Prise en charge des fonctions d'entité

Détails de la prise en charge des fonctions d'entité

Langue	Entités contextuelles	Entités système
Anglais (en)
Arabe (ar)
Chinois (simplifié) (zh-cn)
Chinois (traditionnel) (zh-tw)
Tchèque (cs)
Néerlandais (nl)
Français (fr)	Bêta
Allemand (de)
Italien (it)
Japonais (ja)
Coréen (ko)
Portugais (Brésil) (pt-br)
Espagnol (es)
Universel (xx)