Création d'un modèle de langue personnalisé

Vous utilisez la méthode POST /v1/customizations pour créer un modèle de langue personnalisé. Cette méthode accepte un objet JSON qui définit les attributs du nouveau modèle personnalisé en tant que corps de la demande. Le nouveau modèle personnalisé appartient à l'instance du service dont les données d'identification sont utilisées pour le créer. Pour plus d'informations, voir Propriété des modèles personnalisés.

Vous pouvez créer un maximum de 1 024 modèles de langue personnalisés par données d'identification propriétaires. Pour plus d'informations, voir Nombre maximal de modèles personnalisés.

Un nouveau modèle de langue personnalisé comporte les attributs suivants :

name (chaîneobligatoire)

Nom défini par l'utilisateur pour désigner le nouveau modèle personnalisé. Utilisez un nom localisé qui correspond à la langue du modèle personnalisé et qui décrit le domaine du modèle, tel que Medical custom model ou Legal custom model.

• Inclure un maximum de 256 caractères dans le nom.
• N'utilisez pas de barres obliques inversées, de barres obliques, de signes deux-points, de signes égal, de perluètes ou de points d'interrogation dans le nom.
• Utilisez un nom unique par rapport à tous les modèles de langue personnalisés que vous possédez.

base_model_name (chaîneobligatoire)

Le nom du modèle de langue de base qui doit être personnalisé par le nouveau modèle personnalisé. Vous devez utiliser le nom d'un modèle renvoyé par la méthode GET /v1/models. Le nouveau modèle personnalisé ne peut être utilisé qu'avec le modèle de base qu'il personnalise.

dialect (chaînefacultative )

Dialecte de la langue spécifiée qui doit être utilisé avec le nouveau modèle personnalisé. Pour toutes les langues, il est toujours possible d'omettre ce champ. Le service utilise automatiquement l'identificateur de langue à partir du nom du modèle de base. Par exemple, le service utilise automatiquement en-US pour tous les modèles en anglais américain.

Si vous spécifiez dialect pour un nouveau modèle personnalisé, suivez les instructions suivantes :

• Pour les modèles de génération précédente différents de ceux pour l'espagnol et les modèles de nouvelle génération, vous devez spécifier une valeur qui correspond à l'identificateur de langue à cinq caractères du nom du modèle de base.
• Pour les modèles de génération précédente en espagnol, vous devez indiquer l'une des valeurs suivantes :
  • es-ES pour l'espagnol castillan (modèles es-ES)
  • es-LA pour l'espagnol latino-américain (modèles es-AR, es-CL, es-CO et es-PE)
  • es-US pour l'espagnol mexicain (Amérique du Nord) (modèles es-MX)

Toutes les valeurs que vous transmettez pour la zone dialect sont insensibles à la casse.

description (chaînefacultative )

Une description recommandée du nouveau modèle personnalisé.

• Utilisez une description localisée correspondant à la langue du modèle personnalisé.
• Inclure un maximum de 128 caractères dans la description.

L'exemple suivant crée un modèle de langue personnalisé nommé Example model. Ce modèle est créé pour le modèle de base en-US-BroadbandModel avec la description Example custom language model. L'en-tête d' Content-Type s requis spécifie que les données JSON sont transmises à la méthode.

IBM Cloud

curl -X POST -u "apikey:{apikey}" \
--header "Content-Type: application/json" \
--data "{\"name\": \"Example model\", \
  \"base_model_name\": \"en-US_BroadbandModel\", \
  \"description\": \"Example custom language model\"}" \
"{url}/v1/customizations"

IBM Cloud Pak for Data IBM Software Hub

curl -X POST \
--header "Authorization: Bearer {token}" \
--header "Content-Type: application/json" \
--data "{\"name\": \"Example model\", \
  \"base_model_name\": \"en-US_BroadbandModel\", \
  \"description\": \"Example custom language model\"}" \
"{url}/v1/customizations"

L'exemple renvoie l'ID de personnalisation (customization_id) du nouveau modèle. Chaque modèle personnalisé est identifié par un ID de personnalisation unique, correspondant à un identificateur global unique (GUID). Vous spécifiez le GUID d'un modèle personnalisé dans le paramètre customization_id des appels qui sont associés au modèle.

{
  "customization_id": "74f4807e-b5ff-4866-824e-6bba1a84fe96"
}

Ajout d'un corpus au modèle de langue personnalisé

Une fois que vous avez créé votre modèle de langue personnalisé, l'étape suivante consiste à ajouter des données spécifiques au domaine au modèle. La méthode recommandée pour remplir un modèle personnalisé consiste à ajouter un ou plusieurs corpus. Un corpus est un fichier en texte brut qui contient idéalement des exemples de phrases tirées de votre domaine.

• Pour les modèles personnalisés basés sur des modèles vocaux de grande taille, le service analyse et extrait des séquences de mots à partir d'un ou de plusieurs fichiers de corpus. Les caractères aident le service à apprendre et à prévoir les séquences de caractères à partir de l'audio. Pour plus d'informations sur l'utilisation des corpus avec des modèles personnalisés basés sur des modèles vocaux de grande taille, voir Utilisation des corpus pour les modèles vocaux de grande taille et les modèles de nouvelle génération.

• Pour des modèles personnalisés basés sur des modèles de génération précédente, le service analyse un fichier de corpus et extrait les mots qui ne figurent pas dans son vocabulaire de base. Ces mots sont désignés par OOV (Out-Of-Vocabulary). Pour plus d'informations sur l'utilisation de corpus avec des modèles personnalisés basés sur des modèles de génération précédente, voir Utilisation des corpus pour des modèles de génération précédente.

• Pour des modèles personnalisés basés sur des modèles nouvelle génération, le service analyse et extrait des séquences de caractères d'un fichier de corpus. Les caractères aident le service à apprendre et à prévoir les séquences de caractères à partir de l'audio. Pour plus d'informations sur l'utilisation des corpus avec des modèles personnalisés basés sur des modèles de nouvelle génération, voir Utilisation des corpus pour les modèles de parole de grande taille et les modèles de nouvelle génération.

En fournissant des phrases qui comportent des mots propres au domaine, les corpus permettent au service d'apprendre les mots et les séquences de caractères en contexte. Vous pouvez également étendre et modifier les mots d'un modèle individuellement. L'entraînement d'un modèle uniquement sur des mots individuels par opposition à des corpus prend plus de temps et peut produire des résultats moins probants.

Vous utilisez la méthode POST /v1/customizations/{customization_id}/corpora/{corpus_name} pour ajouter un corpus à un modèle personnalisé :

customization_id (chaîneobligatoire)

Indiquez l'ID de personnalisation du modèle personnalisé auquel le corpus doit être ajouté.

corpus_name (chaîneobligatoire)

Spécifiez un nom pour le corpus. Utilisez un nom localisé qui correspond à la langue du modèle personnalisé et qui reflète le contenu du corpus.

• Indiquez un nom ne dépassant pas 128 caractères.
• N'utilisez pas de caractères devant être codés dans l'URL. Par exemple, n'utilisez pas les caractères suivants dans le nom : espaces, barres obliques, barres obliques inversées, signes deux-points, perluètes, guillemets, signes plus, signes égal, points d'interrogation, etc. (Le service n'empêche pas l'utilisation de ces caractères. Toutefois, comme ils doivent être codés dans l'URL lorsqu'ils sont utilisés, leur utilisation est fortement déconseillée.)
• N'utilisez pas le nom d'un corpus ou d'une grammaire qui a déjà été ajouté au modèle personnalisé.
• N'utilisez pas le nom user, qui est réservé par le service pour désigner des mots personnalisés ajoutés ou modifiés par l'utilisateur.
• N'utilisez pas le nom base_lm ou default_lm. Ces deux noms sont réservés pour une utilisation ultérieure par le service.

Transmettez le fichier texte corpus en tant que corps requis de la demande. L'exemple suivant ajoute le fichier texte de corpus healthcare.txt au modèle personnalisé avec l'ID spécifié. Dans cet exemple, le corpus est nommé healthcare.

IBM Cloud

curl -X POST -u "apikey:{apikey}" \
--data-binary @healthcare.txt \
"{url}/v1/customizations/{customization_id}/corpora/healthcare"

IBM Cloud Pak for Data IBM Software Hub

curl -X POST \
--header "Authorization: Bearer {token}" \
--data-binary @healthcare.txt \
"{url}/v1/customizations/{customization_id}/corpora/healthcare"

La méthode accepte également le paramètre de requête facultatif allow_overwrite qui remplace un corpus existant pour un modèle personnalisé. Utilisez ce paramètre si vous devez mettre à jour un fichier de corpus après l'avoir ajouté à un modèle.

Cette méthode est asynchrone. Son exécution peut prendre quelques minutes. La durée de l'opération dépend du nombre total de mots dans le corpus et de la charge actuelle du service. Pour des modèles personnalisés basés sur des modèles de génération précédente, la durée dépend également du nombre de mots nouveaux que le service trouve dans le corpus. Pour plus d'informations sur la vérification du statut d'un corpus, voir Surveillance de la demande d'ajout d'un corpus.

Vous pouvez ajouter n'importe quel nombre de corpus à un modèle personnalisé en appelant la méthode une fois pour chaque fichier texte de corpus. L'ajout d'un corpus doit être entièrement terminé avant d'en ajouter un autre. Un corpus a pour statut being_processed lorsque vous l'ajoutez pour la première fois à un modèle. Son statut passe à analyzed lorsque son traitement par le service est terminé.

Pour des modèles personnalisés basés sur des modèles de génération précédente, une fois l'ajout d'un corpus terminé, examinez les nouveaux mots personnalisés qui en ont été extraits pour rechercher les éventuelles erreurs typographiques et autres. Pour plus d'informations, voir Validation d'une ressource de mots pour les modèles de génération antérieure.

curl -X GET -u "apikey:{apikey}" \
"{url}/v1/customizations/{customization_id}/corpora/corpus1"

curl -X GET \
--header "Authorization: Bearer {token}" \
"{url}/v1/customizations/{customization_id}/corpora/corpus1"

{
  "name": "corpus1",
  "total_words": 5037,
  "out_of_vocabulary_words": 401,
  "status": "analyzed"
}

Ajout de mots au modèle de langue personnalisé

Bien que l'ajout de corpus soit la méthode recommandée pour ajouter des mots à un modèle de langue personnalisé, vous pouvez également ajouter directement des mots personnalisés individuels au modèle. Le service analyse les mots personnalisés pour le modèle personnalisé tout comme il le fait pour le contenu des mots des corpus.

Si vous n'avez qu'un seul mot ou quelques mots à ajouter au modèle, l'utilisation de corpus pour ajouter les mots n'apparaît pas comme une solution pratique ou viable. L'approche la plus simple est d'ajouter un mot avec son orthographe. Mais vous pouvez également indiquer comment le mot doit être affiché, ainsi qu'une ou plusieurs prononciations pour le mot.

• Pour plus d'informations sur l'ajout de mots à un modèle personnalisé basé sur un modèle de génération précédente, voir Utilisation des mots personnalisés pour les modèles de génération précédente.
• Pour plus d'informations sur l'ajout de mots à un modèle personnalisé basé sur des modèles vocaux de grande taille et des modèles de nouvelle génération, voir Utilisation de mots personnalisés pour les modèles vocaux de grande taille et les modèles de nouvelle génération.

Après avoir ajouté des mots à un modèle personnalisé, examinez les nouveaux mots personnalisés pour vérifier qu'ils ne contiennent pas d'erreurs typographiques ou autres. Cette vérification est particulièrement importante lorsque vous ajoutez plusieurs mots à la fois.

• Pour des modèles personnalisés basés sur des modèles de génération précédente, voir Validation d'une ressource de mots pour des modèles de génération précédente.
• Pour les modèles personnalisés basés sur des modèles de parole de grande taille et des modèles de nouvelle génération, voir Validation d'une ressource de mots pour les modèles de parole de grande taille et les modèles de nouvelle génération.

curl -X PUT -u "apikey:{apikey}" \
--header "Content-Type: application/json" \
--data "{\"sounds_like\": [\"N. C. A. A.\", \"N. C. double A.\"]}" \
"{url}/v1/customizations/{customization_id}/words/NCAA"

curl -X PUT \
--header "Authorization: Bearer {token}" \
--header "Content-Type: application/json" \
--data "{\"sounds_like\": [\"N. C. A. A.\", \"N. C. double A.\"]}" \
"{url}/v1/customizations/{customization_id}/words/NCAA"

curl -X GET -u "apikey:{apikey}" \
"{url}/v1/customizations/{customization_id}"

curl -X GET \
--header "Authorization: Bearer {token}" \
"{url}/v1/customizations/{customization_id}"

{
  "customization_id": "74f4807e-b5ff-4866-824e-6bba1a84fe96",
  "created": "2016-06-01T18:42:25.324Z",
  "updated": "2016-06-01T18:45:11.737Z",
  "language": "en-US",
  "dialect": "en-US",
  "owner": "297cfd08-330a-22ba-93ce-1a73f454dd98",
  "name": "Example model",
  "description": "Example custom language model",
  "base_model_name": "en-US_BroadbandModel",
  "status": "pending",
  "progress": 0
}

Entraînement du modèle de langue personnalisé

Une fois que vous avez rempli avec de nouveaux mots un modèle de langue personnalisé (en ajoutant des corpus, en ajoutant directement des mots ou en ajoutant des grammaires), vous devez entraîner le modèle sur les nouvelles données. Cet entraînement prépare le modèle personnalisé à utiliser ces données dans la reconnaissance vocale. Le modèle n'utilise pas les mots que vous ajoutez avec la méthode de votre choix, tant que vous ne l'entraînez pas sur les données.

Pour entraîner un modèle personnalisé, vous utilisez la méthode POST /v1/customizations/{customization_id}/train. Vous transmettez à la méthode, l'ID de personnalisation (customization_id) du modèle que vous souhaitez entraîner, comme illustré dans l'exemple suivant :

IBM Cloud

curl -X POST -u "apikey:{apikey}" \
"{url}/v1/customizations/{customization_id}/train"

IBM Cloud Pak for Data IBM Software Hub

curl -X POST \
--header "Authorization: Bearer {token}" \
"{url}/v1/customizations/{customization_id}/train"

Cette méthode est asynchrone. L'entraînement peut prendre quelques minutes en fonction du nombre de mots nouveaux sur lesquels est entraîné le modèle et de la charge en cours sur le service. Pour plus d'informations sur la vérification du statut d'une opération d'entraînement, voir Surveillance de la demande d'entraînement du modèle.

La méthode comprend les paramètres de requête facultatifs suivants :

• Le paramètre word_type_to_add spécifie les mots sur lesquels le modèle personnalisé doit être entraîné :

  • Spécifiez all ou omettez ce paramètre pour entraîner le modèle sur tous les mots qu'il comporte, quelle que soit leur origine.
  • Spécifiez user pour entraîner le modèle uniquement sur les mots qui ont été ajoutés ou modifiés par l'utilisateur, en ignorant les mots qui ont été extraits uniquement à partir des corpus ou des grammaires.

  En ce qui concerne les modèles personnalisés basés sur des modèles de génération précédente, cette option est utile si vous ajoutez des corpus à des données bruyantes, telles que des mots contenant des erreurs typographiques. Avant d'entraîner le modèle sur des données de ce type, utilisez le paramètre de requête word_type de la méthode GET /v1/customizations/{customization_id}/words pour réviser les mots extraits de corpus ou de grammaires. Pour plus d'informations, voir Liste de mots personnalisés à partir d'un modèle de langue personnalisé.

  Pour les modèles personnalisés basés sur des modèles de parole volumineux et des modèles de nouvelle génération, le service ignore le paramètre word_type_to_add. La ressource de mots ne contient que des mots personnalisés que l'utilisateur ajoute ou modifie directement, de sorte que le paramètre n'est pas nécessaire.

• Le paramètre customization_weight indique le poids relatif attribué aux mots du modèle personnalisé par opposition aux mots du vocabulaire de base lorsque le modèle personnalisé est utilisé pour la reconnaissance vocale. Vous pouvez également indiquer un poids de personnalisation avec toutes les demandes de reconnaissance utilisant le modèle personnalisé. Pour plus d'informations, voir Utilisation d'un poids de personnalisation.

• Le paramètre strict indique si l'entraînement doit se poursuivre si le modèle personnalisé contient un mélange de ressources valides et non valides (corpus, mots et grammaires). Par défaut, l'entraînement échoue si le modèle contient une ou plusieurs ressources non valides. Définissez le paramètre sur false pour permettre la poursuite de l'entraînement tant que le modèle contient au moins une ressource valide. Le service exclut les ressources non valides de l'entraînement. Pour plus d'informations, voir Echec de l'entraînement des modèles de langue personnalisés.

curl -X GET -u "apikey:{apikey}" \
"{url}/v1/customizations/{customization_id}"

curl -X GET \
--header "Authorization: Bearer {token}" \
"{url}/v1/customizations/{customization_id}"

{
  "customization_id": "74f4807e-b5ff-4866-824e-6bba1a84fe96",
  "created": "2016-06-01T18:42:25.324Z",
  "updated": "2016-06-01T18:45:11.737Z",
  "language": "en-US",
  "dialect": "en-US",
  "owner": "297cfd08-330a-22ba-93ce-1a73f454dd98",
  "name": "Example model",
  "description": "Example custom language model",
  "base_model_name": "en-US_BroadbandModel",
  "status": "training",
  "progress": 0
}