Creación de un modelo de lenguaje personalizado

Para crear un nuevo modelo de lenguaje personalizado se utiliza el método POST /v1/customizations. El método acepta un objeto JSON que define los atributos del nuevo modelo personalizado como el cuerpo de la solicitud. El modelo personalizado nuevo propiedad de la instancia del servicio cuyas credenciales se utilizan para crearlo. Para obtener más información, consulte Propiedad de modelos personalizados.

Puede crear un máximo de 1024 modelos de lenguaje personalizado por credenciales de propiedad. Para obtener más información, consulte Número máximo de modelos personalizados.

Un modelo de lenguaje personalizado nuevo tiene los atributos siguientes:

name (serie obligatoria)

Un nombre definido por el usuario para el nuevo modelo personalizado. Utilice un nombre localizado que coincida con el idioma del modelo personalizado y describa el dominio del modelo, como Medical custom model o Legal custom model.

• Incluya un máximo de 256 caracteres en el nombre.
• No utilice barras inclinadas invertidas, barras inclinadas, signos de dos puntos, signos de igual, signos de ampersand o signos de interrogación en el nombre.
• Utilice un nombre que sea exclusivo entre todos sus modelos de lenguaje personalizado.

base_model_name (serie obligatoria)

El nombre del modelo de idioma base que va a ser personalizado por el nuevo modelo personalizado. Debe utilizar el nombre de un modelo que devuelva el método GET /v1/models. El nuevo modelo personalizado solo se puede utilizar con el modelo base que personaliza.

dialect (serie opcional)

El dialecto del idioma especificado que se va a utilizar con el nuevo modelo personalizado. Para todos los idiomas, siempre es seguro omitir este campo. El servicio utiliza automáticamente el identificador de idioma del nombre del modelo base. Por ejemplo, el servicio utiliza automáticamente en-US para todos los modelos en inglés de EE. UU.

Si especifica dialect para un nuevo modelo personalizado, siga estas directrices:

• Para los modelos de la generación anterior que no sean para español y para modelos de próxima generación, debe especificar un valor que coincida con el identificador de idioma de cinco caracteres del nombre del modelo base.
• Para los modelos de la generación anterior para español, debe especificar uno de los valores siguientes:
  • es-ES para el español castellano (modelos es-ES)
  • es-LA para el español latinoamericano (modelos es-AR, es-CL, es-CO y es-PE)
  • es-US para el español mexicano (Norteamérica) (modelos es-MX)

Todos los valores que pase para el campo dialect no distinguen entre mayúsculas y minúsculas.

description (serie opcional)

Una descripción recomendada del nuevo modelo personalizado.

• Utilice una descripción en el idioma del modelo personalizado.
• Incluya un máximo de 128 caracteres en la descripción.

En el ejemplo siguiente se crea un nuevo modelo de lenguaje personalizado denominado Example model. El modelo se crea para el modelo base en-US-BroadbandModel y su descripción es Example custom language model. El encabezado de solicitud ( Content-Type ) especificado indica que se están pasando datos JSON al método.

IBM Cloud

curl -X POST -u "apikey:{apikey}" \
--header "Content-Type: application/json" \
--data "{\"name\": \"Example model\", \
  \"base_model_name\": \"en-US_BroadbandModel\", \
  \"description\": \"Example custom language model\"}" \
"{url}/v1/customizations"

IBM Cloud Pak for Data IBM Software Hub

curl -X POST \
--header "Authorization: Bearer {token}" \
--header "Content-Type: application/json" \
--data "{\"name\": \"Example model\", \
  \"base_model_name\": \"en-US_BroadbandModel\", \
  \"description\": \"Example custom language model\"}" \
"{url}/v1/customizations"

El ejemplo devuelve el ID de personalización del nuevo modelo. Cada modelo personalizado se identifica mediante un ID de personalización exclusivo, que es un GUID (identificador global exclusivo). El GUID del modelo personalizado se especifica con el parámetro customization_id de las llamadas que están asociadas con el modelo.

{
  "customization_id": "74f4807e-b5ff-4866-824e-6bba1a84fe96"
}

Adición de un corpus al modelo de lenguaje personalizado

Una vez que cree el modelo de idioma personalizado, el paso siguiente es añadir datos específicos del dominio al modelo. El medio recomendado de llenar un modelo personalizado es añadir uno o más corpus. Un corpus es un archivo de texto sin formato que contiene frases de ejemplo del dominio.

• Para modelos personalizados basados en modelos de voz grandes, el servicio analiza y extrae secuencias de palabras de uno o varios archivos corpus. Los caracteres ayudan al servicio a aprender y predecir secuencias de caracteres de audio. Para obtener más información sobre cómo utilizar corpus con modelos personalizados basados en modelos de voz de gran tamaño, consulte Trabajar con corpus para modelos de voz de gran tamaño y modelos de próxima generación.

• Para modelos personalizados basados en modelos de generación anterior, el servicio analiza un archivo de corpus y extrae cualquier palabra que no esté en su vocabulario base. Estas palabras reciben el nombre de palabras no definidas en el vocabulario (OOV). Para obtener más información sobre la utilización de corpus con modelos personalizados basados en modelos de generación anterior, consulte Trabajar con corpus para modelos de la generación anterior.

• Para modelos personalizados basados en modelos de próxima generación, el servicio analiza y extrae secuencias de caracteres de un archivo de corpus. Los caracteres ayudan al servicio a aprender y predecir secuencias de caracteres de audio. Para obtener más información sobre cómo utilizar corpus con modelos personalizados basados en modelos de próxima generación, consulte Trabajar con corpus para modelos de voz de gran tamaño y modelos de próxima generación.

Al proporcionar frases que incluyen palabras específicas de dominio, los corpus permiten que el servicio aprenda palabras y secuencias de caracteres en contexto. También puede aumentar y modificar las palabras de un modelo individualmente. El entrenamiento de un modelo solo con palabras individuales, en contraposición con las palabras que añade el corpus, requiere más tiempo y puede producir resultados menos efectivos.

Utilice el método POST /v1/customizations/{customization_id}/corpora/{corpus_name} para añadir un corpus a un modelo personalizado:

customization_id (serie obligatoria)

Especifique el ID de personalización del modelo personalizado al que se va a añadir el corpus.

corpus_name (serie obligatoria)

Especifique un nombre para el corpus. Utilice un nombre en el idioma del modelo personalizado que refleje el contenido del corpus.

• El nombre puede tener un máximo de 128 caracteres.
• No utilice caracteres que se tengan que codificar en URL. Por ejemplo, en el nombre no utilice espacios, barras inclinadas, barras inclinadas invertidas, ampersands, comillas dobles, signos más, signos de igual, interrogaciones, etc. (El servicio no impide el uso de estos caracteres. Pero como se tienen que codificar en URL siempre que se utilicen, se desaconseja utilizarlos.)
• No utilice el nombre de un corpus o gramática que ya se haya añadido al modelo personalizado.
• No utilice el nombre user, que está reservado por el servicio para indicar las palabras personalizadas que el usuario añade o modifica.
• No utilice el nombre base_lm ni default_lm. Ambos nombres se reservan para un posterior uso por parte del servicio.

Pase el archivo de texto corpus como el cuerpo requerido de la solicitud. En el ejemplo siguiente se añade el archivo de texto de corpus healthcare.txt al modelo personalizado con el ID especificado. En el ejemplo se utiliza el corpus healthcare.

IBM Cloud

curl -X POST -u "apikey:{apikey}" \
--data-binary @healthcare.txt \
"{url}/v1/customizations/{customization_id}/corpora/healthcare"

IBM Cloud Pak for Data IBM Software Hub

curl -X POST \
--header "Authorization: Bearer {token}" \
--data-binary @healthcare.txt \
"{url}/v1/customizations/{customization_id}/corpora/healthcare"

El método también acepta un parámetro de consulta opcional allow_overwrite que sobrescribe un corpus existente para un modelo personalizado. Utilice el parámetro si tiene que actualizar un archivo de corpus después de añadirlo a un modelo.

Este método es asíncrono. Puede tardar unos minutos en completarse. La duración de la operación depende del número total de palabras del corpus y de la carga actual en el servicio. Para modelos personalizados basados en modelos de generación anterior, la duración también depende del número de palabras nuevas que el servicio encuentra en el corpus. Para obtener más información sobre cómo comprobar el estado de un corpus, consulte Supervisión de la solicitud de añadir un corpus.

Puede añadir el número de corpus que desee a un modelo personalizado llamando al método una vez para cada archivo de texto de corpus. La adición de un corpus debe haber finalizado para poder añadir otro. Un corpus tiene el estado being_processed cuando se añade por primera vez a un modelo. Su estado pasa a ser analyzed cuando el servicio termina de procesarlo.

Para modelos personalizados basados en modelos de generación anterior, después de completar la adición de un corpus, examine las nuevas palabras personalizadas que se han extraído del mismo para comprobar si hay errores tipográficos o de otro tipo. Para obtener más información, consulte Validación de un recurso de palabras para modelos de la generación anterior.

curl -X GET -u "apikey:{apikey}" \
"{url}/v1/customizations/{customization_id}/corpora/corpus1"

curl -X GET \
--header "Authorization: Bearer {token}" \
"{url}/v1/customizations/{customization_id}/corpora/corpus1"

{
  "name": "corpus1",
  "total_words": 5037,
  "out_of_vocabulary_words": 401,
  "status": "analyzed"
}

Adición de palabras al modelo de lenguaje personalizado

Aunque la adición de corpus es el método recomendado para añadir palabras a un modelo de lenguaje personalizado, también puede añadir directamente palabras personalizados individuales al modelo. El servicio analiza las palabras personalizadas para el modelo personalizado tal como lo hace con el contenido de las palabras de los corpus.

Si solo tiene una o unas pocas palabras que añadir a un modelo, el uso de corpus para añadir las palabras podría no resultar práctico o incluso viable. La forma más sencilla de hacerlo es mediante la adición de una palabra con solo su ortografía. No obstante, también se puede indicar cómo se va a mostrar la palabra y una o varias pronunciaciones para la palabra.

• Para obtener más información sobre cómo añadir palabras a un modelo personalizado basado en un modelo de generación anterior, consulte Trabajar con palabras personalizadas para modelos de generación anterior.
• Para obtener más información sobre cómo añadir palabras a un modelo personalizado que se basa en modelos de voz grandes y modelos de próxima generación, consulte Trabajar con palabras personalizadas para modelos de voz grandes y modelos de próxima generación.

Después de añadir palabras a un modelo personalizado, examine las nuevas palabras personalizadas para comprobar si hay errores tipográficos o de otro tipo. Esta comprobación es especialmente importante cuando se añaden varias palabras a la vez.

• Para modelos personalizados basados en modelos de generación anterior, consulte Validación de un recurso de palabras para modelos de la generación anterior.
• Para modelos personalizados basados en modelos de voz grandes y modelos de próxima generación, consulte Validación de un recurso de palabras para modelos de voz grandes y modelos de próxima generación.

curl -X PUT -u "apikey:{apikey}" \
--header "Content-Type: application/json" \
--data "{\"sounds_like\": [\"N. C. A. A.\", \"N. C. double A.\"]}" \
"{url}/v1/customizations/{customization_id}/words/NCAA"

curl -X PUT \
--header "Authorization: Bearer {token}" \
--header "Content-Type: application/json" \
--data "{\"sounds_like\": [\"N. C. A. A.\", \"N. C. double A.\"]}" \
"{url}/v1/customizations/{customization_id}/words/NCAA"

curl -X GET -u "apikey:{apikey}" \
"{url}/v1/customizations/{customization_id}"

curl -X GET \
--header "Authorization: Bearer {token}" \
"{url}/v1/customizations/{customization_id}"

{
  "customization_id": "74f4807e-b5ff-4866-824e-6bba1a84fe96",
  "created": "2016-06-01T18:42:25.324Z",
  "updated": "2016-06-01T18:45:11.737Z",
  "language": "en-US",
  "dialect": "en-US",
  "owner": "297cfd08-330a-22ba-93ce-1a73f454dd98",
  "name": "Example model",
  "description": "Example custom language model",
  "base_model_name": "en-US_BroadbandModel",
  "status": "pending",
  "progress": 0
}

Entrenamiento del modelo de lenguaje personalizado

Una vez que haya rellenado un modelo de idioma personalizado con palabras nuevas (añadiendo corpus, añadiendo palabras directamente o añadiendo gramáticas), debe entrenar el modelo con los nuevos datos. El proceso de entrenamiento prepara el modelo personalizado para que utilice los datos en el reconocimiento de voz. El modelo no utiliza las palabras que se añaden a través de cualquier método hasta que lo entrena con los datos.

Utilice el método POST /v1/customizations/{customization_id}/train para entrenar un modelo personalizado. Debe pasar al método el ID de personalización del modelo que desea entrenar, como en el ejemplo siguiente:

IBM Cloud

curl -X POST -u "apikey:{apikey}" \
"{url}/v1/customizations/{customization_id}/train"

IBM Cloud Pak for Data IBM Software Hub

curl -X POST \
--header "Authorization: Bearer {token}" \
"{url}/v1/customizations/{customization_id}/train"

Este método es asíncrono. El entrenamiento puede tardar unos minutos en completarse en función del número de palabras nuevas con las que se está entrenando el modelo y de la carga actual del servicio. Para obtener más información sobre cómo consultar el estado de una operación de entrenamiento, consulte Supervisión de la solicitud de entrenamiento del modelo.

El método incluye los siguientes parámetros de consulta opcionales:

• El parámetro word_type_to_add especifica las palabras con las que se va a entrenar el modelo personalizado:

  • Especifique all o bien omita el parámetro para entrenar el modelo con todas sus palabras, independientemente de su origen.
  • Especifique user para entrenar el modelo solo con las palabras que el usuario ha añadido o modificado, sin tener en cuenta las palabras que solo se han extraído de corpus o de gramáticas.

  Para modelos personalizados basados en modelos de la generación anterior, esta opción es útil si añade corpus con datos ruidosos, como por ejemplo palabras que contienen errores tipográficos. Antes de entrenar el modelo con este tipo de datos, puede utilizar el parámetro de consulta word_type del método GET /v1/customizations/{customization_id}/words para revisar las palabras que se extraen de corpus y de gramáticas. Para obtener más información, consulte Listado de palabras personalizadas de un modelo de idioma personalizado.

  Para los modelos personalizados que se basan en modelos de voz grandes y modelos de próxima generación, el servicio ignora el parámetro word_type_to_add. El recurso de palabras sólo contiene palabras personalizadas que el usuario añade o modifica directamente, por lo que el parámetro es innecesario.

• El parámetro customization_weight especifica la ponderación relativa que se otorga a las palabras del modelo personalizado en comparación con las palabras del vocabulario base cuando se utiliza el modelo personalizado para el reconocimiento de voz. También puede especificar una ponderación de personalización con cualquier solicitud de reconocimiento que utilice el modelo personalizado. Para obtener más información, consulte Utilización de ponderaciones de personalización.

• El parámetro strict indica si el entrenamiento debe continuar si el modelo personalizado contiene una combinación de recursos válidos y no válidos (corpus, palabras y gramáticas). De forma predeterminada, el entrenamiento falla si el modelo contiene uno o más recursos no válidos. Establezca el parámetro false para permitir que el entrenamiento continúe siempre que el modelo contenga como mínimo un recurso válido. El servicio excluye del entrenamiento los recursos que no son válidos. Para obtener más información, consulte Errores de entrenamiento para modelos de lenguaje personalizado.

curl -X GET -u "apikey:{apikey}" \
"{url}/v1/customizations/{customization_id}"

curl -X GET \
--header "Authorization: Bearer {token}" \
"{url}/v1/customizations/{customization_id}"

{
  "customization_id": "74f4807e-b5ff-4866-824e-6bba1a84fe96",
  "created": "2016-06-01T18:42:25.324Z",
  "updated": "2016-06-01T18:45:11.737Z",
  "language": "en-US",
  "dialect": "en-US",
  "owner": "297cfd08-330a-22ba-93ce-1a73f454dd98",
  "name": "Example model",
  "description": "Example custom language model",
  "base_model_name": "en-US_BroadbandModel",
  "status": "training",
  "progress": 0
}