Crea un modello di lingua personalizzato

Utilizzi il metodo POST /v1/customizations per creare un nuovo modello di lingua personalizzato. Il metodo accetta un oggetto JSON che definisce gli attributi del nuovo modello personalizzato come corpo della richiesta. Il nuovo modello personalizzato appartiene all'istanza del servizio di cui vengono utilizzate le credenziali per crearlo. Per ulteriori informazioni, vedi Proprietà di modelli personalizzati.

Puoi creare un massimo di 1024 modelli di lingua personalizzati per credenziali di gestione. Per ulteriori informazioni, vedi Numero massimo di modelli personalizzati.

Un nuovo modello di lingua personalizzato ha i seguenti attributi:

name (stringaobbligatoria )

Un nome definito dall'utente per il nuovo modello personalizzato. Utilizzare un nome localizzato che corrisponda alla lingua del modello personalizzato e che descriva il dominio del modello, ad esempio Medical custom model o Legal custom model.

• Inserire un massimo di 256 caratteri nel nome.
• Non utilizzare barre retroverse, barre, due punti, segni di uguale, e commerciale o punti interrogativi nel nome.
• Utilizza un nome che sia univoco tra tutti i modelli di lingua personalizzati di tua proprietà.

base_model_name (stringaobbligatoria )

Il nome del modello di lingua di base che deve essere personalizzato dal nuovo modello personalizzato. Devi utilizzare il nome di un modello restituito dal metodo GET /v1/models. Il nuovo modello personalizzato può essere utilizzato solo con il modello di base che personalizza.

dialect (stringafacoltativa )

Il dialetto della lingua specificata che deve essere utilizzato con il nuovo modello personalizzato. Per tutte le lingue, è sempre sicuro omettere questo campo. Il servizio utilizza automaticamente l'identificativo della lingua dal nome del modello di base. Ad esempio, il servizio utilizza automaticamente en-US per tutti i modelli di inglese (Stati Uniti).

Se si specifica dialect per un nuovo modello personalizzato, attenersi alle seguenti linee guida:

• Per i modelli di generazione precedente non in spagnolo e per i modelli di nuova generazione, è necessario specificare un valore che corrisponda all'identificativo di lingua di cinque caratteri dal nome del modello base.
• Per i modelli di generazione precedenti in spagnolo, è necessario specificare uno dei seguenti valori:
  • es-ES per lo spagnolo castigliano (modelli es-ES)
  • es-LA per lo spagnolo latino americano (modelli es-AR, es-CL, es-CO e es-PE)
  • es-US per lo spagnolo messicano (nord americano) (modelli es-MX)

Tutti i valori passati per il campo dialect non sono sensibili al maiuscolo / minuscolo.

description (stringafacoltativa )

Una descrizione consigliata del nuovo modello personalizzato.

• Utilizza una descrizione localizzata che corrisponda alla lingua del modello personalizzato.
• Includere un massimo di 128 caratteri nella descrizione.

Il seguente esempio crea un nuovo modello di lingua personalizzato denominato Example model. Il modello viene creato per il modello di base en-US-BroadbandModel e ha la descrizione Example custom language model. L'intestazione richiesta " Content-Type " specifica che i dati JSON vengono passati al metodo.

IBM Cloud

curl -X POST -u "apikey:{apikey}" \
--header "Content-Type: application/json" \
--data "{\"name\": \"Example model\", \
  \"base_model_name\": \"en-US_BroadbandModel\", \
  \"description\": \"Example custom language model\"}" \
"{url}/v1/customizations"

IBM Cloud Pak for Data IBM Software Hub

curl -X POST \
--header "Authorization: Bearer {token}" \
--header "Content-Type: application/json" \
--data "{\"name\": \"Example model\", \
  \"base_model_name\": \"en-US_BroadbandModel\", \
  \"description\": \"Example custom language model\"}" \
"{url}/v1/customizations"

L'esempio restituisce l'ID di personalizzazione del nuovo modello. Ogni modello personalizzato è identificato da un ID di personalizzazione univoco, che è un GUID (Globally Unique Identifier). Specifichi il GUID di un modello personalizzato con il parametro customization_id delle chiamate associate al modello.

{
  "customization_id": "74f4807e-b5ff-4866-824e-6bba1a84fe96"
}

Aggiungi un corpus al modello di lingua personalizzato

Una volta creato il modello linguistico personalizzato, il passo successivo consiste nell'aggiungere al modello dati specifici del dominio. Il metodo consigliato per popolare un modello personalizzato è aggiungere uno o più corpora. Un corpus è un file di testo semplice che idealmente contiene periodi di esempio dal tuo dominio.

• Per i modelli personalizzati basati su modelli vocali di grandi dimensioni, il servizio analizza ed estrae le sequenze di parole da uno o più file corpora. I caratteri aiutano il servizio a imparare e prevedere le sequenza di caratteri dall'audio. Per ulteriori informazioni sull'utilizzo dei corpora con i modelli personalizzati basati su modelli vocali di grandi dimensioni, vedi Gestione dei corpora per i modelli vocali di grandi dimensioni e i modelli di nuova generazione.

• Per i modelli personalizzati basati sui modelli di generazione precedente, il servizio analizza un file di corpus ed estrae tutte le parole che non sono nel suo vocabolario di base. Tali parole sono indicate come parole OOV (out-of-vocabulary). Per ulteriori informazioni sull'uso dei corpora con i modelli personalizzati basati sui modelli di generazione precedenti, vedi Gestione dei corpora per i modelli di generazione precedenti.

• Per modelli personalizzati basati su modelli di nuova generazione, il servizio analizza ed estrae le sequenze di caratteri da un file del corpus. I caratteri aiutano il servizio a imparare e prevedere le sequenza di caratteri dall'audio. Per ulteriori informazioni sull'utilizzo dei corpora con i modelli personalizzati basati sui modelli di nuova generazione, vedi Gestione dei corpora per i modelli vocali di grandi dimensioni e i modelli di nuova generazione.

Fornendo frasi che includono parole specifiche del dominio, i corpora consentono al servizio di apprendere le parole e le sequenze di caratteri nel contesto. È anche possibile aumentare e modificare singolarmente le parole di un modello. Addestrare un modello solo su singole parole invece che sulle parole aggiunte dai corpora è più dispendioso in termini di tempo e può produrre risultati meno efficaci.

Utilizzi il metodo POST /v1/customizations/{customization_id}/corpora/{corpus_name} per aggiungere un corpus a un modello personalizzato:

customization_id (stringaobbligatoria )

Specificare l'ID di personalizzazione del modello personalizzato a cui aggiungere il corpus.

corpus_name (stringaobbligatoria )

Specificare un nome per il corpus. Utilizza un nome localizzato che corrisponda alla lingua del modello personalizzato e riflette il contenuto del corpus.

• Includi un massimo di 128 caratteri nel nome.
• Non utilizzare caratteri che devono essere codificati in URL. Ad esempio, non utilizzare spazi, barre, barre rovesciate, due punti, e commerciali, virgolette doppie, segni più, segni di uguale, punti interrogativi e così via nel nome. (Il servizio non impedisce l'utilizzo di questi caratteri. Tuttavia, poiché devono essere codificati in URL ovunque ricorrano, il loro uso è vivamente sconsigliato.)
• Non utilizzare il nome di un corpus o di una grammatica che è già stato aggiunto al modello personalizzato.
• Non utilizzare il nome user, che è riservato dal servizio per denotare le parole personalizzate aggiunte o modificate dall'utente.
• Non utilizzare il nome base_lm o default_lm. Entrambi i nomi sono riservati per un uso futuro da parte del servizio.

Trasmettere il file di testo corpus come corpo richiesto della richiesta. Il seguente esempio aggiunge il file di testo di corpus healthcare.txt al modello personalizzato con l'ID specificato. L'esempio denomina il corpus healthcare.

IBM Cloud

curl -X POST -u "apikey:{apikey}" \
--data-binary @healthcare.txt \
"{url}/v1/customizations/{customization_id}/corpora/healthcare"

IBM Cloud Pak for Data IBM Software Hub

curl -X POST \
--header "Authorization: Bearer {token}" \
--data-binary @healthcare.txt \
"{url}/v1/customizations/{customization_id}/corpora/healthcare"

Il metodo accetta anche un parametro di query allow_overwrite facoltativo che sovrascrive un corpus esistente per un modello personalizzato. Utilizza il parametro se devi aggiornare un file di corpus dopo averlo aggiunto a un modello.

Il metodo è asincrono. Il suo completamento può richiedere alcuni minuti. La durata dell'operazione dipende dal numero totale di parole nel corpus e dal carico corrente sul servizio. Per i modelli personalizzati basati sui modelli di generazione precedente, la durata dipende anche dal numero di parole nuove che il servizio trova nel corpus. Per ulteriori informazioni sul controllo dello stato di un corpus, vedi Monitoraggio della richiesta di aggiunta del corpus.

Puoi aggiungere qualsiasi numero di corpora a un modello personalizzato richiamando il metodo una volta per ciascun file di testo di corpus. L'aggiunta di un corpus deve essere del tutto completa prima di poterne aggiungere un altro. Un corpus ha lo stato being_processed quando lo aggiungi per la prima volta a un modello. Il suo stato diventa analyzed quando il servizio finisce di elaborarlo.

Per i modelli personalizzati basati sui modelli di generazione precedente, una volta completata l'aggiunta di un corpus, esamina le nuove parole personalizzate che sono state estratte da esso per controllare la presenza di errori tipografici e di altro tipo. Per ulteriori informazioni, vedi Convalida di una risorsa di parole per i modelli di generazione precedenti.

curl -X GET -u "apikey:{apikey}" \
"{url}/v1/customizations/{customization_id}/corpora/corpus1"

curl -X GET \
--header "Authorization: Bearer {token}" \
"{url}/v1/customizations/{customization_id}/corpora/corpus1"

{
  "name": "corpus1",
  "total_words": 5037,
  "out_of_vocabulary_words": 401,
  "status": "analyzed"
}

Aggiungi parole al modello di lingua personalizzato

Anche se l'aggiunta di corpora è il metodo consigliato per aggiungere parole a un modello di lingua personalizzato, puoi anche aggiungere delle singole parole personalizzate al modello direttamente. Il servizio analizza le parole personalizzate per il modello personalizzato proprio come fa il contenuto delle parole dai corpora.

Se hai solo una o poche parole da aggiungere a un modello, utilizzare i corpora per aggiungere le parole potrebbe non essere pratico o neanche fattibile. L'approccio più semplice consiste nell'aggiungere una parola con solo la sua ortografia. Ma puoi anche indicare come deve essere visualizzata la parola e una o più pronunce per la parola.

• Per ulteriori informazioni sull'aggiunta di termini a un modello personalizzato basato su un modello di generazione precedente, vedi Utilizzo di parole personalizzate per i modelli di generazione precedente.
• Per ulteriori informazioni sull'aggiunta di parole a un modello personalizzato basato su modelli vocali di grandi dimensioni e modelli di nuova generazione, vedi Utilizzo di parole personalizzate per modelli vocali di grandi dimensioni e modelli di nuova generazione.

Dopo aver aggiunto parole a un modello personalizzato, esamini le nuove parole personalizzate per verificare la presenza di errori tipografici e di altro tipo. Questo controllo è particolarmente importante quando si aggiungono più parole contemporaneamente.

• Per i modelli personalizzati basati sui modelli di generazione precedente, vedi Convalida di una risorsa di parole per i modelli di generazione precedente.
• Per i modelli personalizzati basati su modelli vocali di grandi dimensioni e modelli di nuova generazione, vedi Convalida di una risorsa di parole per modelli vocali di grandi dimensioni e modelli di nuova generazione.

curl -X PUT -u "apikey:{apikey}" \
--header "Content-Type: application/json" \
--data "{\"sounds_like\": [\"N. C. A. A.\", \"N. C. double A.\"]}" \
"{url}/v1/customizations/{customization_id}/words/NCAA"

curl -X PUT \
--header "Authorization: Bearer {token}" \
--header "Content-Type: application/json" \
--data "{\"sounds_like\": [\"N. C. A. A.\", \"N. C. double A.\"]}" \
"{url}/v1/customizations/{customization_id}/words/NCAA"

curl -X GET -u "apikey:{apikey}" \
"{url}/v1/customizations/{customization_id}"

curl -X GET \
--header "Authorization: Bearer {token}" \
"{url}/v1/customizations/{customization_id}"

{
  "customization_id": "74f4807e-b5ff-4866-824e-6bba1a84fe96",
  "created": "2016-06-01T18:42:25.324Z",
  "updated": "2016-06-01T18:45:11.737Z",
  "language": "en-US",
  "dialect": "en-US",
  "owner": "297cfd08-330a-22ba-93ce-1a73f454dd98",
  "name": "Example model",
  "description": "Example custom language model",
  "base_model_name": "en-US_BroadbandModel",
  "status": "pending",
  "progress": 0
}

Addestra il modello di lingua personalizzato

Una volta popolato un modello linguistico personalizzato con nuove parole (aggiungendo corpora, aggiungendo direttamente parole o aggiungendo grammatiche), è necessario addestrare il modello sui nuovi dati. L'addestramento prepara il modello personalizzato a utilizzare i dati nel riconoscimento vocale. Il modello non utilizza le parole che aggiungi servendoti di un qualsiasi metodo finché non ne esegui l'addestramento sui dati.

Utilizzi il metodo POST /v1/customizations/{customization_id}/train per addestrare un modello personalizzato. Passi al metodo l'ID di personalizzazione del modello che vuoi addestrare, come nel seguente esempio:

IBM Cloud

curl -X POST -u "apikey:{apikey}" \
"{url}/v1/customizations/{customization_id}/train"

IBM Cloud Pak for Data IBM Software Hub

curl -X POST \
--header "Authorization: Bearer {token}" \
"{url}/v1/customizations/{customization_id}/train"

Il metodo è asincrono. Il completamento dell'addestramento può richiedere qualche minuto, a seconda del numero di nuove parole su cui si sta eseguendo l'addestramento del modello e del carico corrente sul servizio. Per ulteriori informazioni sul controllo dello stato di un'operazione di addestramento, vedi Monitoraggio della richiesta di addestramento del modello.

Il metodo include i seguenti parametri di query facoltativi:

• Il parametro word_type_to_add specifica le parole su cui deve essere addestrato il modello personalizzato:

  • Specifica all oppure ometti il parametro per addestrare il modello su tutte le sue parole, indipendentemente dalla loro origine.
  • Specifica user per addestrare il modello solo sulle parole che erano state aggiunte o modificate dall'utente, ignorando quelle estratte solo da corpora o grammatiche.

  Per i modelli personalizzati basati sui modelli di generazione precedente, questa opzione è utile se aggiungi corpora con dati rumorosi, come parole che contengono errori tipografici. Prima di addestrare il modello su tali dati, puoi utilizzare il parametro di query word_type del metodo GET /v1/customizations/{customization_id}/words per esaminare le parole estratte da corpora e grammatiche. Per ulteriori informazioni, vedere Elencare parole personalizzate da un modello linguistico personalizzato.

  Per i modelli personalizzati basati su modelli vocali di grandi dimensioni e modelli di prossima generazione, il servizio ignora il parametro word_type_to_add. La risorsa di parole contiene solo parole personalizzate che l'utente aggiunge o modifica direttamente, quindi il parametro non è necessario.

• Il parametro customization_weight specifica il peso relativo che viene dato alle parole dal modello personalizzato rispetto alle parole dal vocabolario di base quando il modello personalizzato viene utilizzato per il riconoscimento vocale. Puoi anche specificare un peso di personalizzazione con qualsiasi richiesta di riconoscimento che utilizza il modello personalizzato. Per ulteriori informazioni, vedi Utilizzo del peso di personalizzazione.

• Il parametro " strict " indica se la formazione deve procedere se il modello personalizzato contiene un mix di risorse valide e non valide (corpora, parole e grammatiche). Per impostazione predefinita, l'addestramento non riesce se il modello contiene una o più risorse non valide. Imposta il parametro su false per consentire all'addestramento di continuare finché il modello contiene almeno una risorsa valida. Il servizio esclude le risorse non valide dall'addestramento. Per ulteriori informazioni, vedi Errori di addestramento per i modelli di lingua personalizzati.

curl -X GET -u "apikey:{apikey}" \
"{url}/v1/customizations/{customization_id}"

curl -X GET \
--header "Authorization: Bearer {token}" \
"{url}/v1/customizations/{customization_id}"

{
  "customization_id": "74f4807e-b5ff-4866-824e-6bba1a84fe96",
  "created": "2016-06-01T18:42:25.324Z",
  "updated": "2016-06-01T18:45:11.737Z",
  "language": "en-US",
  "dialect": "en-US",
  "owner": "297cfd08-330a-22ba-93ce-1a73f454dd98",
  "name": "Example model",
  "description": "Example custom language model",
  "base_model_name": "en-US_BroadbandModel",
  "status": "training",
  "progress": 0
}