Angepasstes Sprachmodell erstellen

Angepasstes Sprachmodell erstellen

Mit der Methode POST /v1/customizations können Sie ein neues angepasstes Sprachmodell erstellen. Die Methode akzeptiert ein JSON-Objekt, das die Attribute des neuen angepassten Modells als Hauptteil der Anforderung definiert. Eigner des neuen angepassten Modells ist die Serviceinstanz, deren Berechtigungsnachweise beim Erstellen des Modells verwendet wurden. Weitere Informationen finden Sie im Abschnitt Eigentumsrecht an angepassten Modellen.

Sie können nicht mehr als 1024 angepasste Sprachmodelle pro besitzenden Berechtigungsnachweis erstellen. Weitere Informationen finden Sie im Abschnitt Maximale Anzahl an angepassten Modellen.

Ein neues angepasstes Sprachmodell verfügt über die folgenden Attribute:

name (erforderliche Zeichenfolge)

Ein benutzerdefinierter Name für das neue angepasste Modell. Verwenden Sie einen lokalisierten Namen, der der Sprache des angepassten Modells entspricht und die Domäne des Modells beschreibt, z. B. Medical custom model oder Legal custom model.

• Der Name darf maximal 256 Zeichen enthalten.
• Verwenden Sie im Namen keine Backslashes, Schrägstriche, Doppelpunkte, Gleichheitszeichen, Et-Zeichen oder Fragezeichen.
• Der verwendete Name sollte innerhalb Ihrer angepassten Sprachmodelle eindeutig sein.

base_model_name (erforderliche Zeichenfolge)

Der Name des Basissprachenmodells, das durch das neue benutzerdefinierte Modell angepasst werden soll. Sie müssen den Namen eines Modells verwenden, der von der Methode GET /v1/models zurückgegeben wird. Das neue angepasste Modell kann nur in Verbindung mit dem Basismodell verwendet werden, dessen Anpassung es darstellt.

dialect (optionale Zeichenfolge)

Der Dialekt aus der angegebenen Sprache, der in dem neuen Modell verwendet werden soll. Bei allen Sprachen ist es immer sicher, dieses Feld wegzulassen. Der Service verwendet automatisch die Sprachenkennung aus dem Namen des Basismodells. Zum Beispiel verwendet der Dienst automatisch en-US für alle US-amerikanischen englischen Modelle.

Wenn Sie dialect für ein neues angepasstes Modell angeben, beachten Sie die folgenden Richtlinien:

• Für nicht spanische Modelle der vorherigen Generation und für Modelle der nächsten Generation müssen Sie einen Wert angeben, der mit der fünfstelligen Sprachenkennung aus dem Namen des Basismodells übereinstimmt.
• Für spanische Modelle der vorherigen Generation müssen Sie einen der folgenden Werte angeben:
  • es-ES für Spanisch (Kastilien) (es-ES-Modelle)
  • es-LA für Spanisch (Lateinamerika) (es-AR-, es-CL-, es-CO- und es-PE-Modelle)
  • es-US für Spanisch (Mexiko) (es-MX-Modelle)

Bei allen Werten, die Sie für das Feld dialect übergeben, wird die Groß-/Kleinschreibung ignoriert.

description (optionale Zeichenfolge)

Eine empfohlene Beschreibung des neuen benutzerdefinierten Modells.

• Verwenden Sie eine Beschreibung in der Sprache des angepassten Modells.
• Die Beschreibung darf maximal 128 Zeichen enthalten.

Im folgenden Beispiel wird ein neues angepasstes Sprachmodell mit dem Namen Example model erstellt. Das Modell wird für das Basismodell en-US-BroadbandModel erstellt und die zugehörige Beschreibung lautet Example custom language model. Der erforderliche Content-Type-Header gibt an, dass JSON-Daten an die Methode übergeben werden.

IBM Cloud

curl -X POST -u "apikey:{apikey}" \
--header "Content-Type: application/json" \
--data "{\"name\": \"Example model\", \
  \"base_model_name\": \"en-US_BroadbandModel\", \
  \"description\": \"Example custom language model\"}" \
"{url}/v1/customizations"

IBM Cloud Pak for Data IBM Software Hub

curl -X POST \
--header "Authorization: Bearer {token}" \
--header "Content-Type: application/json" \
--data "{\"name\": \"Example model\", \
  \"base_model_name\": \"en-US_BroadbandModel\", \
  \"description\": \"Example custom language model\"}" \
"{url}/v1/customizations"

Das Beispiel gibt die Anpassungs-ID des neuen Modells zurück. Jedes angepasste Modell wird durch eine eindeutige Anpassungs-ID identifiziert. Diese ID ist eine global eindeutige ID (Globally Unique Identifier, GUID). Geben Sie die GUID für ein angepasstes Modell mit dem Parameter customization_id der Aufrufe an, die dem Modell zugeordnet sind.

{
  "customization_id": "74f4807e-b5ff-4866-824e-6bba1a84fe96"
}

Korpus zum angepassten Sprachmodell hinzufügen

Nachdem Sie ein angepasstes Sprachmodell erstellt haben, müssen Sie im nächsten Schritt domänenspezifische Daten zu dem Modell hinzufügen. Die empfohlene Vorgehensweise zum Füllen eines angepassten Modells besteht darin, mindestens einen Korpus hinzuzufügen. Ein Korpus ist eine einfache Textdatei, die im Idealfall Beispielsätze aus dem zugehörigen Fachgebiet enthält.

• Für angepasste Modelle, die auf großen Sprachmodellen basieren, analysiert der Service Wortfolgen aus einer oder mehreren Korpora-Dateien und extrahiert sie. Die Zeichen unterstützen den Service dabei, Zeichenfolgen in Audiodaten zu erkennen und vorherzusagen. Weitere Informationen zur Verwendung von Korpora mit angepassten Modellen, die auf großen Sprachmodellen basieren, finden Sie unter Mit Korpora für große Sprachmodelle und Modelle der nächsten Generation arbeiten.

• Für angepasste Modelle, die auf Modellen der vorherigen Generation basieren: Der Service analysiert eine Korpusdatei und extrahiert alle Wörter, die nicht in seinem Basisvokabular enthalten sind. Diese Wörter werden als vokabularexterne Wörter (Out-Of-Vocabulary, OOV) bezeichnet. Weitere Informationen zur Verwendung von Korpora mit angepassten Modellen, die auf Modellen der vorherigen Generation basieren, finden Sie unter Mit Korpora für Modelle der vorherigen Generation arbeiten.

• Für angepasste Modelle, die auf Modellen der nächsten Generation basieren, analysiert und extrahiert der Service Zeichenfolgen aus einer Korpusdatei. Die Zeichen unterstützen den Service dabei, Zeichenfolgen in Audiodaten zu erkennen und vorherzusagen. Weitere Informationen zur Verwendung von Korpora mit angepassten Modellen, die auf Modellen der nächsten Generation basieren, enthält Mit Korpora für große Sprachmodelle und Modelle der nächsten Generation arbeiten.

Durch die Bereitstellung von Sätzen, die domänenspezifische Wörter enthalten, ermöglichen Korpora dem Service das Erlernen von Wörtern und Zeichenfolgen im Kontext. Sie können die Wörter in einem Modell auch einzeln erweitern und ändern. Das Trainieren eines Modells mit einzelnen Wörtern ist zeitaufwendiger als das Hinzufügen von Wörtern aus Korpora und kann zu weniger effizienten Ergebnissen führen.

Mit der Methode POST /v1/customizations/{customization_id}/corpora/{corpus_name} können Sie ein Korpus zu einem angepassten Modell hinzufügen:

customization_id (erforderliche Zeichenfolge)

Geben Sie die Anpassungs-ID des angepassten Modells an, dem das Korpus hinzugefügt werden soll.

corpus_name (erforderliche Zeichenfolge)

Geben Sie einen Namen für den Korpus an. Verwenden Sie einen lokalisierten Namen in der Sprache des angepassten Modells, der den Inhalt des Korpus bezeichnet.

• Der Name sollte nicht mehr als 128 Zeichen umfassen.
• Verwenden Sie keine Zeichen, die eine URL-Codierung erforderlich machen. Verwenden Sie beispielsweise keine Leerzeichen, Schrägstriche, umgekehrten Schrägstriche, Doppelpunkte, Et-Zeichen, Anführungszeichen, Pluszeichen, Gleichheitszeichen, Fragezeichen etc. im Namen. (Die Verwendung dieser Zeichen ist im Service nicht unzulässig. Da für sie jedoch stets eine URL-Codierung erforderlich ist, wird von einer Verwendung dieser Zeichen ausdrücklich abgeraten.)
• Verwenden Sie nicht den Namen eines Korpus oder einer Grammatik, das bzw. die dem angepassten Modell bereits hinzugefügt wurde.
• Verwenden Sie nicht den Namen user, der im Service für angepasste Wörter reserviert ist, die vom Benutzer hinzugefügt oder geändert werden.
• Verwenden Sie nicht den Namen base_lm oder default_lm. Beide Namen sind für die zukünftige Verwendung durch den Service reserviert.

Übergeben Sie die Corpus-Textdatei als erforderlichen Hauptteil der Anfrage. Im folgenden Beispiel wird die Korpustextdatei healthcare.txt zu dem angepassten Modell mit der angegebenen ID hinzugefügt. Im Beispiel wird dem Korpus der Name healthcare zugeordnet.

IBM Cloud

curl -X POST -u "apikey:{apikey}" \
--data-binary @healthcare.txt \
"{url}/v1/customizations/{customization_id}/corpora/healthcare"

IBM Cloud Pak for Data IBM Software Hub

curl -X POST \
--header "Authorization: Bearer {token}" \
--data-binary @healthcare.txt \
"{url}/v1/customizations/{customization_id}/corpora/healthcare"

Die Methode akzeptiert außerdem den optionalen Parameter allow_overwrite, um ein vorhandenes Korpus für ein angepasstest Modell zu überschreiben. Verwenden Sie diesen Parameter, wenn Sie eine Korpusdatei aktualisieren möchten, die Sie zu einem Modell hinzugefügt haben.

Diese Methode arbeitet asynchron. Es kann einige Minuten dauern, bis die Methode beendet ist. Die Dauer der Operation hängt von der Gesamtzahl der Wörter im Korpus und der aktuellen Auslastung des Service ab. Für angepasste Modelle, die auf Modellen der vorherigen Generation basieren, hängt die Dauer auch von der Anzahl neuer Wörter ab, die der Service im Korpus findet. Weitere Informationen zum Überprüfen des Status eines Korpus finden Sie im Abschnitt Anforderung zum Hinzufügen eines Korpus überwachen.

Sie können beliebig viele Korpora zu einem angepassten Modell hinzufügen, indem Sie die Methode für jede Korpustextdatei einmal aufrufen. Das Hinzufügen eines Korpus muss vollständig abgeschlossen sein, bevor ein weiteres Korpus hinzugefügt werden kann. Ein Korpus hat den Status being_processed, wenn Sie ihn zum ersten Mal zu einem Modell hinzufügen. Wenn der Service die Verarbeitung des Korpus abgeschlossen hat, ändert sich sein Status in analyzed.

Für angepasste Modelle, die auf Modellen der vorherigen Generation basieren: Nachdem das Hinzufügen eines Korpus abgeschlossen ist, überprüfen Sie die neuen angepassten Wörter, die daraus extrahiert wurden, auf Schreibfehler und andere Fehlern. Weitere Informationen finden Sie unter Wortressource für Modelle der vorherigen Generation validieren.

curl -X GET -u "apikey:{apikey}" \
"{url}/v1/customizations/{customization_id}/corpora/corpus1"

curl -X GET \
--header "Authorization: Bearer {token}" \
"{url}/v1/customizations/{customization_id}/corpora/corpus1"

{
  "name": "corpus1",
  "total_words": 5037,
  "out_of_vocabulary_words": 401,
  "status": "analyzed"
}

Wörter zum angepassten Sprachmodell hinzufügen

Obwohl das Hinzufügen von Korpora die empfohlene Methode zum Erweitern des Vokabulars in einem angepassten Sprachmodell ist, können auch einzelne Wörter direkt im Modell hinzugefügt werden. Der Service analysiert angepasste Wörter für das angepasste Modell auf die gleiche Weise wie den Inhalt von Wörtern aus Korpora.

Wenn Sie nur wenige Wörter zu einem Modell hinzufügen möchten, ist die Verwendung von Korpora möglicherweise keine sinnvolle oder realistische Option. In diesem Fall ist die einfachste Methode das Hinzufügen eines einzelnen Wortes mit zugehöriger Schreibweise. Sie können aber auch angeben, wie das Wort angezeigt werden soll und eine oder mehrere Aussprachevarianten für das Wort.

• Weitere Informationen zum Hinzufügen von Wörtern zu einem angepassten Modell, das auf einem Modell der vorherigen Generation basiert, finden Sie unter Mit angepassten Wörtern für Modelle der vorherigen Generation arbeiten.
• Weitere Informationen zum Hinzufügen von Wörtern zu einem angepassten Modell, das auf großen Sprachmodellen und Modellen der nächsten Generationbasiert, enthält Mit angepassten Wörtern für große Sprachmodelle und Modelle der nächsten Generation arbeiten.

Nachdem Sie Wörter zu einem benutzerdefinierten Modell hinzugefügt haben, überprüfen Sie die neuen benutzerdefinierten Wörter auf Tipp- und andere Fehler. Diese Überprüfung ist besonders wichtig, wenn Sie mehrere Wörter auf einmal hinzufügen.

• Für angepasste Modelle, die auf Modellen der vorherigen Generation basieren, siehe Wörterressource für Modelle einer früheren Generation validieren.
• Für angepasste Modelle, die auf großen Sprachmodellen und Modellen der nächsten Generation basieren, siehe Wörterressource für große Sprachmodelle und Modelle der nächsten Generation validieren.

curl -X PUT -u "apikey:{apikey}" \
--header "Content-Type: application/json" \
--data "{\"sounds_like\": [\"N. C. A. A.\", \"N. C. double A.\"]}" \
"{url}/v1/customizations/{customization_id}/words/NCAA"

curl -X PUT \
--header "Authorization: Bearer {token}" \
--header "Content-Type: application/json" \
--data "{\"sounds_like\": [\"N. C. A. A.\", \"N. C. double A.\"]}" \
"{url}/v1/customizations/{customization_id}/words/NCAA"

curl -X GET -u "apikey:{apikey}" \
"{url}/v1/customizations/{customization_id}"

curl -X GET \
--header "Authorization: Bearer {token}" \
"{url}/v1/customizations/{customization_id}"

{
  "customization_id": "74f4807e-b5ff-4866-824e-6bba1a84fe96",
  "created": "2016-06-01T18:42:25.324Z",
  "updated": "2016-06-01T18:45:11.737Z",
  "language": "en-US",
  "dialect": "en-US",
  "owner": "297cfd08-330a-22ba-93ce-1a73f454dd98",
  "name": "Example model",
  "description": "Example custom language model",
  "base_model_name": "en-US_BroadbandModel",
  "status": "pending",
  "progress": 0
}

Angepasstes Sprachmodell trainieren

Nachdem Sie ein angepasstes Sprachmodell mit neuen Wörtern gefüllt haben (durch Hinzufügen von Korpora, durch direktes Hinzufügen von Wörtern oder durch Hinzufügen von Grammatiken), müssen Sie das Modell mit den neuen Daten trainieren. Durch Trainieren wird das angepasste Modell vorbereitet, damit die Daten bei der Spracherkennung genutzt werden können. Wörter, die Sie mit einem beliebigen Verfahren hinzugefügt haben, werden vom Modell erst verwendet, nachdem Sie das Modell mithilfe der neuen Daten trainiert haben.

Mit der Methode POST /v1/customizations/{customization_id}/train können Sie ein angepasstes Modell trainieren. In der Methode übergeben Sie die Anpassungs-ID des Modells, das Sie trainieren möchten, wie im folgenden Beispiel gezeigt:

IBM Cloud

curl -X POST -u "apikey:{apikey}" \
"{url}/v1/customizations/{customization_id}/train"

IBM Cloud Pak for Data IBM Software Hub

curl -X POST \
--header "Authorization: Bearer {token}" \
"{url}/v1/customizations/{customization_id}/train"

Diese Methode arbeitet asynchron. Die Dauer des Trainingsvorgangs kann mehrere Minuten betragen und ist von der Anzahl der neuen Wörter und von der aktuellen Auslastung des Service abhängig. Weitere Informationen zur Statusprüfung für den Trainingsvorgang finden Sie im Abschnitt Anforderung zum Trainieren des Modells überwachen.

Die Methode enthält die folgenden optionalen Abfrageparameter:

• Mit dem Parameter word_type_to_add werden die Wörter angegeben, mit denen das angepasste Modell trainiert werden soll.

  • Geben Sie all an oder lassen Sie den Parameter weg, um das Modell mit allen zugehörigen Wörtern (unabhängig von ihrer Herkunft) zu trainieren.
  • Geben Sie user an, um das Modell nur mit Wörtern zu trainieren, die von dem angegebenen Benutzer hinzugefügt oder geändert wurden. Dabei werden Wörter ignoriert, die nur aus Korpora oder Grammatiken extrahiert wurden.

  Angepasste Modelle, die auf Modellen der vorherigen Generation basieren: Diese Option ist hilfreich, wenn Sie Korpora mit unscharfen Daten hinzufügen (z. B. Wörter mit Schreibfehlern). Bevor Sie das Modell mit solchen Daten trainieren, können Sie mit dem Abfrageparameter word_type in der Methode GET /v1/customizations/{customization_id}/words Wörter überprüfen, die aus Korpora und Grammatiken extrahiert wurden. Weitere Informationen finden Sie in Angepasste Wörter aus einem angepassten Sprachmodell auflisten.

  Für angepasste Modelle, die auf großen Sprachmodellen und Modellen der nächsten Generation basieren, ignoriert der Service den Parameter word_type_to_add. Die Wörterressource enthält nur angepasste Wörter, die vom Benutzer direkt hinzufügt oder geändert werden, d. h. der Parameter ist nicht erforderlich.

• Der Parameter customization_weight gibt die relative Gewichtung für Wörter aus dem angepassten Modell im Vergleich zu Wörtern aus dem Basisvokabular an, wenn das angepasste Modell für die Spracherkennung verwendet wird. Mit jeder Erkennungsanforderung, von der das angepasste Modell verwendet wird, können Sie auch eine Anpassungsgewichtung angeben. Weitere Informationen finden Sie im Abschnitt Anpassungsgewichtung verwenden.

• Der Parameter strict gibt an, ob das Training fortgesetzt werden soll, wenn das angepasste Modell eine Mischung aus gültigen und ungültigen Ressourcen (Korpora, Wörter und Grammatiken) enthält. Das Training schlägt standardmäßig fehl, wenn das Modell mindestens eine ungültige Ressource enthält. Setzen Sie den Parameter auf false, damit das Training fortgesetzt werden kann, sofern das Modell mindestens eine gültige Ressource enthält. Der Service schließt ungültige Ressourcen vom Training aus. Weitere Informationen finden Sie im Abschnitt Trainingsfehler bei angepassten Sprachmodellen.

curl -X GET -u "apikey:{apikey}" \
"{url}/v1/customizations/{customization_id}"

curl -X GET \
--header "Authorization: Bearer {token}" \
"{url}/v1/customizations/{customization_id}"

{
  "customization_id": "74f4807e-b5ff-4866-824e-6bba1a84fe96",
  "created": "2016-06-01T18:42:25.324Z",
  "updated": "2016-06-01T18:45:11.737Z",
  "language": "en-US",
  "dialect": "en-US",
  "owner": "297cfd08-330a-22ba-93ce-1a73f454dd98",
  "name": "Example model",
  "description": "Example custom language model",
  "base_model_name": "en-US_BroadbandModel",
  "status": "training",
  "progress": 0
}