Richtlinien zum Hinzufügen von Wörtern zu angepassten Modellen auf der Basis verbesserter Modelle der nächsten Generation

Begrenzen Sie bei angepassten Modellen, die auf Sprachmodellen der nächsten Generation basieren, die eine verbesserte Anpassung verwenden, die Anzahl der angepassten Wörter, die Sie dem Modell direkt hinzufügen, mit den folgenden Methoden:

• POST /v1/customizations/{customization_id}/words
• PUT /v1/customizations/{customization_id}/words/{word_name}

Die Verwendung dieser Methoden zum Hinzufügen angepasster Wörter zu einem angepassten Modell kann die Trainingszeit des Modells erheblich verlängern. Die Trainingszeit steigt linear mit der Gesamtzahl der Wörter, die Sie hinzufügen. Die Trainingszeit erhöht sich jedoch nur, wenn das Modell zum ersten Mal mit den neuen angepassten Wörtern trainiert wird. Die Zeit, die für nachfolgende Trainingsanforderungen ohne neue angepasste Wörter erforderlich ist, wird wieder normal.

Das Training eines angepassten Modells mit Wörtern, die nur über Korpora hinzugefügt wurden, mit der folgenden Methode ist in der Regel schnell:

• POST /v1/customizations/{customization_id}/corpora/{corpus_name}

Weitere Informationen zur verbesserten Anpassung für Modelle der nächsten Generation finden Sie unter Verbesserte Sprachmodellanpassung für Modelle der nächsten Generation.

Die nicht japanischen Modelle verwenden 'sounds_like' für die Zuordnung ('sounds_like '->' display_as ').

Richtlinien für das Hinzufügen von Wörtern zu japanischen Modellen auf der Basis verbesserter Modelle der nächsten Generation

Fügen Sie keine benutzerdefinierten Wörter für bekannte Wörter hinzu, Wörter, die allgemein erkannt werden und eine allgemeine Übereinstimmung zwischen dem Wort und seiner Aussprache aufweisen. Verwenden Sie angepasste Wörter, um eine Zuordnung zwischen der Schreibweise von weniger häufig verwendeten Wörtern und ihrer Ausprägung zu erstellen. Verwenden Sie auch benutzerdefinierte Wörter, um unbekannte Wörter hinzuzufügen, die keine Entsprechung zwischen dem Wort und seiner Aussprache haben oder die nicht allgemein als Wörter erkannt werden. Das Hinzufügen solcher Wörter zu einem Korpus ist ebenso effektiv.

Der Service erzwingt eine maximale Begrenzung von insgesamt 25 Zeichen (ohne führende oder nachgestellte Leerzeichen) für angepasste Wörter und Sounds. Wenn Sie ein angepasstes Wort hinzufügen oder gleich klingt, das diesen Grenzwert überschreitet, behandelt der Service das Wort automatisch so, als wäre es von einem Korpus hinzugefügt worden. Das Wort wird nicht als angepasstes Wort für das Modell angezeigt. Für das effektivste Training wird empfohlen, dass japanische benutzerdefinierte Wörter und Sounds nicht mehr als 20 Zeichen enthalten. Fügen Sie lange Wörter wie ＩＢＭクラウド音声認識サービス zu einem Korpus hinzu.

Die Aussprache アイビーエム für das Wort ＩＢＭ wird beispielsweise ohne Anpassung erkannt, sodass es nicht als angepasstes Wort hinzugefügt werden muss. Da es sich bei ＩＢＭ, クラウド, 音声認識und サービス um allgemeine Wörter handelt, hat das Hinzufügen als angepasste Wörter keine Auswirkung.

Geben Sie für ein angepasstes Wort eine häufig verwendete Notation ein, die die Verwendung und Aussprache des Wortes widerspiegelt. Dies ermöglicht eine effizientere Anpassung. Das folgende Beispiel erzeugt beispielsweise nicht zuverlässig die Zeichenfolge Artificial_Intelligence als Antwort auf die Äußerung エーアイ, da Artificial_Intelligence und 人工知能 im Allgemeinen nicht als AI ausgesprochen werden:

{\"word\": \"Artificial_Intelligence\", \"sounds_like\": [\"エーアイ\"], \"display_as\": \"Artificial_Intelligence\"},
{\"word\": \"人工知能\", \"sounds_like\": [\"エーアイ\"], \"display_as\": \"Artificial_Intelligence\"}

Da der Kontext in der Regel so ähnlich wie これからＡＩはますます発展してきますist, ist ＡＩ die am besten geeignete Notation für die gleich klingende エーアイ. Das folgende Beispiel liefert daher wahrscheinlich bessere Ergebnisse:

{\"word\": \"ＡＩ\", \"sounds_like\": [\"エーアイ\"], \"display_as\": \"Artificial_Intelligence\"}

Schließlich werden in benutzerdefinierten Wörtern alphabetische Zeichen mit halber Breite in Zeichen voller Breite konvertiert. Englische Groß-und Kleinbuchstaben werden als unterschiedliche Zeichen behandelt.

Japanische Modelle verwenden Wort für Zuordnung ('Wort '->' display_as ').

Korpustextdatei vorbereiten

Gehen Sie wie folgt vor, um eine Korpustextdatei vorzubereiten:

• Stellen Sie eine einfache Textdatei mit UTF-8-Codierung bereit, wenn die Datei Nicht-ASCII-Zeichen enthält. Der Service setzt die UTF-8-Codierung voraus, wenn solche Zeichen vorkommen.

  Stellen Sie sicher, dass Sie die Zeichencodierung Ihrer Korpustextdateien kennen. Der Service behält die in den Textdateien verwendete Codierung bei. Beim Arbeiten mit angepassten Wörtern im angepassten Modell muss die gleiche Codierung verwendet werden. Weitere Informationen finden Sie unter Zeichencodierung für angepasste Wörter.

• Verwenden Sie für die Wörter im Korpus eine konsistente Großschreibung. Verwenden Sie die gemischte Groß-/Kleinschreibung und die durchgängige Großschreibung nur, wenn dies ausdrücklich gewünscht ist.

• Fügen Sie jeden Satz aus dem Korpus in eine eigene Zeile ein und beenden Sie jede Zeile mit einem Wagenrücklauf. Mehrere Sätze in einer Zeile können die Genauigkeit beeinträchtigen.

• Fügen Sie Personennamen als getrennte Einheiten in separaten Zeilen hinzu. Fügen Sie nicht die einzelnen Bestandteile eines Namens in separaten Zeilen oder als einzelne angepasste Wörter hinzu, und fügen Sie nicht mehrere Namen in derselben Zeile eines Korpus hinzu. Das folgende Beispiel veranschaulicht die richtige Vorgehensweise, um die Erkennungsgenauigkeit für drei Namen zu verbessern:

  Gakuto Kutara
  Sebastian Leifson
  Malcolm Ingersol
  

  Fügen Sie gegebenenfalls zusätzliche Kontextinformationen hinzu (z. B. Doctor Sebastian Leifson oder President Malcolm Ingersol). Wie bei allen Wörtern kann auch bei Namen das mehrfache Vorkommen die Genauigkeit der Erkennung verbessern.

• Vermeiden Sie Schreibfehler. Der Service geht bei Schreibfehlern davon aus, dass es sich um neue Wörter handelt. Denken Sie an den Spruch: Wo Müll reingeht, kommt auch Müll raus!

• Mehr Sätze erzielen eine größere Genauigkeit. Der Service begrenzt ein Modell auf maximal 10 Millionen Wörter aus allen Quellen zusammen.

Was passiert, wenn ich eine Korpusdatei hinzufüge?

Wenn Sie eine Korpusdatei hinzufügen, analysiert der Service den Inhalt der Datei. Um den größtmöglichen Bedeutungsgehalt aus dem Inhalt zu destillieren, fügt der Service Tokens ein und analysiert die aus einer Korpusdatei gelesenen Daten. In den folgenden Themen wird beschrieben, wie der Dienst eine Korpusdatei für jede unterstützte Sprache analysiert.

Informationen für die folgenden Sprachen sind noch nicht verfügbar: Arabisch, Chinesisch, Tschechisch, Hindi und Schwedisch. Wenn Sie diese Informationen für Ihr angepasstes Sprachmodell benötigen, wenden Sie sich an Ihren IBM Ansprechpartner.

Verwendung des Felds 'sounds_like'

Das Feld sounds_like gibt an, wie ein Wort von Sprechern in Audio ausgesprochen wird. Standardmäßig versucht der Service nicht automatisch, eine gleichlautende Aussprache für ein Wort zu generieren, für das Sie keine Aussprache angeben. Sie können gleichlautende Aussprachen für Wörter hinzufügen, die keine haben. Nachdem Sie Wörter hinzugefügt oder geändert haben, müssen Sie die Wörter-Ressource prüfen, um sicherzustellen, dass die Definition jedes Worts vollständig und gültig ist. Weitere Informationen finden Sie unter Wörterressource für große Sprachmodelle und Modelle der nächsten Generation validieren.

Sie können bis zu fünf Aussprachevarianten für ein Wort angeben, das unterschiedlich ausgesprochen werden kann. Es folgen einige mögliche Verwendungsmöglichkeiten des Felds:

• Aussprachevarianten für Akronyme angeben. Das Akronym NCAA kann beispielsweise so ausgesprochen werden, wie es geschrieben wird, oder umgangssprachlich wie N C doppelt A Im folgenden Beispiel werden beide gleichlautenden Aussprachevarianten für das Wort NCAAhinzugefügt:

  IBM Cloud

  curl -X PUT -u "apikey:{apikey}" \
  --header "Content-Type: application/json" \
  --data "{\"sounds_like\": [\"N C A A\", \"N C double A\"]}" \
  "{url}/v1/customizations/{customization_id}/words/NCAA"
  

  IBM Cloud Pak for Data IBM Software Hub

  curl -X PUT \
  --header "Authorization: Bearer {token}" \
  --header "Content-Type: application/json" \
  --data "{\"sounds_like\": [\"N C A A\", \"N C double A\"]}" \
  "{url}/v1/customizations/{customization_id}/words/NCAA"
  

  Weitere Informationen dazu, wie der Service Akronyme erkennt, finden Sie unter Zusätzliche Transkriptionsaufwände.

• Fremdwörter verarbeiten. Beispiel: Das französische Wort garçon enthält ein Zeichen, das in der englischen Sprache nicht vorkommt. Sie können die gleich klingende Variante gaarson angeben, indem Sie ç durch s ersetzen, um dem Service mitzuteilen, wie das Wort in Englisch ausgesprochen würde.

Die folgenden Themen enthalten Richtlinien für die Angabe einer klanglichen Aussprache. Bei der Spracherkennung werden statistische Algorithmen für die Analyse von Audiodaten verwendet, d. h. durch bloßes Hinzufügen eines Wortes kann nicht sichergestellt werden, dass das Wort vom Service mit hinreichender Genauigkeit transcodiert wird. Berücksichtigen Sie beim Hinzufügen auch die Aussprache des hinzugefügten Wortes. Verwenden Sie das Feld sounds_like, um verschiedene Aussprachevarianten für ein Wort anzugeben.

Informationen für die folgenden Sprachen sind noch nicht verfügbar: Arabisch, Chinesisch, Tschechisch, Hindi und Schwedisch. Wenn Sie diese Informationen für Ihr angepasstes Sprachmodell benötigen, wenden Sie sich an Ihren IBM Ansprechpartner.

Die nicht japanischen Modelle verwenden 'sounds_like' für die Zuordnung ('sounds_like '->' display_as '). Japanische Modelle verwenden Wort für Zuordnung ('Wort '->' display_as ').

Verwendung des Felds 'display_as'

Im Feld display_as wird angegeben, wie ein Wort in einer Aufzeichnung angezeigt wird. Standardmäßig legt der Service das Feld so fest, dass es der Schreibweise des angepassten Wortes entspricht. Das Feld ist für Fälle bestimmt, in denen der Service eine Zeichenfolge anzeigen soll, die sich von der Schreibweise des Wortes unterscheidet. Sie können beispielsweise angeben, dass das Wort hhonors als HHonors angezeigt werden soll.

IBM Cloud

curl -X PUT -u "apikey:{apikey}" \
--header "Content-Type: application/json" \
--data "{\"display_as\": \"HHonors\"}" \
"{url}/v1/customizations/{customization_id}/words/hhonors"

IBM Cloud Pak for Data IBM Software Hub

curl -X PUT \
--header "Authorization: Bearer {token}" \
--header "Content-Type: application/json" \
--data "{\"display_as\": \"HHonors\"}" \
"{url}/v1/customizations/{customization_id}/words/hhonors"

Ein weiteres Beispiel: Sie können angeben, dass das Wort IBM als IBM™angezeigt werden soll.

IBM Cloud

curl -X PUT -u "apikey:{apikey}" \
--header "Content-Type: application/json" \
--data "{\"display_as\":\"IBM™\"}" \
"{url}/v1/customizations/{customization_id}/words/IBM"

IBM Cloud Pak for Data IBM Software Hub

curl -X PUT \
--header "Authorization: Bearer {token}" \
--header "Content-Type: application/json" \
--data "{\"display_as\":\"IBM™\"}" \
"{url}/v1/customizations/{customization_id}/words/IBM"

Die nicht japanischen Modelle verwenden 'sounds_like' für die Zuordnung ('sounds_like '->' display_as '). Japanische Modelle verwenden Wort für Zuordnung ('Wort '->' display_as ').

Was passiert, wenn ich ein angepasstes Wort hinzufüge oder ändere?

Wie der Service auf eine Anforderung zum Hinzufügen oder Ändern eines angepassten Wortes reagiert, hängt von den Feldern und Werten ab, die Sie angeben. Es hängt auch davon ab, ob die Zeichenfolgen des Worts in den Zeichenfolgen des Basismodells vorhanden sind.

• Lassen Sie die Felder sounds_like und display_as weg:

  • Der Service legt das Feld display_as auf den Wert des Felds word fest. Der Service versucht nicht, das Feld sounds_like auf eine Aussprache des Wortes festzulegen.

• Geben Sie nur das Feld sounds_like an:

  • Wenn das Feld sounds_like gültig ist, legt der Service den Wert des Felds sounds_like auf den angegebenen Wert fest. Der Service legt auch das Feld display_as auf den Wert des Felds word fest.
  • Wenn das Feld sounds_like ungültig ist:
    • Die Methode POST /v1/customizations/{customization_id}/words fügt ein Feld error für das Wort zur Wörterressource des Modells hinzu.
    • Die Methode PUT /v1/customizations/{customization_id}/words/{word_name} schlägt mit einem Antwortcode 400 und einer Fehlernachricht fehl. Der Service fügt das Wort nicht zur Wörterressource hinzu.

• Geben Sie nur das Feld display_as an:

  • Der Service legt das Feld display_as auf den angegebenen Wert fest. Der Service versucht nicht, das Feld sounds_like auf eine Aussprache des Wortes festzulegen.

• Geben Sie die Felder sounds_like und display_as an:

  • Wenn das Feld sounds_like gültig ist, setzt der Service die Felder sounds_like und display_as auf die angegebenen Werte.
  • Wenn das Feld sounds_like ungültig ist, antwortet der Service wie in dem Fall, in dem das Feld sounds_like angegeben ist und das Feld display_as nicht.

Zusätzliche Transkriptionsaufwände

Für benutzerdefinierte Sprachmodelle, die auf großen Sprachmodellen und Modellen der nächsten Generation basieren, unternimmt der Dienst zusätzliche Anstrengungen, um die effektivste Transkription zu gewährleisten:

• Bei gleichlautenden Aussprachevarianten für angepasste Wörter verwendet der Service den reverseartigen Sound der Wörter sowie ihre Definition in einem angepassten Wort. Beispiel: Bei einem sounds_like-Feld von I triple E für das Wort IEEE verwendet der Service effektiv auch einen reverseartigen Sound von IEEE für das "Wort" I triple E. Dies verbessert die Anwendung von gleichlautenden Aussprachevarianten für die Spracherkennung. (Beachten Sie, dass es Benutzern nicht möglich ist, angepasste Wörter zu erstellen, die Leerzeichen enthalten.)

• Für Akronyme, die aus Korpora analysiert oder als angepasste Wörter definiert werden, führt der Service zusätzliche Spracherkennungsmaßnahmen durch. Ein Akronym ist ein beliebiges Wort, das aus zwei oder mehr aufeinanderfolgenden Großbuchstaben besteht. Wenn das Akronym mindestens einen Vokal enthält, versucht der Service, das Akronym als eine Folge einzelner Zeichen und als ein ausgesprochenes Wort zu erkennen.

  Das Akronym NASA kann beispielsweise als vier einzelne Buchstaben gelesen oder als Wort ausgesprochen werden, das wie nassa klingt. Der Service prüft während der Spracherkennung auf beide Varianten. Dies verbessert seine Fähigkeit, Akronyme korrekt in einem Transkript darzustellen.