IBM Cloud Docs
Korpora und angepasste Wörter für Modelle der vorherigen Generation verwenden

Korpora und angepasste Wörter für Modelle der vorherigen Generation verwenden

Diese Informationen gelten speziell für angepasste Modelle, die auf Modellen der vorherigen Generation basieren. Informationen zu Korpora und angepassten Wörtern für angepasste Modelle, die auf Modellen der nächsten Generation basieren, finden Sie in Korpora und angepasste Wörter für Modelle der nächsten Generation verwenden.

Sie können ein angepasstes Sprachmodell mit Wörtern bestücken, indem Sie Korpora und Grammatiken zu dem Modell hinzufügen oder indem Sie angepasste Wörter direkt hinzufügen.

  • Korpora - Die empfohlene Vorgehensweise zum Füllen eines angepassten Sprachmodells mit Wörtern ist das Hinzufügen mindestens eines Korpus zu dem Modell. Beim Hinzufügen eines Korpus analysiert der Service die Datei und fügt alle gefundenen neuen Wörter automatisch zu dem angepassten Modell hinzu. Beim Hinzufügen eines Korpus zu einem angepassten Modell kann der Service fachspezifische Wörter aus dem Kontext extrahieren und dadurch bessere Transkriptionsergebnisse liefern. Weitere Informationen finden Sie im Abschnitt Mit Korpora arbeiten.
  • Grammatiken - Sie können Grammatiken zu einem angepassten Modell hinzufügen, um die Spracherkennung auf die Wörter oder Ausdrücke zu begrenzen, die von einer Grammatik erkannt werden. Beim Hinzufügen einer Grammatik zu einem Modell fügt der Service alle gefundenen neuen Wörter automatisch zu dem Modell hinzu (wie beim Hinzufügen von Korpora). Weitere Informationen finden Sie im Abschnitt Grammatiken mit angepassten Sprachmodellen verwenden.
  • Einzelne Wörter - Sie können auch einzelne angepasste Wörter direkt zu einem Modell hinzufügen. Der Service fügt die Wörter auf die gleiche Weise zu dem Modell hinzu wie neue Wörter aus Korpora oder Grammatiken. Wenn Sie ein Wort direkt hinzufügen, können Sie mehrere Aussprachevarianten angeben und festlegen, wie das Wort angezeigt werden soll. Außerdem können Sie vorhandene Wörter aktualisieren, um die aus Korpora oder Grammatiken extrahierten Definitionen zu ändern oder zu erweitern. Weitere Informationen finden Sie im Abschnitt Mit angepassten Wörtern arbeiten.

Unabhängig von der verwendeten Vorgehensweise speichert der Service alle Wörter, die Sie zu einem angepassten Sprachmodell hinzufügen, in der Wörterressource des Modells.

Die Wörterressource

Die Wörterressource enthält alle Wörter, die Sie aus Korpora bzw. Grammatiken oder direkt hinzufügen. Der Zweck der Wörterressource besteht darin, die Aussprache und Schreibweise von Wörtern zu definieren, die im Basisvokabular des Service nicht enthalten sind. Anhand der Definitionen kann der Service festlegen, wie diese vokabularexternen Wörter (Out-Of-Vocabulary-Wörter, OOV-Wörter) transkribiert werden.

Die Wörterressource enthält die folgenden Informationen zu jedem OOV-Wort. Der Service erstellt die Definitionen für die aus Korpora und Grammatiken extrahierten Wörter. Sie geben die Merkmale der angepassten Wörter an, die Sie direkt hinzufügen oder ändern.

  • word - Die Schreibweise für das Wort, das aus einem Korpus oder einer Grammatik stammt oder von Ihnen direkt hinzugefügt wurde.

    Verwenden Sie keine Zeichen, die eine URL-Codierung erforderlich machen. Verwenden Sie beispielsweise keine Leerzeichen, Schrägstriche, Backslashes, Doppelpunkte, kaufmännische Und-Zeichen, doppelte Anführungszeichen, Pluszeichen, Gleichheitszeichen, Fragezeichen usw. im Namen. Der Dienst verhindert nicht die Verwendung dieser Zeichen, aber da sie überall, wo sie verwendet werden, URL-codiert werden müssen, wird davon dringend abgeraten.

  • sounds_like - Die Aussprache des Wortes. Bei Wörtern, die aus Korpora und Grammatiken extrahiert wurden, geht der Service aufgrund der jeweiligen Sprachregeln davon aus, dass die angegebene Aussprache zutrifft. In vielen Fällen entspricht die Aussprache der Schreibweise im Feld word. Sie können das Feld sounds_like verwenden, um die Aussprache des Wortes zu ändern. Das Feld kann auch verwendet werden, um mehrere Aussprachevarianten für ein Wort anzugeben. Weitere Informationen finden Sie im Abschnitt Das Feld 'sounds_like' verwenden.

  • display_as - Gibt die Schreibweise für das Wort an, die vom Service in Transkriptionen verwendet wird. Dieses Feld gibt an, wie das Wort angezeigt werden soll. In den meisten Fällen stimmt die Schreibweise mit dem Wert aus dem Feld word überein. Sie können das Feld display_as verwenden, um eine andere Schreibweise für das Wort anzugeben. Weitere Informationen finden Sie im Abschnitt Das Feld 'display_as' verwenden.

  • source - Gibt an, wie das Wort zur Wörterressource hinzugefügt wurde. Wenn das Wort von dem Service aus einem Korpus oder einer Grammatik extrahiert wurde, wird in diesem Feld der Name der betreffenden Ressource angegeben. Da das gleiche Wort vom Service in mehreren Ressourcen gefunden werden kann, werden in diesem Feld gegebenenfalls mehrere Korpus- oder Grammatiknamen aufgelistet. Das Feld enthält die Zeichenfolge user, wenn das betreffende Wort von Ihnen direkt hinzugefügt oder geändert wurde.

Nach dem Hinzufügen oder Ändern eines Wortes in der Wörterressource eines Modells sollte unbedingt überprüft werden, ob das Wort korrekt definiert ist. Weitere Informationen finden Sie unter Wortressource für Modelle der vorherigen Generation validieren. Außerdem muss das Modell trainiert werden, damit die Änderungen während der Transkription berücksichtigt werden. Weitere Informationen finden Sie unter Angepasstes Sprachmodell trainieren.

Wie viele Daten brauche ich?

Die für ein effizientes angepasstes Sprachmodell erforderliche Datenmenge hängt von vielen Faktoren ab. Eine genaue Empfehlung, wie viele Wörter Sie für ein angepasstes Modell oder eine angepasste Anwendung hinzufügen sollten, ist nicht möglich. Je nach Anwendungsfall kann die Qualität des Modells schon durch das direkte Hinzufügen weniger Wörter verbessert werden. Das Hinzufügen von vokabularexternen Wörtern aus einem Korpus, das die Wörter in dem Kontext darstellt, in dem Sie in Audiodaten vorkommen, kann die Transkriptionsgenauigkeit ganz erheblich verbessern.

Der Service gibt folgende Grenzwerte für die Anzahl der Wörter vor, die Sie zu einem angepassten Sprachmodell hinzufügen können:

  • Sie können maximal 90.000 vokabularexterne Wörter (OOV-Wörter) zur Wörterressource eines angepassten Modells hinzufügen. Dazu zählen OOV-Wörter aus allen Quellen (Korpora, Grammatiken und von Ihnen direkt hinzugefügte Wörter).
  • Sie können insgesamt maximal 10.000.000 Wörter aus allen Quellen zu einem angepassten Modell hinzufügen. Dazu zählen alle Wörter, sowohl OOV-Wörter als auch Wörter aus dem Basisvokabular des Service und Wörter, die aus Korpora und Grammatiken stammen. Im Falle von Korpora kann der Service an diesen zusätzlichen Wörtern zugleich erkennen, in welchem Kontext die OOV-Wörter vorkommen. Dies macht Korpora zu einem besonders effektiven Werkzeug, um die Erkennungsgenauigkeit zu verbessern.

Eine umfangreiche Wörterressource kann die Latenzzeiten bei der Spracherkennung verlängern. Wie ausgeprägt dieser Effekt ist, lässt sich jedoch nur schwer quantifizieren oder vorhersagen. Wie die erforderliche Datenmenge für ein effizientes angepasstes Modell hängt auch die Beeinträchtigung der Leistung durch eine umfangreiche Wörterressource von vielen verschiedenen Faktoren ab. Testen Sie Ihr angepasstes Modell mit unterschiedlichen Datenvolumen, um die Leistungswerte für Ihr Modell und die zugehörigen Daten zu ermitteln.

Korpora für Modelle der vorherigen Generation verwenden

Mit der Methode POST /v1/customizations/{customization_id}/corpora/{corpus_name} können Sie ein Korpus zu einem angepassten Modell hinzufügen. Ein Korpus ist eine einfache Textdatei mit Beispielsätzen aus dem jeweiligen Fachgebiet. Das folgende Beispiel zeigt ein Korpusfragment für das Gesundheitswesen. Eine Korpusdatei ist in der Regel sehr viel länger.

Am I at risk for health problems during travel?
Some people are more likely to have health problems when traveling outside the United States.
How Is Coronary Microvascular Disease Treated?
If you're diagnosed with coronary MVD and also have anemia, you may benefit from treatment for that condition.
Anemia is thought to slow the growth of cells needed to repair damaged blood vessels.
What causes autoimmune hepatitis?
A combination of autoimmunity, environmental triggers, and a genetic predisposition can lead to autoimmune hepatitis.
What research is being done for Spinal Cord Injury?
The National Institute of Neurological Disorders and Stroke NINDS conducts spinal cord research in its laboratories at the National Institutes of Health NIH.
NINDS also supports additional research through grants to major research institutions across the country.
Some of the more promising rehabilitation techniques are helping spinal cord injury patients become more mobile.
What is Osteogenesis imperfecta OI?
. . .

Die Spracherkennung basiert auf der Analyse von Audiodaten mithilfe statistischer Algorithmen. Wörter aus einem angepassten Modell konkurrieren mit Wörtern aus dem Basisvokabular und mit anderen Wörtern aus dem Modell. (Außerdem beeinflussen Faktoren wie Störanteile in den Audiodaten und Akzente der Sprecher die Qualität der Transkription.)

Die Genauigkeit der Transkription kann sehr stark von den Definitionen der Wörter in einem Modell und von den Aussprachevarianten der Sprecher abhängen. Um die Genauigkeit eines Service zu verbessern, sollten Sie mithilfe von Korpora möglichst viele Verwendungsbeispiele für OOV-Wörter im fachspezifischen Kontext bereitstellen. Das wiederholte Vorkommen von OOV-Wörtern in Korpora kann sich vorteilhaft auf die Qualität des angepassten Sprachmodells auswirken. Welche Aussprachevarianten aus Korpora übernommen werden, hängt davon ab, wie die Wörter von den Sprechern in den zu untersuchenden Audiodaten vermutlich ausgesprochen werden. Je mehr hinzugefügte Sätze den Kontext wiedergeben, in dem Sprecher die Wörter aus dem jeweiligen Fachgebiet verwenden, umso besser die Erkennungsgenauigkeit des Service.

Der Service wendet nicht nur einen einfachen Algorithmus für Wortübereinstimmungen an. Die Transkription des Service basiert auf dem Kontext, in dem die Wörter verwendet werden. Beim Parsing eines Korpus bezieht der Service Informationen zu n-Grammen (Bigramme, Trigramme usw.) aus den im Korpus enthaltenen Sätzen in das angepasste Modell ein. Mithilfe dieser Informationen kann der Service die Audiodaten noch genauer transkribieren. Das erklärt auch, warum das Trainieren eines angepassten Modells mithilfe von Kopora einen größeren Mehrwert liefert als das Trainieren mit angepassten Wörtern.

Beispiel: Buchhalter greifen auf eine allgemeine Gruppe von Standards und Verfahren zurück, die als GAAP (Generally Accepted Accounting Principles) bezeichnet werden. Geben Sie daher beim Erstellen eines angepassten Modells für ein Fachgebiet aus dem Finanzwesen Sätze an, die den Begriff GAAP im Kontext verwenden. Mithilfe dieser Sätze kann der Service besser zwischen allgemeinen Ausdrücken wie "the gap between them is small" und fachspezifischen Ausdrücken wie "GAAP provides guidelines for measuring and disclosing financial information" unterscheiden.

In der Regel ist es von Vorteil, wenn Korpora Wörter in verschiedenen Kontexten enthalten. Auf diese Weise kann das Erlernen von Wörtern in dem Service verbessert werden. Wenn Benutzer die Wörter jedoch nur in einigen Kontexten aussprechen, verbessert die Anzeige der Wörter in anderen Kontexten die Qualität des angepassten Modells nicht: Sprecher verwenden die Wörter in diesen Kontexten nie. Wenn Sprecher häufig denselben Ausdruck verwenden, kann das wiederholte Auftreten dieses Ausdrucks in Korpora die Qualität des Modells verbessern. (In manchen Fällen kann sich auch das direkte Hinzufügen weniger angepasster Wörter in einem angepassten Modell positiv auswirken.)

Korpustextdatei vorbereiten

Gehen Sie wie folgt vor, um eine Korpustextdatei vorzubereiten:

  • Stellen Sie eine einfache Textdatei mit UTF-8-Codierung bereit, wenn die Datei Nicht-ASCII-Zeichen enthält. Der Service setzt die UTF-8-Codierung voraus, wenn solche Zeichen vorkommen.

    Stellen Sie sicher, dass Sie die Zeichencodierung Ihrer Korpustextdateien kennen. Der Service behält die in den Textdateien verwendete Codierung bei. Beim Arbeiten mit angepassten Wörtern im angepassten Modell muss die gleiche Codierung verwendet werden. Weitere Informationen finden Sie unter Zeichencodierung für angepasste Wörter.

  • Verwenden Sie für die Wörter im Korpus eine konsistente Großschreibung. In der Wörterressource muss die Groß-/Kleinschreibung beachtet werden. Verwenden Sie die gemischte Groß-/Kleinschreibung und die durchgängige Großschreibung nur, wenn dies ausdrücklich gewünscht ist.

  • Fügen Sie jeden Satz aus dem Korpus in eine eigene Zeile ein und beenden Sie jede Zeile mit einem Wagenrücklauf. Mehrere Sätze in einer Zeile können die Genauigkeit beeinträchtigen.

  • Fügen Sie Personennamen als getrennte Einheiten in separaten Zeilen hinzu. Fügen Sie nicht die einzelnen Bestandteile eines Namens in separaten Zeilen oder als einzelne angepasste Wörter hinzu, und fügen Sie nicht mehrere Namen in derselben Zeile eines Korpus hinzu. Das folgende Beispiel veranschaulicht die richtige Vorgehensweise, um die Erkennungsgenauigkeit für drei Namen zu verbessern:

    Gakuto Kutara
Sebastian Leifson
Malcolm Ingersol

    Fügen Sie gegebenenfalls zusätzliche Kontextinformationen hinzu (z. B. Doctor Sebastian Leifson oder President Malcolm Ingersol). Wie bei allen Wörtern gilt auch hier, dass die wiederholte Nennung von Namen, falls möglich in verschiedenen Kontexten, die Erkennungsgenauigkeit verbessern kann.

  • Vermeiden Sie Schreibfehler. Der Service geht bei Schreibfehlern davon aus, dass es sich um neue Wörter handelt. Wenn Sie die Schreibfehler nicht korrigieren, werden diese vom Service zum Vokabular des Modells hinzugefügt. Denken Sie an den Spruch: Wo Müll reingeht, kommt auch Müll raus!

  • Mehr Sätze erzielen eine größere Genauigkeit. Im Service gilt für jedes Modell eine Obergrenze von maximal 10.000.000 Wörtern und 90.000 OOV-Wörtern aus allen Quellen zusammen.

Der Service kann keine Aussprache für alle Wörter generieren. Nachdem Sie einen Korpus hinzugefügt haben, müssen Sie die Wörter-Ressource prüfen, um sicherzustellen, dass die Definition jedes vokabularexternen Worts (OOV) vollständig und gültig ist. Weitere Informationen finden Sie unter Wortressource für Modelle der vorherigen Generation validieren.

Was passiert, wenn ich eine Korpusdatei hinzufüge?

Wenn Sie eine Korpusdatei hinzufügen, analysiert der Service den Inhalt der Datei. Alle neuen Wörter werden extrahiert und als OOV-Wörter zur Wörterressource des angepassten Modells hinzugefügt. Um den größtmöglichen Bedeutungsgehalt aus dem Inhalt zu destillieren, fügt der Service Tokens ein und analysiert die aus einer Korpusdatei gelesenen Daten. In den folgenden Abschnitten wird die Vorgehensweise des Service beim Parsing einer Korpusdatei für die einzelnen unterstützten Sprachen erläutert.

Syntaxanalyse für Niederländisch, Englisch, Französisch, Deutsch, Italienisch, Portugiesisch und Spanisch

Die folgenden Beschreibungen gelten für alle unterstützten Dialekte der Sprachen Niederländisch, Englisch, Französisch, Deutsch, Italienisch, Portugiesisch und Spanisch.

  • Zahlen werden in entsprechende Wörter umgewandelt.

    Beispiele für die Umrechnung von Zahlen
    Sprache Ganzzahl Dezimalzahl
    Niederländisch 500 wird zu vijfhonderd 0,15 wird zu nul komma vijftien
    Englisch 500 wird zu five hundred 0.15 wird zu zero point fifteen
    Französisch 500 wird zu cinq cents 0,15 wird zu zéro virgule quinze
    Deutsch 500 wird zu fünfhundert 0,15 wird zu null punkt fünfzehn
    Italienisch 500 wird zu cinquecento 0,15 wird zu zero virgola quindici
    Portugiesisch 500 wird zu quinhentos 0,15 wird zu zero ponto quinze
    Spanisch 500 wird zu quinientos 0,15 wird zu cero coma quince

  • Tokens, die bestimmte Symbole enthalten, werden in aussagefähige Zeichenfolgedarstellungen umgewandelt. Die Liste der Beispiele ist nicht vollständig. Der Service nimmt für andere Zeichen bei Bedarf ähnliche Anpassungen vor. (Für Spanisch: Wenn der Dialekt es-LA ist, werden $100 und 100$ zu cien pesos.)

    Sprache Ein Dollarzeichen und eine Zahl Ein Eurozeichen und eine Zahl Ein Prozentzeichen und eine Zahl
    Niederländisch $100 wird zu honderd dollar €100 wird zu honderd euro 100% wird zu honderd procent
    Englisch $100 wird zu one hundred dollars €100 wird zu one hundred euros 100% wird zu one hundred percent
    Französisch $100 wird zu cent dollars €100 wird zu cent euros 100% wird zu cent pour cent
    Deutsch $100 und 100$ werden 
           `einhundert dollar` | `€100` und `100€` werden
       `einhundert euro` | `100%` wird zu `einhundert prozent` |

    | Italienisch | $100 wird zu cento dollari | €100 wird zu cento euro | 100% wird zu cento per cento | | Portugiesisch | $100 und 100$ werden cem dólares | €100 und 100€ werden cem euros | 100% wird zu cem por cento | | Spanisch | $100 und 100$ werden cien dólares | €100 und 100€ werden cien euros | 100% wird zu cien por ciento |

  • Verarbeitung nicht alphanumerischer Zeichen sowie Interpunktions- und Sonderzeichen entsprechend dem Kontext. Beispiel: Der Service entfernt ein Dollarzeichen ($) oder ein Eurozeichen (€), wenn danach keine Zahl folgt. Diese Verarbeitung erfolgt kontextabhängig und konsistent für alle unterstützten Sprachen.

  • Ausdrücke, die in runde Klammern '( )', spitze Klammern '< >', eckige Klammern '[ ]' oder geschweifte Klammern '{ }' eingeschlossen sind, werden ignoriert.

Parsing für Japanisch

  • Alle Zeichen werden in Zeichen mit voller Breite umgewandelt.
  • Wandelt Zahlen in ihre entsprechenden Wörter um, z. B. wird 500 zu 五百 und 0.15 zu 〇・一五.
  • Token, die Symbole enthalten, werden nicht in entsprechende Zeichenketten umgewandelt, z. B. wird 100% zu 百％.
  • Die Interpunktion wird nicht automatisch entfernt. IBM empfiehlt dringend, die Interpunktion zu entfernen, wenn Ihre Anwendung auf Transkription basiert und nicht auf Spracheingabe.

Parsing für Koreanisch

  • Wandelt Zahlen in ihre entsprechenden Wörter um, z. B. wird aus 10 십.

  • Entfernt die folgenden Interpunktions- und Sonderzeichen: - ( ) * : . , ' ". Für Koreanisch werden jedoch nicht alle Interpunktions- und Sonderzeichen entfernt, die für andere Sprachen entfernt werden. Beispiele:

    • Ein Punkt (.) wird nur entfernt, wenn er am Ende einer Eingabezeile steht.
    • Die Tilde (~) wird nicht entfernt.
    • Entfernt oder verarbeitet Unicode-Symbole mit breiten Zeichen nicht, z. B. … (Dreifachpunkt oder Auslassungspunkte).

    IBM empfiehlt generell, Interpunktionszeichen, Sonderzeichen und Unicode-Breitzeichen zu entfernen, bevor eine Korpusdatei verarbeitet wird.

  • Ausdrücke, die in runde Klammern '( )', spitze Klammern '< >', eckige Klammern '[ ]' oder geschweifte Klammern '{ }' eingeschlossen sind, werden weder entfernt noch ignoriert.

  • Tokens, die bestimmte Symbole enthalten, werden in aussagefähige Zeichenfolgedarstellungen umgewandelt, wie in den folgenden Beispielen gezeigt:

    • 24% wird zu 이십사퍼센트.
    • $10 wird zu 십달러.

    Diese Liste ist nicht vollständig. Der Service nimmt für andere Zeichen bei Bedarf ähnliche Anpassungen vor.

  • Für Ausdrücke, die aus lateinischen (englischen) Zeichen oder aus einer Mischung aus Hangul-Zeichen und lateinischen Zeichen bestehen, erstellt der Service OOV-Wörter, die genau den Ausdrücken in der Korpusdatei entsprechen. Außerdem werden gleich klingende Aussprachevarianten für die Wörter auf der Basis von Hangul-Transkriptionen erstellt.

    • Es gibt dem OOV-Wort London einen Klang, der an 런던 erinnert.
    • Es gibt dem OOV-Wort IBM홈페이지 einen Klang, der an 아이 비 엠 홈페이지 erinnert.

Angepasste Wörtern für Modelle der vorherigen Generation verwenden

Mit den Methoden POST /v1/customizations/{customization_id}/words und PUT /v1/customizations/{customization_id}/words/{word_name} können Sie neue Wörter zu der Wörterressource eines angepassten Modells hinzufügen. Sie können mit diesen Methoden auch ein Wort in einer Wörterressource ändern oder erweitern.

Sie können die Methoden beispielsweise verwenden, um einen Schreibfehler oder einen anderen Fehler in einem Wort zu korrigieren, das aus einem Korpus hinzugefügt wird. Außerdem können Sie gleich klingende Aussprachevarianten für ein vorhandenes Wort hinzufügen. Wenn Sie ein vorhandenes Wort ändern, überschreiben die neuen Daten, die Sie bereitstellen, die vorhandene Definition des Wortes in der Wörterressource. Die Regeln zum Hinzufügen eines Wortes gelten auch für das Ändern eines vorhandenen Wortes.

Angepasste Wörter werden häufig aus Kopora hinzugefügt. Stellen Sie sicher, dass Sie die Zeichencodierung Ihrer Korpustextdateien kennen. Der Service behält die in den Textdateien verwendete Codierung bei. Beim Arbeiten mit angepassten Wörtern im angepassten Modell muss die gleiche Codierung verwendet werden. Weitere Informationen finden Sie unter Zeichencodierung für angepasste Wörter.

Verwendung des Felds 'sounds_like'

Das Feld sounds_like gibt an, wie ein Wort von Sprechern ausgesprochen wird. In der Standardeinstellung fügt der Service die geschriebene Form des Wortes automatisch in das Feld ein. Aber der Service kann keine Aussprache für alle Wörter generieren. Nachdem Sie Wörter hinzugefügt oder geändert haben, müssen Sie die Wörter-Ressource prüfen, um sicherzustellen, dass die Definition jedes Worts vollständig und gültig ist. Weitere Informationen finden Sie unter Wortressource für Modelle der vorherigen Generation validieren.

Sie können bis zu fünf Aussprachevarianten für ein Wort angeben, das unterschiedlich ausgesprochen werden kann. Ziehen Sie die Verwendung des Felds für folgende Zwecke in Betracht:

  • Aussprachevarianten für Akronyme angeben. Beispiel: Das Akronym NCAA kann entsprechend der Schreibweise ausgesprochen werden oder umgangssprachlich als N. C. Doppeltes A. Im folgenden Beispiel werden beide gleich klingenden Aussprachevarianten für das Wort NCAA hinzugefügt:

    IBM Cloud

    curl -X PUT -u "apikey:{apikey}" \
--header "Content-Type: application/json" \
--data "{\"sounds_like\": [\"N. C. A. A.\", \"N. C. double A.\"]}" \
"{url}/v1/customizations/{customization_id}/words/NCAA"

    IBM Cloud Pak for Data IBM Software Hub

    curl -X PUT \
--header "Authorization: Bearer {token}" \
--header "Content-Type: application/json" \
--data "{\"sounds_like\": [\"N. C. A. A.\", \"N. C. double A.\"]}" \
"{url}/v1/customizations/{customization_id}/words/NCAA"

  • Fremdwörter verarbeiten. Beispiel: Das französische Wort garçon enthält ein Zeichen, das in der englischen Sprache nicht vorkommt. Sie können die gleich klingende Variante gaarson angeben, indem Sie ç durch s ersetzen, um dem Service mitzuteilen, wie das Wort in Englisch ausgesprochen würde.

Die folgenden Abschnitte enthalten sprachspezifische Richtlinien zum Angeben von gleich klingenden Aussprachevarianten. Bei der Spracherkennung werden statistische Algorithmen für die Analyse von Audiodaten verwendet, d. h. durch bloßes Hinzufügen eines Wortes kann nicht sichergestellt werden, dass das Wort vom Service mit hinreichender Genauigkeit transcodiert wird. Berücksichtigen Sie beim Hinzufügen auch die Aussprache des hinzugefügten Wortes. Verwenden Sie das Feld sounds_like, um verschiedene Aussprachevarianten für ein Wort anzugeben.

Richtlinien für Englisch

Richtlinien, die für australisches, britisches und amerikanisches Englisch gelten:

  • Verwenden Sie die Zeichen des englischen Alphabets: a-z und A-Z.
  • Verwenden Sie tatsächliche oder erfundene Wörter, die in Englisch aussprechbar sind, für schwer auszusprechende Wörter. Beispiel: shuchesnie für das Wort Sczcesny.
  • Verwenden Sie entsprechende englische Buchstaben als Ersatz für nicht englische Buchstaben. Beispiel: s für ç oder ny für ñ.
  • Ersetzen Sie Buchstaben ohne Akzent als Ersatz für Buchstaben mit Akzent. Beispiel: a für à oder e für è.
  • Sie können mehrere Wörter eingeben, die durch Leerzeichen getrennt sind. Der Dienst erzwingt eine maximale Zeichenanzahl von 40, ohne führende oder nachstehende Leerzeichen.

Richtlinien, die nur für australisches und amerikanisches Englisch gelten:

  • Verwenden Sie zum Aussprechen eines einzelnen Buchstabens den betreffenden Buchstaben, gefolgt von einem Punkt. Wenn nach dem Punkt ein weiteres Zeichen folgt, muss zwischen dem Punkt und dem nachfolgenden Zeichen ein Leerzeichen stehen. Beispiel: N. C. A. A. und nicht N.C.A.A.
  • Verwenden Sie für Zahlen den entsprechenden Wortlaut. Beispiel: seventy-five für 75.

Richtlinien, die nur für britisches Englisch gelten

  • Sie können keine Punkte oder Gedankenstriche in gleichlautenden Aussprachevarianten für britisches Englisch verwenden.
  • Verwenden Sie zum Aussprechen eines einzelnen Buchstabens den betreffenden Buchstaben, gefolgt von einem Leerzeichen. Beispiel: N C A A und nicht N. C. A. A., N.C.A.A. oder NCAA.
  • Verwenden Sie für Zahlen den entsprechenden Wortlaut ohne Gedankenstriche. Beispiel: seventy five für 75.

Richtlinien für Niederländisch, Französisch, Deutsch, Italienisch, Portugiesisch und Spanisch

Richtlinien für alle unterstützten Dialekte für Niederländisch, Französisch, Deutsch, Italienisch, Portugiesisch und Spanisch:

  • In gleichlautenden Aussprachevarianten können Sie keine Gedankenstriche verwenden.
  • Verwenden Sie die alphabetischen Zeichen aus der jeweiligen Sprache: a-z und A-Z sowie die zulässigen akzentuierten Zeichen.
  • Verwenden Sie zum Aussprechen eines einzelnen Buchstabens den betreffenden Buchstaben, gefolgt von einem Punkt. Wenn nach dem Punkt ein weiteres Zeichen folgt, muss zwischen dem Punkt und dem nachfolgenden Zeichen ein Leerzeichen stehen. Beispiel: N. C. A. A. und nicht N.C.A.A.
  • Verwenden Sie tatsächliche oder erfundene Wörter, die in der jeweiligen Sprache aussprechbar sind, für schwer auszusprechende Wörter.
  • Verwenden Sie für Zahlen den entsprechenden Wortlaut ohne Gedankenstriche. Verwenden Sie für 75 zum Beispiel Folgendes:
    • Niederländisch (Niederlande): vijfenzeventig
    • Französisch: soixante quinze
    • Deutsch: fünfundsiebzig
    • Italienisch: settantacinque
    • Portugiesisch (Brasilien): setenta e cinco
    • Spanisch: setenta y cinco
  • Sie können mehrere Wörter eingeben, die durch Leerzeichen getrennt sind. Der Dienst erzwingt eine maximale Zeichenanzahl von 40, ohne führende oder nachstehende Leerzeichen.

Richtlinien für Japanisch

  • Verwenden Sie nur Katakana-Zeichen in voller Breite, indem Sie das ―-Verlängerungssymbol (chou-on oder 長音 auf Japanisch) verwenden. Verwenden Sie keine Zeichen mit halber Breite.

  • Verwenden Sie die sogenannten "Yōon" (拗音, auf Japanisch) nur in den folgenden Silbenkontexten:

    イェ, ウィ, ウェ, ウォ, キィ, キャ, キュ, キョ, ギャ, ギュ, ギョ, クァ, クィ, クェ, クォ

    グァ, グォ, シィ, シェ, シャ, シュ, ショ, ジィ, ジェ, ジャ, ジュ, ジョ, スィ, ズィ, チェ

    チャ, チュ, チョ, ヂェ, ヂャ, ヂュ, ヂョ, ツァ, ツィ, ツェ, ツォ, ティ, テュ, ディ, デャ

    デュ, デョ, トゥ, ドゥ, ニェ, ニャ, ニュ, ニョ, ヒャ, ヒュ, ヒョ, ビャ, ビュ, ビョ, ピィ

    ピャ, ピュ, ピョ, ファ, フィ, フェ, フォ, フュ, ミャ, ミュ, ミョ, リィ, リェ, リャ, リュ

    リョ, ヴァ, ヴィ, ヴェ, ヴォ, ヴュ

  • Verwenden Sie nach einem assimilierten Laut (soku-on oder 促音 auf Japanisch) nur die folgenden Silben:

    バ, ビ, ブ, ベ, ボ, チ, チェ, チャ, チュ, チョ, ダ, デ, ディ, ド, ドゥ, フ

    ファ, フィ, フェ, フォ, ガ, ギ, グ, ゲ, ゴ, ハ, ヒ, ヘ, ホ, ジ, ジェ, ジャ

    ジュ, ジョ, カ, キ, ク, ケ, コ, キャ, キュ, キョ, パ, ピ, プ, ペ, ポ, ピャ

    ピュ, ピョ, サ, ス, セ, ソ, シ, シェ, シャ, シュ, ショ, タ, テ, ト, ツ, ザ

    ズ, ゼ, ゾ

  • Verwenden Sie ン nicht als erstes Zeichen eines Wortes. Verwenden Sie beispielsweise ウーント anstelle von ンート, da letztere E-Mail-Adresse ungültig ist.

  • Viele zusammengesetzte Wörter bestehen aus Präfix + Substantiv oder aus Substantiv + Suffix. Der Grundwortschatz des Dienstes deckt die meisten häufig vorkommenden zusammengesetzten Wörter ab (z. B. 長電話 und 古新聞), nicht jedoch selten vorkommende zusammengesetzte Wörter. Wenn Ihr Korpus viele zusammengesetzte Wörter enthält, fügen Sie diese im ersten Anpassungsschritt jeweils als ein Wort hinzu. Zum Beispiel ist 古鉛筆 in allgemeinen japanischen Texten nicht üblich; wenn Sie es häufig verwenden, fügen Sie es Ihrem benutzerdefinierten Modell hinzu, um die Transkriptionsgenauigkeit zu verbessern.

  • Verwenden Sie keinen assimilierten Laut als abschließendes Element.

Richtlinien für Koreanisch

  • Verwenden Sie koreanische Hangul-Zeichen, -Symbole und -Silben.
  • Sie können auch die Zeichen aus dem lateinischen (englischen) Alphabet verwenden: a-z und A-Z.
  • Verwenden Sie keine Zeichen oder Symbole, die in den oben angegebenen Gruppen nicht enthalten sind.

Verwendung des Felds 'display_as'

Im Feld display_as wird angegeben, wie ein Wort in einer Aufzeichnung angezeigt wird. Dieses Feld ist für den Fall vorgesehen, dass der Service eine Zeichenfolge anzeigen soll, die von der Schreibweise des Wortes abweicht. Sie können beispielsweise angeben, dass das Wort hhonors als HHonors dargestellt werden soll, unabhängig davon, ob es wie hilton honors oder wie h honors klingt.

IBM Cloud

curl -X PUT -u "apikey:{apikey}" \
--header "Content-Type: application/json" \
--data "{\"sounds_like\": [\"hilton honors\", \"H. honors\"], \"display_as\": \"HHonors\"}" \
"{url}/v1/customizations/{customization_id}/words/hhonors"

IBM Cloud Pak for Data IBM Software Hub

curl -X PUT \
--header "Authorization: Bearer {token}" \
--header "Content-Type: application/json" \
--data "{\"sounds_like\": [\"hilton honors\", \"H. honors\"], \"display_as\": \"HHonors\"}" \
"{url}/v1/customizations/{customization_id}/words/hhonors"

Ein weiteres Beispiel: Sie können angeben, dass das Wort IBM als IBM™angezeigt werden soll.

IBM Cloud

curl -X PUT -u "apikey:{apikey}" \
--header "Content-Type: application/json" \
--data "{\"sounds_like\": [\"I. B. M.\"], \"display_as\":\"IBM™\"}" \
"{url}/v1/customizations/{customization_id}/words/IBM"

IBM Cloud Pak for Data IBM Software Hub

curl -X PUT \
--header "Authorization: Bearer {token}" \
--header "Content-Type: application/json" \
--data "{\"sounds_like\": [\"I. B. M.\"], \"display_as\":\"IBM™\"}" \
"{url}/v1/customizations/{customization_id}/words/IBM"

Interaktion mit intelligenter Formatierung und Zahlenschwärzung

Wenn Sie die Parameter smart_formatting oder redaction mit einer Erkennungsanforderung verwenden, sollten Sie berücksichtigen, dass der Service die intelligente Formatierung und das Schwärzen auf ein Wort anwendet, bevor das Feld display_as für das Wort berücksichtigt wird. Es kann hilfreich sein, mit den Ergebnissen zu experimentieren, um sicherzustellen, dass sich diese Funktionen nicht nachteilig auf die Darstellung Ihrer angepassten Wörter auswirken. Gegebenenfalls kann es erforderlich werden, angepasste Wörter hinzufügen, um diese Auswirkungen zu berücksichtigen.

Angenommen, Sie fügen ein angepasstes Wort one ein und geben im Feld display_as den Wert one ein. Die Funktion für intelligente Formatierung ändert das Wort one in die Zahl 1 und der Wert aus dem Feld 'display-as' wird nicht angewendet. Um dieses Problem zu umgehen, können Sie ein angepasstes Wort für die Zahl 1 hinzufügen und denselben Wert aus dem Feld display_as auf dieses Wort anwenden.

Weitere Informationen zum Arbeiten mit diesen Funktionen finden Sie in den Abschnitten Intelligente Formatierung und Zahlenschwärzung.

Was passiert, wenn ich ein angepasstes Wort hinzufüge oder ändere?

Wie der Service auf eine Anforderung zum Hinzufügen oder Ändern eines angepassten Wortes reagiert, hängt von den Feldern und Werten ab, die Sie angeben. Außerdem hängt es davon ab, ob das Wort im Basisvokabular des Service vorhanden ist.

  • Lassen Sie die Felder sounds_like und display_as weg:

    • Wenn das Wort nicht im Basisvokabular des Service enthalten ist, fügt der Service in das Feld sounds_like die eigene Aussprache für das Wort ein. Es kann keine Aussprache für alle Wörter generieren. Daher müssen Sie die Definition des Worts überprüfen, um sicherzustellen, dass sie vollständig und gültig ist. Der Service legt das Feld display_as auf den Wert des Felds word fest.
    • Wenn das Wort im Basisvokabular des Service enthalten ist, lässt der Service die Felder sounds_like und display_as leer. Diese Felder sind nur leer, wenn das Wort im Basisvokabular des Service enthalten ist. Das Vorhandensein des Wortes in der Wörterressource des Modells hat zwar keine negative Auswirkung, aber es ist unnötig.

  • Geben Sie nur das Feld sounds_like an:

    • Wenn das Feld sounds_like gültig ist, gibt der Service im Feld display_as den Wert aus dem Feld word an.
    • Wenn das Feld sounds_like ungültig ist:
      • Die Methode POST /v1/customizations/{customization_id}/words fügt ein Feld error für das Wort zur Wörterressource des Modells hinzu.
      • Die Methode PUT /v1/customizations/{customization_id}/words/{word_name} schlägt mit einem Antwortcode 400 und einer Fehlernachricht fehl. Der Service fügt das Wort nicht zur Wörterressource hinzu.

  • Geben Sie nur das Feld display_as an:

    • Wenn das Wort nicht im Basisvokabular des Service enthalten ist, fügt der Service in das Feld sounds_like die eigene Aussprache für das Wort ein. Es kann keine Aussprache für alle Wörter generieren. Daher müssen Sie die Definition des Worts überprüfen, um sicherzustellen, dass sie vollständig und gültig ist. Der Service behält das Feld display_as wie angegeben bei.
    • Wenn das Wort im Basisvokabular des Service enthalten ist, lässt der Service das Feld sounds_like leer und behält den im Feld display_as angegebenen Wert bei.

  • Geben Sie die Felder sounds_like und display_as an:

    • Wenn das Feld sounds_like gültig ist, setzt der Service die Felder sounds_like und display_as auf die angegebenen Werte.
    • Wenn das Feld sounds_like ungültig ist, antwortet der Service wie in dem Fall, in dem das Feld sounds_like angegeben ist und das Feld display_as nicht.

Wortressource für Modelle der vorherigen Generation validieren

Untersuchen Sie insbesondere beim Hinzufügen eines Korpus zu einem angepassten Sprachmodell oder beim gleichzeitigen Hinzufügen mehrerer angepasster Wörter die OOV-Wörter in der Wörterressource des Modells.

  • Suchen Sie nach Schreibfehlern und anderen Fehlern. Besonders beim Hinzufügen von Korpora, die sehr umfangreich sein können, sind Fehler keine Seltenheit. Schreibfehler in einer Korpusdatei (oder in angepassten Wörtern oder in einer Grammatikdatei) haben die unbeabsichtigte Nebenwirkung, dass neue Wörter in der Wörterressource eines Modells hinzugefügt werden. Gleiches gilt für fehlerhaft formatierte HTML-Tags in einer Korpusdatei.
  • Überprüfen Sie die gleich klingenden Aussprachevarianten. Der Service generiert automatisch gleich klingende Aussprachevarianten für OOV-Wörter. In den meisten Fällen reichen diese Aussprachevarianten aus. Aber der Service keine Aussprache für alle Wörter generieren. Daher müssen Sie die Definition des Worts überprüfen, um sicherzustellen, dass sie vollständig und gültig ist. Bei Wörtern, die über ungewöhnliche Schreibweisen verfügen oder schwer auszusprechen sind, sowie bei Akronymen und Fachbegriffen empfiehlt es sich jedoch, die Richtigkeit der Aussprachevarianten zu überprüfen.

Um ein Wort für ein angepasstes Modell zu prüfen und gegebenenfalls zu korrigieren (unabhängig davon, wie es zur Wörterressource hinzugefügt wurde), können Sie die folgenden Methoden verwenden:

  • Listen Sie alle Wörter aus einem angepassten Modell mithilfe der Methode GET /v1/customizations/{customization_id}/words auf oder fragen Sie ein einzelnes Wort mit der Methode GET /v1/customizations/{customization_id}/words/{word_name} ab. Weitere Informationen finden Sie unter Angepasste Wörter aus einem angepassten Sprachmodell auflisten.
  • Ändern Sie Wörter in einem angepassten Modell, um Fehler zu beheben oder um Werte für die Felder 'sounds-like' oder 'display-as' hinzuzufügen, mit der Methode POST /v1/customizations/{customization_id}/words bzw. mit der Methode PUT /v1/customizations/{customization_id}/words/{word_name}. Weitere Informationen finden Sie unter Angepasste Wörter für Modelle der vorherigen Generation verwenden.
  • Löschen Sie nicht dazugehörige Wörter, die irrtümlich eingefügt wurden (z. B. durch Schreibfehler oder andere Fehler in einerm Korpus) mithilfe der Methode DELETE /v1/customizations/{customization_id}/words/{word_name}. Weitere Informationen finden Sie im Abschnitt Wort aus einem angepassten Sprachmodell löschen.
    • Wenn das Wort aus einem Korpus extrahiert wurde, können Sie stattdessen die Korpustextdatei aktualisieren, um den Fehler zu korrigieren, und anschließend die Datei unter Verwendung des Parameters allow_overwrite in der Methode POST /v1/customizations/{customization_id}/corpora/{corpus_name} erneut laden. Weitere Informationen finden Sie im Abschnitt Korpus zum angepassten Sprachmodell hinzufügen.
    • Wenn das Wort aus einer Grammatik extrahiert wurde, können Sie die Grammatikdatei aktualisieren, um den Fehler zu korrigieren, und anschließend die Datei unter Verwendung des Parameters allow_overwrite in der Methode POST /v1/customizations/{customization_id}/grammars/{grammar_name} erneut laden. Weitere Informationen hierzu enthält der Abschnitt Grammatik zum angepassten Sprachmodell hinzufügen.