Rückgabe des Worttakts durch den Service

Zur Rückgabe von Markierungs- oder Worttaktinformationen führt der Service ein Multiplexing von unabhängigen binären Datenströmen und Textdatenströmen durch, um seine Antwort zu erstellen:

• Für jedes Element <mark> wird vom Service eine JSON-Textnachricht zurückgegeben. In jeder Nachricht ist der genaue Zeitpunkt seit dem Beginn der synthetisch erstellten Audioausgabe angegeben, an dem die Markierung vorkommt.
• Beim Worttakt für alle Zeichenfolgen gibt der Service eine oder mehrere JSON-Textnachrichten zurück. Jede Nachricht enthält ein Array von Wörtern und dessen Start- sowie Endzeitpunkt seit dem Beginn der synthetisch erstellten Audioausgabe.

Die vom Service gesendeten Binärdatenströme und Textdatenströme sind unabhängig. Der Service kann somit die Anzahl der von ihm gelieferten Audioblöcke und den Zeitpunkt für den Empfang der Text- und Audionachrichten durch den Benutzer nur wenig steuern. Falls beispielsweise die Audioausgabe schneller synthetisch erstellt wird, als sie komprimiert werden kann, treffen möglicherweise alle Textnachrichten ein, bevor eine der Audionachrichten empfangen wird.

In der Praxis bedeutet dies, dass der Service eine beliebige Anzahl von Audioblöcken senden kann, also auch mehrere Blöcke von Audiodaten vor und nach jeder Textnachricht. Außerdem kann es vorkommen, dass ein einzelner Binärblock Audiodaten enthält, die den Taktinformationen für eine Markierung oder ein Wort sowohl vorausgehen als auch folgen.

Die Textnachricht, in der die Taktinformationen enthalten sind, trifft jedoch stets vor dem Binärblock ein, der die entsprechende Audioausgabe enthält. Außerdem kommen die Audionachrichten immer der Reihe nach an, sodass Sie vollständige und richtige Audiodaten des synthetisierten Texts aus den binären Ergebnissen erstellen können.

SSML-Markierung angeben

Das optionale SSML-Element <mark> ist ein leerer Tag, der eine Markierung in den zu synthetisierenden Text einfügt. Der Client wird benachrichtigt, sobald der gesamte Text vor dem Element <mark> synthetisiert wurde.

Das Element akzeptiert ein einziges Attribut name, in dem eine Zeichenfolge angegeben ist, die die Markierung eindeutig kennzeichnet. Der Name muss mit einem alphanumerischen Zeichen beginnen. Der Service gibt den Namen zusammen mit dem Zeitpunkt seit Beginn der synthetisch erstellten Audioausgabe zurück, an dem die Markierung vorkommt. Sie können eine beliebige Anzahl von Markierungen in den Eingabetext aufnehmen.

Das folgende JavaScript-Codefragment enthält eine Instanz des Elements <mark> mit dem Namen here:

function onOpen(evt) {
  var message = {
    text: 'Hello <mark name="here"/> world',
    accept: '*/*'
  };
  websocket.send(JSON.stringify(message));
}

Sobald der Service die synthetische Erstellung von Sprache aus dem Text, der der Markierung vorausgeht, abgeschlossen hat, sendet er eine Textnachricht, in der der Name der Markierung sowie in Sekunden der Zeitpunkt angegeben ist, zu dem die Markierung in der Audioausgabe auftritt:

{
  "marks": [
    ["here", 0.501]
  ]
}

Die Textnachricht, in der die Taktinformationen enthalten sind, trifft stets vor dem Audioblock ein, der die Position der Markierung enthält.

Worttakt für alle Wörter anfordern

Der optionale Parameter timings des JSON-Objekts, das Sie an den Service für eine Anforderung übergeben, gibt Taktinformationen für alle Zeichenfolgen des Eingabetextes zurück. Dadurch entfällt die Angabe des SSML-Elements <mark> für jedes Wort der Eingabe. Übergeben Sie ein Array, das die Zeichenfolge words enthält, um den Worttakt anzufordern. Geben Sie ein leeres Array an oder lassen Sie den Parameter weg, damit keine Taktinformationen empfangen werden.

Der Service gibt den Worttakt über die WebSocket-Verbindung auf dieselbe Weise wie die Taktinformationen für einzelne <mark>-Elemente zurück. Er gibt eine oder mehrere JSON-Textnachrichten zurück. Jede Nachricht enthält ein Array von Wörtern sowie in Sekunden dessen Start- und Endzeitpunkt seit dem Beginn der synthetisch erstellten Audioausgabe. Der folgende Code fordert beispielsweise Worttaktinformationen an:

function onOpen(evt) {
  var message = {
    text: 'I have a pet bird.',
    accept: '*/*',
    timings: ['words']
  };
  websocket.send(JSON.stringify(message));
}

Als Antwort kann der Service die folgenden Textnachrichten zurückgeben:

{
  "words": [
    [
      "I", 0.0, 0.157
    ],
    [
      "have", 0.157, 0.321
    ],
    [
      "a", 0.321, 0.406
    ]
  ]
}
{
  "words": [
    [
      "pet", 0.406, 0.731
    ],
    [
      "bird.", 0.731, 1.049
    ]
  ]
}

Die Antwort ist nur ein Beispiel. Der Service kann eine oder mehrere Textnachrichten mit Taktinformationen für die Eingabe zurückgeben. Es kann auch für jedes Wort der Eingabe eine separate Textnachricht zurückgegeben werden. Zwischen den einzelnen Nachrichten können außerdem Antworten eintreffen, die Binärblöcke mit Audioausgabe enthalten. Die Textnachricht, in der die Taktinformationen für ein Wort enthalten sind, trifft jedoch immer vor dem Audioblock ein, der das Wort enthält.

The coldest recorded temperature is -89.2 degrees Celsius in Antarctica on July 21, 1983!

If it is sunny, I will go to the beach.

Beispiele mit Markierungselementen

Die folgenden Beispiele zeigen eine einfache WebSocket-Sitzung zwischen einem Client und dem Service. In den Beispielen ist der Datenaustausch dargestellt, nicht der Verbindungsaufbau. Der Client sendet eine Textnachricht, die zwei <mark>-Elemente mit den Namen SIMPLE und EXAMPLE enthält, und fordert die Rückgabe der Audiodaten im WAV-Format an:

{
  "text": "This is a <mark name=\"SIMPLE\"/>simple <mark name=\"EXAMPLE\"/> example.",
  "accept": "audio/wav"
}

Der Service sendet zunächst eine Nachricht, um das Audioformat zu bestätigen. Anschließend sendet er mehrere Nachrichten mit den Ergebnissen. Weder die Anzahl der vom Service an den Client gesendeten Audioblöcke noch die Reihenfolge bei der Übermittlung der Text- und Audionachrichten können vom Service garantiert werden.

Beide der folgenden Antworten sind möglich. In beiden Fällen sendet der Service zwei Textnachrichten, die die Positionen der Markierungen im Binärdatenstrom angeben. Er sendet jedoch eine beliebige Anzahl von Binärnachrichten, die die Audioausgabe enthalten. Die Taktinformationen für eine Markierung treffen stets vor dem Audioblock ein, der die Position der Markierung enthält.

• In der ersten Beispielantwort werden die Textnachrichten mit mehreren Audionachrichten durchsetzt:

  {
    "binary_streams": [
      {
        "content_type": "audio/wav"
      }
    ]
  }
  ... One or more chunks of binary audio.
      All audio precedes the SIMPLE mark....
  {
    "marks": [
      [
        "SIMPLE", 0.784
      ]
    ]
  }
  ... One or more chunks of binary audio audio can precede
      and follow the SIMPLE mark.
      All audio precedes the EXAMPLE mark....
  {
    "marks": [
      [
        "EXAMPLE", 1.003
      ]
    ]
  }
  ... One or more chunks of binary audio.
      Audio can precede and follow the EXAMPLE mark....
  

• In der zweiten Beispielantwort gehen die Textnachrichten vor den Audionachrichten ein:

  {
    "binary_streams": [
      "content_type": "audio/wav"}
    ]
  }
  {
    "marks": [
      [
        "SIMPLE", 0.784
      ]
    ]
  }
  {
    "marks": [
      [
        "EXAMPLE", 1.003
      ]
    ]
  }
  ... One or more chunks of binary audio....