サービスが単語のタイミングを戻す仕組み

マークまたは単語のタイミング情報を戻すために、サービスは、独立したバイナリー・ストリームとテキスト・ストリームを多重送信して応答を構成します。

• <mark> エレメントごとに、サービスは JSON テキスト・メッセージを返します。 各メッセージには、合成音声の開始時を基点として、マークが出現する正確な時間が示されています。
• すべてのストリングの単語のタイミングを戻す場合は、サービスは JSON テキスト・メッセージを 1 つ以上戻します。 各メッセージには、各単語およびその (合成音声の開始時を基点とした) 開始時間と終了時間を示す配列が含まれています。

サービスから送信されるバイナリー・ストリームとテキスト・ストリームは互いに独立しています。 そのため、サービスから送信する音声チャンクの数や、ユーザーがテキスト・メッセージと音声メッセージを受け取るタイミングをサービスで制御することはほとんどできません。 例えば、音声合成が音声圧縮よりも速い場合は、音声がまったく到着していないのにテキスト・メッセージがすべて到着する可能性があります。

実際問題として、サービスから送信される音声チャンクの数は予測不能です。各テキスト・メッセージの前後に複数の音声チャンクが送信される場合もあります。 また、特定のマークまたは単語のタイミング情報の前と後に出現する音声データが、単一のバイナリー・チャンクに含まれる場合もあります。

ただし、タイミング情報を含むテキスト・メッセージは、必ず、対応する音声を含むバイナリー・チャンクより先に到着します。 さらに、音声メッセージは常に順番に到着するため、バイナリー結果から合成されたテキストの完全で正確な音声を構成することができます。

SSML マークの指定

オプションの SSML<mark> 要素は、合成されるテキストにマーカーを配置する空のタグです。 <mark>要素の前にあるすべてのテキストが合成されると、クライアントに通知されます。

この要素は、マークを一意的に識別するストリングを指定する単一の name 属性を受け入れます。 この名前の先頭は英数字にする必要があります。 サービスは、マークの名前と、合成音声の開始時を基点としてマークが出現する時間を返します。 入力テキストには任意の数のマークを指定できます。

以下の JavaScript コードのスニペットには、hereという名前の<mark>エレメントのインスタンスが含まれています。

function onOpen(evt) {
  var message = {
    text: 'Hello <mark name="here"/> world',
    accept: '*/*'
  };
  websocket.send(JSON.stringify(message));
}

マークの前にあるテキストの合成が終了すると、サービスは、マークの名前とそのマークが音声の中で出現する時間 (秒単位) を示す、テキスト・メッセージを送信します。

{
  "marks": [
    ["here", 0.501]
  ]
}

タイミング情報を含むテキスト・メッセージは、必ず、そのマークの位置を含む音声チャンクより先に到着します。

すべての単語のタイミング情報の要求

要求で JSON オブジェクトのオプションの timings パラメーターをサービスに渡すと、入力テキストのすべてのストリングのタイミング情報が返されます。 この利便性により、入力の単語ごとに SSML の<mark>要素を指定する必要がなくなります。 ストリング words を含む配列を渡して、単語のタイミング情報を要求します。 空の配列を渡したり、パラメーターを省略したりすると、タイミング情報は返されません。

サービスは、個々の<mark>エレメントのタイミング情報を返すのと同じ方法で、WebSocket 接続を介して単語のタイミングを返します。 1 つ以上の JSON テキスト・メッセージを戻します。 各メッセージには、各単語およびその (合成音声の開始時を基点とした) 開始時間と終了時間 (秒単位) を示す配列が含まれています。 例えば、以下の例では単語のタイミング情報を要求しています。

function onOpen(evt) {
  var message = {
    text: 'I have a pet bird.',
    accept: '*/*',
    timings: ['words']
  };
  websocket.send(JSON.stringify(message));
}

応答で、サービスは以下のようなテキスト・メッセージを返します。

{
  "words": [
    [
      "I", 0.0, 0.157
    ],
    [
      "have", 0.157, 0.321
    ],
    [
      "a", 0.321, 0.406
    ]
  ]
}
{
  "words": [
    [
      "pet", 0.406, 0.731
    ],
    [
      "bird.", 0.731, 1.049
    ]
  ]
}

この応答は例にすぎません。 サービスは、入力のタイミング情報を含むテキスト・メッセージを 1 つ以上返すことがあります。 また、入力の単語ごとに別個のテキスト・メッセージを返すこともできます。 さらには、複数のメッセージの間に、バイナリーの音声チャンクの応答を挟む場合もあります。 ただし、単語のタイミング情報を含むテキスト・メッセージ送信は、必ず、その単語を含む音声チャンクより先に到着します。

The coldest recorded temperature is -89.2 degrees Celsius in Antarctica on July 21, 1983!

If it is sunny, I will go to the beach.

マーク要素の例

ここでは、クライアントとサービスの間のシンプルな WebSocket セッションを示す例を紹介します。 これらの例は、接続を開く操作ではなく、データの交換に焦点を当てています。 クライアントは、SIMPLEとEXAMPLEという名前の 2 つの<mark>要素を含むテキスト・メッセージを送信し、音声を WAV 形式で返すように要求します。

{
  "text": "This is a <mark name=\"SIMPLE\"/>simple <mark name=\"EXAMPLE\"/> example.",
  "accept": "audio/wav"
}

まず、サービスは音声フォーマットを確認するメッセージを送信します。 次に、結果と一緒に複数のメッセージを送信します。 サービスからクライアントに送信される音声チャンクの数や、テキスト・メッセージと音声メッセージの送信順序をサービスで保証することはできません。

次に示す両方の応答が考えられます。 どちらの場合も、サービスは、バイナリー・ストリーム中のマークの位置を示すテキスト・メッセージを 2 つ送信します。 ただし、音声を含むバイナリー・メッセージが送信される数は予測不能です。 マークのタイミング情報は、必ず、そのマークの位置を含む音声チャンクより先に到着します。

• *最初の応答例では、以下のようになります。*テキスト・メッセージには、複数の音声メッセージが混在しています。

  {
    "binary_streams": [
      {
        "content_type": "audio/wav"
      }
    ]
  }
  ... One or more chunks of binary audio.
      All audio precedes the SIMPLE mark....
  {
    "marks": [
      [
        "SIMPLE", 0.784
      ]
    ]
  }
  ... One or more chunks of binary audio audio can precede
      and follow the SIMPLE mark.
      All audio precedes the EXAMPLE mark....
  {
    "marks": [
      [
        "EXAMPLE", 1.003
      ]
    ]
  }
  ... One or more chunks of binary audio.
      Audio can precede and follow the EXAMPLE mark....
  

• *2 番目の応答例では、*テキスト・メッセージは、音声メッセージの前に到着します。

  {
    "binary_streams": [
      "content_type": "audio/wav"}
    ]
  }
  {
    "marks": [
      [
        "SIMPLE", 0.784
      ]
    ]
  }
  {
    "marks": [
      [
        "EXAMPLE", 1.003
      ]
    ]
  }
  ... One or more chunks of binary audio....