Cómo devuelve las temporizaciones de palabras el servicio

Para devolver información de temporización de marcas o palabras, el servicio multiplexa secuencias binarias y de texto independientes para generar la respuesta:

• Para cada elemento <mark>, el servicio devuelve un mensaje de texto JSON. Cada mensaje indica el tiempo exacto desde el principio del audio sintetizado en que se produce la marca.
• Para temporizaciones de palabra de todas las series, el servicio devuelve uno o más mensajes de texto JSON. Cada mensaje contiene una matriz de palabras y sus tiempos de inicio y de finalización desde el principio del audio sintetizado.

Las secuencias binarias y de texto que envía el servicio son independientes. Por lo tanto, el servicio tiene poco control sobre el número de fragmentos de audio que entrega y de cuándo el usuario recibe los mensajes de texto y de audio. Por ejemplo, si el audio se sintetiza más rápidamente de lo que se comprime, es posible que todos los mensajes de texto lleguen antes que los de audio.

En términos prácticos, el servicio puede enviar un número arbitrario de fragmentos de audio, incluyendo múltiples fragmentos de audio antes y después de cada mensaje de texto. También es posible que un solo fragmento binario contenga datos de audio antes y después de la información de temporización de una marca o una palabra.

Sin embargo, el mensaje de texto que contiene la información de temporización siempre llega antes que el fragmento binario que contiene el audio correspondiente. Además, los mensajes de audio siempre llegan en orden de forma que pueda construir audio completo y preciso del texto sintetizado a partir de los resultados binarios.

Especificar una marca SSML

El elemento SSML opcional <mark> es una etiqueta vacía que coloca un marcador en el texto a sintetizar. El cliente recibe una notificación cuando se ha sintetizado todo el texto que precede al elemento <mark>.

El elemento acepta solo un atributo name que especifica una serie que identifica de forma exclusiva la marca. El nombre debe empezar por un carácter alfanumérico. El servicio devuelve el nombre junto con el tiempo en que se produce la marca desde el principio del audio sintetizado. Puede incluir cualquier número de marcas en el texto de entrada.

El siguiente fragmento de código JavaScript incluye una instancia del elemento <mark> con el nombre here:

function onOpen(evt) {
  var message = {
    text: 'Hello <mark name="here"/> world',
    accept: '*/*'
  };
  websocket.send(JSON.stringify(message));
}

Cuando termina de sintetizar el texto que precede a la marca, el servicio envía un mensaje de texto que identifica el nombre de la marca y el tiempo en segundos en que aparece la marca en el audio:

{
  "marks": [
    ["here", 0.501]
  ]
}

El mensaje de texto que contiene la información de temporización siempre llega antes que el fragmento de audio que contiene la marca.

Solicitar temporizaciones de palabras para todas las palabras

El parámetro opcional timings del objeto JSON que pasa al servicio en una solicitud devuelve información de temporización de todas las series del texto de entrada. Esta funcionalidad elimina la necesidad de especificar el elemento SSML <mark> para cada palabra de la entrada. Pase una matriz que incluya la serie words para solicitar temporizaciones de palabras. Pase una matriz vacía u omita el parámetro si no desea recibir información de temporización.

El servicio devuelve los intervalos de palabras a través de la conexión WebSocket del mismo modo que devuelve información de temporización para elementos <mark> individuales. Devuelve uno o más mensajes de texto JSON. Cada mensaje contiene una matriz de palabras y sus tiempos de inicio y de finalización en segundos desde el principio del audio sintetizado. Por ejemplo, en el ejemplo siguiente se solicita información de temporización de las palabras:

function onOpen(evt) {
  var message = {
    text: 'I have a pet bird.',
    accept: '*/*',
    timings: ['words']
  };
  websocket.send(JSON.stringify(message));
}

Como respuesta, el servicio puede devolver los mensajes de texto siguientes:

{
  "words": [
    [
      "I", 0.0, 0.157
    ],
    [
      "have", 0.157, 0.321
    ],
    [
      "a", 0.321, 0.406
    ]
  ]
}
{
  "words": [
    [
      "pet", 0.406, 0.731
    ],
    [
      "bird.", 0.731, 1.049
    ]
  ]
}

Esta respuesta es sólo un ejemplo. El servicio puede devolver uno o más mensajes de texto con la información de temporización de la entrada. También puede devolver un mensaje de texto distinto para cada palabra de la entrada. Además, los mensajes pueden ir intercalados con respuestas que contengan fragmentos binarios de audio. Pero el mensaje de texto que contiene la información de temporización de una palabra siempre llega antes que el fragmento de audio que contiene esa palabra.

The coldest recorded temperature is -89.2 degrees Celsius in Antarctica on July 21, 1983!

If it is sunny, I will go to the beach.

Ejemplos con elementos mark

En los ejemplos siguientes se muestra una sesión de WebSocket simple entre un cliente y el servicio. Los ejemplos se centran en el intercambio de datos, no en la apertura de la conexión. El cliente envía un mensaje de texto que incluye dos elementos <mark>, denominados SIMPLE y EXAMPLE, y solicita que se devuelva el audio en formato WAV:

{
  "text": "This is a <mark name=\"SIMPLE\"/>simple <mark name=\"EXAMPLE\"/> example.",
  "accept": "audio/wav"
}

El servicio primero envía un mensaje para confirmar el formato de audio. Después envía varios mensajes con los resultados. El servicio no puede garantizar el número de fragmentos de audio que envía al cliente ni el orden en el que se entregan los mensajes de texto y de audio.

Las dos respuestas siguientes son posibles. En cada caso, el servicio envía dos mensajes de texto que identifican las ubicaciones de las marcas en la secuencia binaria. Pero envía un número arbitrario de mensajes binarios que contienen el audio. La información de temporización de una marca siempre llega antes que el bloque de audio que contiene la ubicación de la marca.

• En la primera respuesta de ejemplo, los mensajes de texto se intercalan con varios mensajes de audio:

  {
    "binary_streams": [
      {
        "content_type": "audio/wav"
      }
    ]
  }
  ... One or more chunks of binary audio.
      All audio precedes the SIMPLE mark....
  {
    "marks": [
      [
        "SIMPLE", 0.784
      ]
    ]
  }
  ... One or more chunks of binary audio audio can precede
      and follow the SIMPLE mark.
      All audio precedes the EXAMPLE mark....
  {
    "marks": [
      [
        "EXAMPLE", 1.003
      ]
    ]
  }
  ... One or more chunks of binary audio.
      Audio can precede and follow the EXAMPLE mark....
  

• En la segunda respuesta de ejemplo, los mensajes de texto llegan antes de ninguno de los mensajes de audio:

  {
    "binary_streams": [
      "content_type": "audio/wav"}
    ]
  }
  {
    "marks": [
      [
        "SIMPLE", 0.784
      ]
    ]
  }
  {
    "marks": [
      [
        "EXAMPLE", 1.003
      ]
    ]
  }
  ... One or more chunks of binary audio....