In che modo il servizio restituisce le temporizzazioni delle parole

Per restituire le informazioni di temporizzazione delle parole o di un contrassegno, il servizio multiplexa flussi di testo e binari indipendenti per costruire la tua risposta:

• Per ogni elemento <mark> il servizio restituisce un messaggio di testo JSON. Ogni messaggio indica il tempo esatto, dall'inizio dell'audio sintetizzato, in cui viene utilizzato il contrassegno.
• Per le temporizzazioni delle parole per tutte le stringhe, il servizio restituisce uno o più messaggi di testo JSON. Ogni messaggio contiene un array di parole e i tempi di inizio e di fine dall'inizio dell'audio sintetizzato.

I flussi di testo e binari che il servizio invia sono indipendenti. Quindi il servizio ha poco controllo sul numero di blocchi audio che consegna e su quando l'utente riceve i messaggi audio e di testo. Ad esempio, se l'audio viene sintetizzato più velocemente di quando viene compresso, tutti i messaggi di testo potrebbero arrivare prima di quelli audio.

In termini pratici, il servizio può inviare un numero arbitrario di blocchi audio, inclusi più blocchi audio prima e dopo ciascun messaggio di testo. È anche possibile che un singolo blocco binario contenga i dati audio che precedono e seguono le informazioni di temporizzazione per un contrassegno o una parola.

Tuttavia, il messaggio di testo che contiene le informazioni di temporizzazione arriva sempre prima del blocco binario che contiene l'audio corrispondente. Inoltre, i messaggi audio arrivano sempre in ordine in modo da poter costruire un audio completo e accurato del testo sintetizzato dai risultati binari.

Specifica di un contrassegno SSML

L'elemento SSML <mark> opzionale è un tag vuoto che pone un marker nel testo da sintetizzare. Il client viene notificato quando tutto il testo che precede l'elemento <mark> è stato sintetizzato.

L'elemento accetta un singolo attributo name che specifica una stringa che identifica in modo univoco il contrassegno. Il nome deve iniziare con un carattere alfanumerico. Il servizio restituisce il nome insieme al tempo in cui si presenta il contrassegno dall'inizio dell'audio sintetizzato. Puoi includere qualsiasi numero di contrassegni nel testo di input.

Il seguente snippet di codice JavaScript include un'istanza dell'elemento <mark> con il nome here:

function onOpen(evt) {
  var message = {
    text: 'Hello <mark name="here"/> world',
    accept: '*/*'
  };
  websocket.send(JSON.stringify(message));
}

Quando finisce di sintetizzare il testo che precede il contrassegno, il servizio invia un messaggio di testo che identifica il nome del contrassegno e il tempo, in secondi, in cui si presenta il contrassegno nell'audio:

{
  "marks": [
    ["here", 0.501]
  ]
}

Il messaggio di testo che contiene le informazioni di temporizzazione arriva sempre prima del blocco audio che contiene la posizione del contrassegno.

Richiesta delle temporizzazioni delle parole per tutte le parole

Il parametro timings facoltativo dell'oggetto JSON che passi al servizio per una richiesta restituisce le informazioni di temporizzazione per tutte le stringhe del testo di input. Questa convenienza elimina la necessità di specificare l'elemento SSML <mark> per ogni parola dell'input. Passa un array che include la stringa words per richiedere le temporizzazioni delle parole. Passa un array vuoto oppure ometti il parametro per non ricevere alcuna informazione di temporizzazione.

Il servizio restituisce i timings sopra la connessione WebSocket nello stesso modo in cui restituisce informazioni di timing per singoli elementi <mark> . Restituisce uno o più messaggi di testo JSON. Ogni messaggio contiene un array di parole e i tempi di inizio e di fine, in secondi, dall'inizio dell'audio sintetizzato. Ad esempio, il seguente esempio richiede le informazioni di temporizzazione delle parole:

function onOpen(evt) {
  var message = {
    text: 'I have a pet bird.',
    accept: '*/*',
    timings: ['words']
  };
  websocket.send(JSON.stringify(message));
}

In risposta, il servizio può restituire i seguenti messaggi di testo:

{
  "words": [
    [
      "I", 0.0, 0.157
    ],
    [
      "have", 0.157, 0.321
    ],
    [
      "a", 0.321, 0.406
    ]
  ]
}
{
  "words": [
    [
      "pet", 0.406, 0.731
    ],
    [
      "bird.", 0.731, 1.049
    ]
  ]
}

La risposta è solo un esempio. Il servizio può restituire uno o più messaggi di testo con le informazioni di temporizzazione per l'input. Può anche restituire un messaggio di testo separato per ogni parola dell'input. Inoltre, i messaggi possono essere intervallati con risposte che contengono i blocchi binari di audio. Tuttavia, il testo del messaggio che contiene le informazioni di temporizzazione per una parola arriva sempre prima del blocco audio che contiene tale parola.

The coldest recorded temperature is -89.2 degrees Celsius in Antarctica on July 21, 1983!

If it is sunny, I will go to the beach.

Esempi di elementi mark

I seguenti esempi mostrano una sessione WebSocket semplice tra un client e il servizio. Gli esempi si concentrano sullo scambio di dati, non sull'apertura della connessione. Il client invia un messaggio di testo che include due elementi <mark> , denominati SIMPLE e EXAMPLEe che richiede l'audio da restituire in formato WAV:

{
  "text": "This is a <mark name=\"SIMPLE\"/>simple <mark name=\"EXAMPLE\"/> example.",
  "accept": "audio/wav"
}

Il servizio invia innanzitutto un messaggio per confermare il formato audio. Poi invia più messaggi con i risultati. Il servizio non può garantire il numero di blocchi audio che invia al client o l'ordine in cui vengono consegnati i messaggi audio e di testo.

Sono possibili entrambe le risposte riportate di seguito. In ogni caso, il servizio invia due messaggi di testo che identificano le posizioni dei contrassegni nel flusso binario. Tuttavia, invia un numero arbitrario di messaggi binari che contengono l'audio. Le informazioni di temporizzazione per un contrassegno arrivano sempre prima del blocco audio che contiene la posizione del contrassegno.

• Nella risposta di primo esempio, i messaggi di testo sono intervallati da più messaggi audio:

  {
    "binary_streams": [
      {
        "content_type": "audio/wav"
      }
    ]
  }
  ... One or more chunks of binary audio.
      All audio precedes the SIMPLE mark....
  {
    "marks": [
      [
        "SIMPLE", 0.784
      ]
    ]
  }
  ... One or more chunks of binary audio audio can precede
      and follow the SIMPLE mark.
      All audio precedes the EXAMPLE mark....
  {
    "marks": [
      [
        "EXAMPLE", 1.003
      ]
    ]
  }
  ... One or more chunks of binary audio.
      Audio can precede and follow the EXAMPLE mark....
  

• Nella risposta di secondo esempio, i messaggi di testo arrivano prima di qualsiasi messaggio audio:

  {
    "binary_streams": [
      "content_type": "audio/wav"}
    ]
  }
  {
    "marks": [
      [
        "SIMPLE", 0.784
      ]
    ]
  }
  {
    "marks": [
      [
        "EXAMPLE", 1.003
      ]
    ]
  }
  ... One or more chunks of binary audio....