Quando utilizzare la formazione di rilevanza

L'addestramento della pertinenza è facoltativo. Verificare la qualità dei propri risultati di ricerca. Se i risultati delle interrogazioni soddisfano le vostre esigenze, non è necessaria un'ulteriore formazione.

Il training migliora la rilevanza dei documenti restituiti nelle risposte della query. Non migliora i passaggi o le risposte che vengono restituite per documento. Se stai utilizzando il recupero del passaggio e i risultati del test stanno restituendo buoni documenti, ma i passaggi errati dai documenti, l'addestramento della pertinenza non sarà di aiuto.

Per ulteriori informazioni su quando utilizzare la formazione di rilevanza, leggi il post del blog Relevancy training for time sensitive users su Medium.

Modalità di gestione dei campi

Quando si addestra un progetto dall'interfaccia utente del prodotto, i risultati vengono sempre presi dal campo text dei documenti. Se i tuoi documenti non hanno un campo text, utilizza invece l'API per preparare il tuo progetto. I tuoi documenti potrebbero non avere un campo text se hai caricato un file CSV che non ha una colonna denominata text, o hai caricato un file JSON che non ha un oggetto denominato text, o se hai utilizzato lo strumento Smart Document Understanding per definire i campi con altri nomi in cui ora è archiviata la maggior parte del contenuto dei tuoi documenti.

Quando si addestra un progetto dall'API, i risultati vengono presi da tutti i campi di livello root e sono tutti considerati di uguale importanza. A differenza delle query Discovery Query Language, con le query in linguaggio naturale non è possibile specificare quali campi del documento si desidera assegnare a ciascuno di essi. Quando insegni il rilevamento con esempi, il servizio indica il peso da attribuire a ogni campo.

Il rilevamento crea un modello che assegna pesi differenti alle corrispondenze di termini, bigrammi e skip - gram per ciascuno dei campi di livello root e li bilancia rispetto alle corrispondenze di tutti gli altri campi del documento. Con un numero sufficiente di esempi, Discovery può restituire risposte migliori perché sa dove vengono memorizzate le risposte migliori.

L'addestramento della pertinenza non può essere utilizzato per dare più peso ai campi nidificati. I campi nidificati vengono raggruppati e viene assegnato un punteggio complessivo. Non importa quanto ti alleni, Discovery non dà mai a un campo nidificato un peso maggiore di quello che dà a un campo di livello root. Per ulteriori informazioni sui campi nidificati, vedi le FAQ.

Formazione di un progetto

I dati di addestramento utilizzati per addestrare il modello di rilevanza includono queste parti:

• Una query in linguaggio naturale che rappresenta una query che i tuoi utenti potrebbero inoltrare
• I risultati della query restituiti dal servizio
• La valutazione che si applica al risultato che indica se il risultato è relevant o not relevant

Per applicare la formazione di rilevanza a un progetto, completa la seguente procedura:

1. Andare alla pagina Migliora e personalizza. Nel pannello Improvement tools, seleziona Improve relevance e quindi Relevancy training.

2. Immettere una query in linguaggio naturale nel campo Immettere una domanda da addestrare.

   Non includere un punto interrogativo nella tua query. Utilizzare la stessa formulazione dei propri utenti. Ad esempio, IBM Watson in healthcare. Scrivere query che includono alcuni dei termini menzionati nella risposta di destinazione. La sovrapposizione dei termini migliora i risultati iniziali quando viene valutata la query del linguaggio naturale.

3. Fare clic su Aggiungi+.

4. Fare clic su Valuta risultati.

5. Una volta visualizzati i risultati, valutare ciascun risultato, quindi selezionare Pertinente o Non pertinente, a seconda dell'opzione che si applica in base alla qualità del risultato.

   Nell'IU Discovery, quando contrassegni un documento come Pertinente, il servizio applica un punteggio di rilevanza di 10 al risultato e un punteggio 0 quando lo contrassegni come Non pertinente. I soli due valori di punteggio che puoi assegnare quando applichi la formazione di rilevanza tramite la IU Discovery sono 0 e 10.

   Nell'API Discovery, puoi assegnare i valori del punteggio di rilevanza tra 0 e ogni numero intero compreso tra 100. Nello stesso progetto, non puoi combinare esempi di formazione creati nella IU Discovery (punteggi di 0 e 10) con esempi creati che utilizzano livelli di punteggio di affidabilità diversi da 0 e 10. Se utilizzi una scala di punteggi personalizzata tramite l'API, devi continuare ad applicare tutta la tua formazione tramite l'API. Non puoi modificare gli esempi di addestramento che vengono applicati tramite l'API nella IU Discovery a meno che non utilizzino solo i due punteggi di 0 e 10.

   Se il risultato mostra il messaggio "Nessuna anteprima del contenuto disponibile per questo documento", significa che il documento restituito non contiene un campo text o che il relativo campo text è vuoto. Se nessuno dei documenti nella tua raccolta ha un campo text, utilizza l'API per addestrare il progetto invece di addestrarlo dall'interfaccia utente del prodotto.

6. Al termine, fare clic su Torna alle query.

7. Continua ad aggiungere query e a valutarle.

   Quando si valutano i risultati, viene visualizzato il progresso. Controllare l'avanzamento per verificare quando sono disponibili informazioni di valutazione sufficienti per soddisfare le necessità della soglia di formazione. L'avanzamento è suddiviso nelle seguenti attività:

   • Aggiungi ulteriori query
   • Valuta ulteriori risultati
   • Aggiungi più varietà alle tue valutazioni

   È necessario valutare almeno 50 query univoche, forse più, a seconda della complessità dei dati. Non è possibile aggiungere più di 10.000 query di addestramento.

8. È possibile continuare ad aggiungere query e a valutare i risultati dopo aver raggiunto la soglia. Immettere tutte le query che si pensa verranno richieste dagli utenti.

   Per eliminare una query di addestramento, fare clic su Elimina. Per eliminare tutte le query di formazione nella raccolta in una sola volta, utilizza l'API. Per ulteriori informazioni, vedere Eliminazione delle query di formazione.

Se due o più utenti tentano di addestrare query identiche contemporaneamente, le valutazioni inoltrate da uno degli utenti sovrascrivono le altre.

Verifica e iterazione sulla pertinenza dei risultati

Una volta terminata la valutazione dei risultati e completata la formazione, verificare se i risultati della query sono migliori. A tal fine, è necessario eseguire query di prova in linguaggio naturale che siano correlate (ma non identiche) alle query di addestramento. Controlla i risultati.

Se si desidera continuare a migliorare i risultati dopo il test, è possibile:

• Aggiungere altri documenti alla tua raccolta.
• Aggiungere altre query di addestramento.
• Valutare più risultati, assicurandoti di utilizzare entrambe le valutazioni Relevant e Not relevant.

Punteggi di affidabilità

Discovery restituisce un punteggio confidence per le query in linguaggio naturale delle raccolte addestrate. Questo punteggio confidence non è intercambiabile con i punteggi confidence restituiti da raccolte non addestrate.

Il punteggio confidence può andare a 0.0 a 1.0. Più alto è il numero e più è pertinente il risultato.

Il punteggio di affidabilità (confidence) può essere trovato nei risultati della query, sotto i metadati dei risultati (result_metadata) per ciascun documento. Questo numero viene calcolato in base al grado di pertinenza stimato del risultato rispetto al modello addestrato.

{
  "matching_results": 4,
  "retrieval_details": {
    "document_retrieval_strategy": "trained"
  },
  "results": [
    {
	  "id": "eea16dfd5fe6139a25324e7481a32f89_13",
	  "result_metadata": {
	    "confidence": 0.08793
	  }
    }
  ]
}

La document_retrieval_strategy può essere trovata in retrieval_details. Se si interroga una raccolta addestrata utilizzando il linguaggio di interrogazione Discovery o se il modello addestrato è temporaneamente disabilitato, il modello document_retrieval_strategy è untrained.

Per ulteriori informazioni sulla query di un progetto, consultare la Panoramica query.

Limiti di addestramento della pertinenza

I seguenti limiti si applicano ai modelli di addestramento della rilevanza:

• Un modello per progetto
• 10.000 query per modello
• 40 modelli per istanza del servizio per piani Enterprise e Premium; 20 modelli per istanze del piano Plus

Esecuzione di sessioni di addestramento ottimali

Il seguente esempio descrive come eseguire in maniera ottimale le sessioni per la formazione della rilevanza nei progetti.

Tieni presente che hai aggiunto 100 query di formazione a un nuovo progetto e Discovery esegue 100 query in una sessione di formazione per creare un modello ranker. Successivamente, se aggiungi altre 20 query, il modello inizia a rieseguire l'addestramento e Discovery esegue un totale di 120 query. Tuttavia, per aggiungere le ultime 20 query, se aggiungi prima 10 query, attendi circa un'ora e poi aggiungi le successive 10 query, Discovery addestra il modello due volte. In questo caso, la prima sessione di addestramento esegue 110 query e la seconda sessione di addestramento esegue 120 query. Questo modo di aggiungere le query, intervallate da intervalli di tempo, determina un aumento del numero di sessioni di formazione e di query totali eseguite da Discovery.

Invece, per ridurre il numero di sessioni di formazione, puoi utilizzare l'API Aggiorna una query di addestramento. Il metodo API aggiorna i dati di addestramento per più raccolte in un progetto alla volta. Per ulteriori informazioni, vedi Aggiorna una query di formazione nella guida di riferimento API.

Per ridurre il carico di elaborazione su Discovery, devi creare o aggiornare un modello ranker tramite la formazione della pertinenza dopo che tutte le raccolte in un progetto hanno completato l'elaborazione dei documenti. Inoltre, durante il processo di addestramento del modello ranker, è necessario disporre di attività di query basse in modo che il limite di richieste simultanee non superi.

Altri modi per migliorare la rilevanza

Se preferisci utilizzare l'API Discovery per addestrare Discovery, vedi la Guida di riferimento API.

Puoi anche utilizzare l'API per aggiungere le curazioni. Curations è una funzione beta che puoi utilizzare per insegnare Discovery a restituire un documento specifico ogni volta che viene inoltrata una determinata query. Per ulteriori informazioni, vedi Curations.

L'aggiunta di un elenco di parole non significative personalizzato può anche migliorare la pertinenza dei risultati per le query in linguaggio naturale. Per ulteriori informazioni, vedi Identificazione delle parole da ignorare.

Informazioni sulla formazione della pertinenza

Risposte alle domande più comuni sulla formazione di un progetto.

Interpretazione degli errori e delle avvertenze di addestramento della rilevanza

Il seguente elenco contiene spiegazioni per alcuni messaggi di errore e di avvertenza comuni.