Prima di iniziare

Trova o crea una raccolta con documenti che hanno diversi esempi di frasi di cui vuoi che Discovery ne venga a conoscenza. Per insegnare il classificatore di frasi, devi etichettare gli esempi di classi di frasi. È possibile etichettare gli esempi solo se la raccolta contiene esempi validi. Provare a trovare i documenti che hanno molte e diverse frasi che funzionano come esempi di ogni classe di frase che si desidera definire.

Aggiunta di un classificatore di frasi

Per aggiungere un classificatore di frasi, completare i seguenti passaggi:

1. Apri il progetto in cui vuoi creare il classificatore della frase.

   Il progetto deve avere almeno una raccolta con documenti rappresentativi dei dati che si desidera classificare.

2. Dal pannello Strumenti di miglioramento della pagina Migliora e personalizza, espandi Teach domain concepts e fai quindi clic su Sentence classifiers.

3. Fai clic su New.

4. Aggiungere un nome classificatore di frase e facoltativamente una descrizione.

   Questo nome viene utilizzato come nome del modello e come nome dell'arricchimento creato quando si pubblica il modello. Il nome viene visualizzato come il nome dell'arricchimento nella pagina Enrichments in cui tu e altri potete applicarlo alle raccolte. Viene visualizzato anche come il nome del modello nella rappresentazione JSON dei documenti in cui vengono trovate le classi di frase. Il nome viene memorizzato con le maiuscole e le spaziature specificate.

5. Scegliere una raccolta con documenti rappresentativi dei dati che si desidera classificare.

6. Scegliere i campi dal documento da mostrare nella vista del documento in cui etichettare i documenti dalla raccolta.

   • Titolo documento viene visualizzato nell'intestazione della pagina come nome del documento. Scegliere un campo che abbia un valore univoco per documento, ad esempio il nome file, memorizzato nel campo extracted_metadata.filename.
   • Il corpo del documento è il punto in cui si etichettano gli esempi di frase nel contenuto. Scegliere un campo che contenga la maggior parte del contenuto del documento, ad esempio il campo text.

7. Fai clic su Crea.

Un documento della raccolta selezionata viene visualizzato nella vista Documenti etichetta. Etichetterai le ricorrenze delle classi di frase che vuoi che Discovery riconosca da questo e altri documenti nella raccolta.

Se non viene visualizzato alcun testo nel corpo della pagina, inizia ora creando un nuovo classificatore di frase. Questa volta, quando si seleziona un valore per il campo Corpo del documento, accertarsi di scegliere un campo dai documenti elaborati che contiene testo.

Definizione delle classi di frase

Definire le classi di frase completando la seguente procedura:

1. Fare clic su Aggiungi una classe di frase.

2. Aggiungere il nome della classe della frase e una descrizione facoltativa.

3. Facoltativo: selezionare il colore da utilizzare per la classe della frase nel documento.

   È possibile fare clic su un colore dalla tavolozza Colore etichetta, fare clic sull'icona Rinnova colore per passare da un colore all'altro. Per utilizzare un colore personalizzato, specificarne il codice colore esadecimale (#fff0f7).

4. Fai clic su Crea.

5. Ripetere questo processo per aggiungere tutte le classi di frase che si desidera classificare dal classificatore.

   Se non si è sicuri di cosa aggiungere per le classi di frase, potrebbe essere utile esaminare prima i documenti nella raccolta. Esaminando il contenuto, è possibile visualizzare quali frasi hanno un significato significativo e cercare modi logici per classificare tali frasi.

Etichettatura delle frasi

Dalla vista Label documents, trova le frasi nei documenti dalla tua raccolta ed etichettale per indicare le loro classi di frase. Mentre stai etichettando, il classificatore della frase addestra automaticamente un modello in background per presentare i suggerimenti di etichettatura.

I suggerimenti di etichettatura accelerano il processo di etichettatura dei documenti. Invece di passare attraverso i documenti e passare del tempo a leggere il testo, i suggerimenti di etichettatura consentono di trovare facilmente gli esempi pertinenti ed esaminarli nel contesto.

È possibile etichettare le frasi nei seguenti modi:

• Etichettatura manuale. Per ulteriori informazioni, consultare Etichettatura manuale.
• Trova - in - document labeling. Per ulteriori informazioni, consultare Trova - in - document labeling.
• Etichettatura intelligente. Per ulteriori informazioni, consultare Etichettatura intelligente.

A differenza del programma di estrazione entità, non esiste alcun concetto di stato del documento come Non avviato, In corsoe Completo per il classificatore della frase. Nel caso dell'estrattore entità, contrassegnare i documenti come Completo per indicare che sono utilizzati per l'addestramento. Nel caso del classificatore di frasi, solo le frasi etichettate vengono utilizzate per l'addestramento e i dati senza etichetta in ogni documento vengono ignorati.

Aggiunta di documenti ai dati di formazione

Per aggiungere altri documenti, completare i passaggi seguenti:

1. Passare alla vista Documenti etichetta.
2. Nel pannello Elenco documenti, fare clic su Aggiungi documenti.

Questa opzione non è disponibile quando non ci sono altri documenti nella raccolta da aggiungere allo spazio di lavoro classificatore della frase. Per aggiungere ulteriori documenti alla raccolta, passare alla pagina Attività per la raccolta, quindi fare clic sul riquadro Carica dati per sfogliare e aggiungere ulteriori documenti.

Anche se si aggiungono più documenti da una raccolta, tutti i documenti possono essere utilizzati o meno per l'addestramento del modello. A differenza dell'estrattore di entità in cui tutti i documenti completati vengono utilizzati per la formazione, il classificatore di frasi utilizza solo frasi etichettate per la formazione e i dati non etichettati vengono ignorati.

Non è possibile scegliere i documenti dalla raccolta da mostrare nel pannello Elenco documenti per l'etichettatura. Se sono presenti tipi specifici di documenti che si desidera etichettare, considerare la creazione di una nuova raccolta che contenga solo tali documenti.

Addestramento del classificatore

Dopo aver etichettato i documenti, puoi esaminare i dati di formazione nella vista Classificatore di addestramento. I dati di addestramento vengono utilizzati per addestrare il modello classificatore della frase.

Per preparare il classificatore, completa la seguente procedura:

1. Passa alla vista Classificatore di treni.

2. Controlla il tuo riepilogo di etichettatura per controllare se hai etichettato abbastanza per addestrare il classificatore.

   Per formare il classificatore, ogni classe di frase deve avere un minimo di 20 etichette positive e due etichette negative. In caso contrario, il pulsante Classificatore di addestramento è disabilitato e non puoi avviare la formazione. Le classi di frasi che non hanno etichette positive o negative vengono ignorate.

3. Verificare se si desidera applicare le opzioni avanzate per la formazione. La maggior parte dei modelli non richiede modifiche alle opzioni avanzate.

   Le frasi vengono suddivise casualmente in insiemi. La serie di addestramento viene utilizzata per preparare il classificatore. Il set di test viene utilizzato per verificare il modello dopo che è stato addestrato. Il set di ciechi ha frasi riservate che non vedi durante l'allenamento. Vengono utilizzati per generare periodicamente una valutazione imparziale del modello. La suddivisione predefinita utilizza il rapporto standard per l'addestramento. Per ulteriori informazioni, vedi Serie di documenti per la formazione.

4. Fai clic su Train classifier.

   Quando esegui il training del classificatore, Discovery utilizza le frasi della serie di addestramento per creare un modello di machine learning. I risultati del test vengono visualizzati per la revisione nella vista Valuta classificatore.

Valutazione del classificatore

Per esaminare le metriche dall'esecuzione di test del modello di classificatore della frase che hai creato, fai clic sulla scheda Valuta classificatore.

La tabella seguente descrive le metriche di valutazione disponibili.

1. Esaminare le metriche fornite sull'esecuzione del test del modello classificatore per determinare se è necessaria ulteriore formazione.

2. Esplorare i risultati del test in modo più dettagliato facendo clic su Esaminare i risultati della formazione nella serie di test.

   

   di test*

   Le frasi della serie di test vengono visualizzate con le etichette effettive e previste mostrate nell'elenco nel riquadro a sinistra. Se si fa clic su una frase nell'elenco, viene visualizzata nella vista del documento nel riquadro di destra.

   • Le etichette effettive sono gli esempi che una persona ha etichettato manualmente. Essi sono considerati come le etichette corrette.
   • Le etichette previste sono gli esempi che il classificatore di frasi ha identificato ed etichettato come classi di frasi.

   Le prestazioni del modello vengono valutate in base alla corrispondenza tra le etichette previste e quelle effettive.

3. Per filtrare l'elenco, fare clic sull'icona Filtro e scegliere Classe di frase e Previsione, quindi fare clic su Applica.

Revisione dei risultati dell'addestramento dalla suddivisione delle prestazioni

Per esaminare i risultati della formazione dalla suddivisione delle prestazioni, completare la seguente procedura:

1. Fare clic su un numero nella tabella Suddivisione delle prestazioni per classe di frase.

   Viene visualizzata la casella di dialogo Esaminare i risultati dell'addestramento.

2. Esaminare le frasi pertinenti, che si basano sul numero selezionato.

Pubblicazione del classificatore della frase come arricchimento

Quando pensi che il classificatore di frasi sia pronto, pubblica il modello di classificatore di frasi. È possibile considerare che il modello è pronto quando il punteggio non cambia dopo diverse esecuzioni di test in cui si aprono miglioramenti. Puoi tornare per aggiornare e riaddestrare il modello dopo averlo pubblicato.

Per pubblicare un classificatore di frasi, completare i seguenti passaggi:

1. Passare alla vista Valuta classificatore e fare clic su Pubblica classificatore.
2. Fai clic su Publish.
3. Fare clic su Applica ai dati.
4. Scegliere una raccolta e quindi selezionare il campo di testo in cui si desidera applicare l'arricchimento del classificatore della frase.
5. Fai clic su Apply.

Download del modello del classificatore di frasi

Un modello di classificatore di frasi che crei e distribuisci in un progetto è disponibile come un arricchimento che può essere applicato a una raccolta da qualsiasi progetto nella stessa istanza del servizio.

Se vuoi utilizzare il modello di classificatore della frase in un progetto da un'altra istanza del servizio, puoi esportare o scaricare il modello di classificatore della frase. Per utilizzarlo altrove, attenersi alla procedura per creare un modello di machine learning in Utilizza modelli ML importati per trovare termini personalizzati. Non è possibile continuare a modificare un classificatore di frasi che si importa in un altro progetto.

Il classificatore della frase che vuoi esportare deve avere una formazione completa.

Per esportare un classificatore di frasi, completa la seguente procedura:

1. Apri il progetto con il classificatore della frase che vuoi esportare.

2. Dal pannello Strumenti di miglioramento della pagina Migliora e personalizza, espandi Teach domain conceptse fai quindi clic su Sentence classifiers.

3. Dall'elenco Classificatori di frasi, trova il classificatore di frasi che vuoi esportare.

4. Fai clic su Azioni per il tuo classificatore e seleziona quindi Scarica modello per salvare il modello nel tuo sistema.

   L'opzione Scarica modello non è disponibile a meno che il modello non venga addestrato.

Il modello classificatore della frase viene salvato come file .sc. Puoi importarlo in un progetto in un'altra istanza del servizio come modello di machine learning e quindi applicarlo alle tue raccolte.

Download dei dati etichettati per un classificatore di frasi

Puoi scaricare o esportare i dati etichettati per un classificatore di frasi da Discovery. Puoi utilizzare i dati con etichetta esportati per la formazione o la creazione di modelli di linguaggio di grandi dimensioni (LLM) su un servizio come Watson Studio e NLP (Natural Language Processing).

Per esportare i dati etichettati, completare i seguenti passaggi:

1. Dal pannello Strumenti di miglioramento della pagina Migliora e personalizza, espandi Teach domain conceptse fai quindi clic su Sentence classifiers.

2. Per il classificatore della frase da cui si desidera esportare i dati con etichetta, fare clic sull'icona Azioni e selezionare Scarica dati con etichetta.

   Un file compresso viene scaricato con dati etichettati. Il file compresso contiene i seguenti file JSON.

   • labeled_data.json: include il testo e le etichette. Il formato dei dati è basato sul formato dei dati di input per la classificazione del testo in Watson Natural Language Processing. Per ulteriori informazioni, vedere Formato dati di input.
   • metadata.json: include i metadati per lo spazio di lavoro e i dati etichettati.

$ cat labeled_data.json | jq -r '.[] | [.text, .labels[]] | @csv'

    "sentence1", class-label1, class-label2
    "sentence2", class-label3
    "sentence3", ...
    ...

Applicazione di un arricchimento classificatore di frase

Quando si pubblica il classificatore di frasi, si specifica il campo in cui si desidera applicare il classificatore di frasi.

Per applicare l'arricchimento a uno o più campi in un secondo momento, completare i passaggi seguenti:

1. Nel pannello di navigazione, fare clic su Gestisci raccolte.

2. Fare clic per aprire la raccolta in cui si desidera applicare l'arricchimento.

3. Fare clic su Arricchimento.

4. Trova il nome classificatore della frase nell'elenco e scegli un campo a cui applicare l'arricchimento.

   È possibile scegliere un campo che contiene testo o html.

5. Fai clic su Apply changes and reprocess.

Per ulteriori informazioni su come applicare un arricchimento del classificatore di frasi a una raccolta, vedi Gestione degli arricchimenti

To retain the score information for more than the most recent 5 training runs, you can export the metrics in comma-separated value format, and track the scores in a separate application. Click the tabular representation icon ![Tabular representation icon](images/table-of-contents.svg), and then click **Download as CSV**.
{: tip}

Eliminazione di un classificatore di frasi

Puoi eliminare un classificatore di frasi se non è in uso, come quando l'arricchimento pubblicato dal classificatore di frasi non è applicato a una raccolta.

Potresti voler eliminare un classificatore di frasi se raggiungi il limite per il numero massimo di classificatori di frasi consentiti, ad esempio, per il tuo piano.

Esistono due diversi limiti, il numero massimo di spazi di lavoro del classificatore di frasi e il numero massimo di arricchimenti del classificatore di frasi. Crei uno spazio di lavoro del classificatore di frasi quando vai al pannello Improvement tools, espandi Teach domain concepts, fai clic su Sentence classifiers e fai quindi clic sul pulsante New. Crei un arricchimento del classificatore di frase quando pubblichi il tuo classificatore di frase addestrato o carichi un modello di classificatore di frase. Per informazioni sui limiti, vedi Limiti classificatore di frase.

Ricorda, i limiti sono definiti per istanza del servizio, non per progetto. Se non hai il numero massimo di classificatori di frasi nel progetto corrente, ma non puoi creare nuovi spazi di lavoro del classificatore di frasi o pubblicare il tuo classificatore di frasi preparato, controlla altri progetti nella stessa istanza del servizio. Potrebbero esserci degli spazi di lavoro o degli arricchimenti del classificatore di frasi che non vengono utilizzati in altri progetti che possono essere eliminati.

Utilizzo delle API per il classificatore di frasi

L'API classificatore di frasi è una funzionalità beta.

Puoi usare le API per applicare l'arricchimento del classificatore della frase ai documenti. Utilizzando le API, puoi creare un arricchimento del classificatore della frase e gestire anche l'arricchimento come l'aggiornamento e l'eliminazione.

Per utilizzare le API del classificatore di frasi, procedere come segue:

1. Crea un arricchimento del classificatore di frasi utilizzando il metodo create an enrichment nell'API.

   Per ulteriori informazioni sulla creazione dell'arricchimento, vedi Crea un arricchimento nella guida di riferimento API.

   Devi specificare i dati etichettati per addestrare il modello del classificatore di frasi quando crei l'arricchimento del classificatore di frasi. I dati etichettati devono essere nel formato CSV seguente:

   "sentence1", class-label1, class-label2
   "sentence2", class-label3
   "sentence3", ...
   ...
   

   Ogni riga è una frase seguita da un elenco separato da virgole di zero o più etichette di classe di frase associate alla frase.

   Come migliore pratica, ogni etichetta di classe di frase nel file CSV dovrebbe essere rappresentata da almeno 100 frasi per ottenere una classificazione della frase di qualità ragionevole. Le frasi associate a un'etichetta di classe di frase vengono considerate come esempi positivi di tale classe di frase. Le frasi che non sono associate a un'etichetta di classe di frase sono considerate come esempi negativi di tale classe di frase.

   Dopo che l'arricchimento del classificatore di frasi è stato correttamente creato, passa alla pagina Manage collections, scegli la raccolta e apri la scheda Enrichments. Puoi trovare l'arricchimento del classificatore della frase nell'elenco degli arricchimenti disponibili.

   Dopo che l'arricchimento del classificatore della frase Status è pronto, puoi applicare l'arricchimento del classificatore della frase ai documenti della tua raccolta.

2. Applica l'arricchimento del classificatore di frasi che hai creato ai campi (testo o html) nei documenti per classificare le frasi. Per ulteriori informazioni sull'applicazione di un arricchimento e sulla gestione dell'arricchimento utilizzando le API, vedi Utilizzo dell'API per gestire gli arricchimenti.

Limiti classificatore frase

Il numero di classificatori di frase che puoi creare per istanza del servizio dipende dal tuo tipo di piano Discovery.