Descrizione delle correzioni

• Aggiungi dizionari

  Un dizionario contiene i formati di superficie di esempio di un tipo di entità fornito. Potresti dover aggiungere un nuovo dizionario o ulteriori entità a un dizionario esistente se le statistiche di preparazione mostrano che quelle annotazioni del tipo si verificano poco frequentemente nei dati di preparazione. Se sai che quel tipo di entità è la chiave al dominio e che si verifica spesso, l'omissione potrebbe indicare che i formati di superficie associati al tipo che sono presenti nei dati di preparazione non stanno venendo riconosciuti dal modello di machine learning. Fornendo più esempi del formato di superficie puoi risolvere questo problema.

• Modifica serie di documenti

  Assicurati di avere abbastanza dati di preparazione generali. Per imparare, un modello di machine learning ha bisogno di abbastanza contenuto. Mira a fornire circa 300.000 parole. (Puoi eseguire uno strumento di conteggio delle parole sui tuoi documenti di origine per controllare la quantità). Se la tua serie di preparazione è troppo piccola, aggiungi documenti al corpus. Non basta avere una manciata di documenti che preparano ogni relazione o tipo di entità importante; vuoi molti documenti che illustrano come vengono utilizzati questi tipi nella letteratura tipica del dominio.

  • Assicurati che l'assortimento di documenti utilizzato per il test e la preparazione sia simile. Ad esempio, non utilizzare i documenti da un'origine dati per la serie di dati di test e i documenti da un'altra per la serie di dati di preparazione. Origini dati differenti potrebbero rappresentare le informazioni sul tipo di entità e relazione in modi completamente diversi. È meglio utilizzare una combinazione di documenti da tutte le origini dati in entrambe le serie di dati per ottenere la serie più completa di esempi di utilizzo disponibili dalla letteratura del settore. Se i punteggi delle prestazioni generali per un'esecuzione del test differiscono notevolmente dall'esecuzione della preparazione, potrebbe essere a causa delle inconsistenze nelle serie di dati utilizzate per ognuna.
  • Non perdere tempo con i documenti formattati in modo errato. I documenti di testo che aggiungi al corpus devono essere nel formato UTF-8. Se il tuo documento è stato convertito da altri formati per l'utilizzo della codifica UTF-8, potresti vedere segni diacritici e altri problemi con la normalizzazione del carattere. Questa formattazione non corretta può causare una rappresentazione token non accurata. Se i token della parola utilizzati per rappresentare una citazione sono diversi tra i documenti, si indebolisce l'esempio e ha un impatto negativo sul machine learning.

• Aggiungi documenti specifici per tipo

  Se hai una percentuale bassa di documenti che contengono un certo tipo, potrebbe voler dire che il tuo corpus non è completamente rappresentativo. Il modello di machine learning ha bisogno di molti esempi da cui imparare. L'aggiunta di ulteriori documenti al corpus potrebbe aiutare. Se il tuo sistema tipo e i tuoi documenti sono davvero rappresentativi di un dominio, dovresti aspettarti di vedere che ogni documento scelto a caso contiene una sottoserie di tipi accettabili. Anche se non è vero in tutti i casi, questa situazione è un segnale di investigare sul tuo sistema tipo e sulla qualità dei documenti nel corpus. Potresti dover trovare ulteriori documenti del dominio che preparano meglio i tipi che stanno venendo eseguiti. Se il richiamo è basso, è spesso un'indicazione che hai bisogno di ulteriori documenti.

• Annota ulteriore corpus

  Se il modello di machine learning sta avendo problemi a trovare istanze di un certo tipo, potrebbe essere perché il ground truth non contiene abbastanza esempi di utilizzo del tipo. Gli annotatori umani possono a volte essere meticolosi nell'etichettatura delle citazioni del tipo di entità, ma meno diligenti sull'annotazione dei tipi di relazione e delle coreferenze. Per ogni tipo chiave che ha una percentuale bassa di densità del corpus, potresti volerti concentrare sul trovare ulteriori annotazioni di quei tipi nei documenti di origine. Ma, non ti preoccupare troppo sull'accuratezza della relazione e della coreferenza se l'accuratezza della citazione è carente. Le citazioni di relazione tra le entità e le coreferenze di entità non possono essere accurate a meno che non siano accurate le citazioni dell'entità di partenza.

• Correggi annotazioni umane

  Controlla di vedere se i tuoi dati di preparazione sono annotati completamente e in modo coerente. Un modello di machine learning impara dalle tue annotazioni ground truth. Ad esempio, se una frase contiene Obama family e etichetti "Obama" come PERSON in una frase e "Obama family" come PEOPLE in un'altra, l'inconsistenza comporta che il modello di machine learning non può imparare l'annotazione corretta. Allo stesso modo, se etichetti "Obama" come PERSON in una frase ma non il suo nome in tutte le altre frasi, il lavoro di annotazione non è completo e il modello di machine learning sarà preparato in modo non corretto. A questo tipo di incongruenza ed etichettamento parziale viene a volte fatto riferimento come a confusione del tipo. In molti casi, solo l'avere più annotatori umani che controllano una serie di documenti di sovrapposizione farà emergere le ricorrenze di errori correlati alla confusione del tipo. Fai attenzione ai problemi che emergono durante la risoluzione dei conflitti del documento perché possono fornire informazioni dettagliate di problemi più complessi con il sistema tipo stesso. Se non possibile rifinire o migliorare ulteriormente il sistema tipo, potrebbe essere necessario aggiornare le linee guida di annotazione e includere gli esempi. Puoi fornire le descrizioni degli errori comuni e di come annotare le citazioni correttamente in una determinata serie di circostanze.

  Un altro indicatore di incongruenza dell'annotazione è se hai abbastanza annotazioni ma la densità del corpus è bassa. La densità può essere influenzata quando una citazione importante nella letteratura del dominio si verifica spesso, ma viene annotata come tipi diversi in più serie di documenti.

  La precisione bassa è spesso un'indicazione che hai bisogno di migliorare la coerenza dell'annotazione. Per far ciò, controlla le linee guida di annotazione, prepara meglio gli annotatori umani e assicurati che stiano lavorando insieme e non in modo isolato.

  Controlla il punteggio dell'accordo tra annotatori. Questo punteggio, che misura il grado di accordo tra l'output di annotatori diversi nello stesso documento, è un numero importante. Questo punteggio non solo ti dice la qualità dei documenti ground truth che saranno utilizzati per preparare il modello di machine learning, ma ti indica anche il limite superiore delle prestazioni del modello di machine learning. Un modello che viene preparato con questi documenti è improbabile che superi il miglior accordo che gli esseri umani possono raggiungere. Ad esempio, se le prestazioni rimangono al 75 e non vanno oltre, dai un'occhiata ai risultati dell'accordo tra annotatori. Se il punteggio dell'accordo tra annotatori è 80, effettua delle azioni per preparare meglio gli annotatori umani e assicurati che i conflitti vengano correttamente risolti (in base alle linee guida di annotazione) durante il giudizio. Se gli umani non sono d'accordo su come dovrebbe essere etichettato qualcosa, è improbabile che un modello di machine learning applicherà le etichette corrette.

• Migliora le linee guida dell'annotatore umano

  Le linee guida complete e chiare sono una parte cruciale di un lavoro di sviluppo dell'annotazione corretto e in accordo. Gli annotatori umani hanno un duro lavoro da fare. Ci possono essere sfumature sull'assegnazione di tipi di entità e relazione che sono difficili da anticipare prima di iniziare a lavorare con i documenti del dominio. Le linee guida possono fornire un controllo di conformità per gli annotatori umani quando valutano i documenti. Le linee guida dovrebbero essere un documento in continua modifica e vivo, specialmente all'inizio del processo di annotazione. Forniscono un loop di feedback chiave perché un annotatore umano può acquisire cose imparate durante l'annotazione di alcuni documenti, poi lui o qualcun altro annota alcuni altri documenti, nuovi suggerimenti possono essere aggiunti alla linea guida e così via. Assicurati di includere gli esempi di decisioni difficili e le rispettive risoluzioni preferite. Il modo migliore per determinare cosa devi aggiungere alle linee guida è di controllare attentamente i conflitti del documento. Gli esempi reali di annotazioni per cui persone reali non sono d'accordo e su come sono stati risolti possono essere di grande aiuto agli annotatori umani che affrontano l'annotazione di nuovi documenti.

• Aggiorna sistema tipo

  Potresti dover aggiornare il sistema tipo per questi motivi:

  • I documenti che comprendono i dati di preparazione che hanno riferimenti a concetti che sono tipi importanti nel dominio ma non sono rappresentati ovunque nel sistema tipo. Questo suggerisce che potresti aver bisogno di aggiungere i tipi che acquisiscono i concetti o le relazioni mancanti. Fai attenzione a non tentare di definire un tipo per ogni concetto in un campo o ogni entità che si verifica nei documenti del dominio; il sistema tipo dovrebbe essere limitato a soltanto i tipi più fondamentali.

  • Un tipo esistente sta venendo usato in modo sbagliato regolarmente dagli annotatori umani. Se un tipo causa confusione regolarmente, potresti dover ridenominarlo e eliminarlo se è ridondante.

  • Un tipo esistente non viene mai utilizzato dagli annotatori umani e non gli viene mai fatto riferimento nei documenti. Se il tipo è improbabile che venga utilizzato nella letteratura da questo dominio, rimuovilo dal sistema tipo.

  • Due tipi vengo spesso scambiati quando gli annotatori umani annotano i documenti. Valuta se i due tipi possono essere consolidati in un tipo che rappresenta accuratamente il concetto o la relazione. Ad esempio, se il sistema tipo contiene sia PERSON che PEOPLE, che sono spesso utilizzati in modo interscambiabile, potrebbe essere meglio utilizzare un tipo denominato PERSONPEOPLE che copre entrambi i casi invece di due tipi separati.

    Usare cautela quando si aggiorna il sistema di tipo. Se lo aggiorni dopo che gli annotatori umani hanno valutato le serie di documentazioni che sono state associate al vecchio sistema tipo, dovranno rivalutarle. Assicurati che le modifiche che devi fare siano importanti abbastanza da giustificare questo lavoro aggiuntivo.

• Investiga ulteriormente

  Se i tuoi sistema tipo, dizionario e documenti di origine sono completi e l'annotazione umana è stata fatta bene ma il modello di machine learning non funziona ancora bene, qualcosa potrebbe essere andata storta nel processo di preparazione del modello. Ad esempio, dovresti sempre vedere punteggi generali alti (oltre il 95%) quando verifichi i dati di preparazione.

Sintomi

Un punteggio F1 raggiunge il suo migliore valore con 1 e il peggiore con 0. Un basso punteggio F1 è un'indicazione sia di scarsa precisione che di scarso richiamo. Il modello di machine genera annotazioni errate e non riesce a trovare le annotazioni che dovrebbero venire trovate.

Cause

I punteggi F1 bassi possono verificarsi per molti motivi che dipendono dal dominio, la complessità del sistema tipo, l'appropriatezza dei documenti di preparazione, le capacità dell'annotatore umano e altri fattori

Risoluzione del problema

Ottimizza le prestazioni del tuo modello di machine learning eseguendo uno o più dei seguenti passi e poi riprepara il modello:

1. Identifica i tipi per cui si verifica più comunemente l'accuratezza bassa.

   Quando si analizzano le relazioni, guarda sia il punteggio F1 del tipo di relazione stesso che al punteggio F1 di ciascuna delle due entità che partecipa al rapporto.

2. Identifica i tipi confusi più comunemente. Queste informazioni possono essere trovate ricercando i numeri che sono fuori dalla diagonale nella matrice di confusione.

3. Controlla gli errori con cui il modello di machine learning ha un'elevata fiducia.

4. Trova i modelli nei falsi negativi e positivi nella matrice di confusione.

5. Se alcuni tipi si verificano frequentemente nei dati di preparazione, aggiungi i dati che contengono questi tipi.

   Puoi determinare la frequenza di ricorrenza controllando le statistiche della percentuale (che sono tre: % di annotazioni, % di densità del corpus % di documenti) per tipo.

6. Se alcuni tipi hanno punteggi F1 bassi, controlla la chiarezza delle linee guida di annotazione che si applicano a questi tipi.

7. Aggiungi un dizionario ai tipi che si verificano non frequentemente nei dati di preparazione.

Figura 1. Come risolvere bassi punteggi F1

Sintomi

Un punteggio di precisione raggiunge il suo valore migliore al 1 e il valore peggiore a 0. Un punteggio di precisione basso indica che il modello di machine learning ha generato annotazioni errate.

Cause

I punteggi di precisione bassi possono verificarsi per molti motivi che dipendono dal dominio, la complessità del sistema tipo, l'appropriatezza dei documenti di preparazione, le capacità dell'annotatore umano e altri fattori

Risoluzione del problema

Ottimizza le prestazioni del tuo modello di machine learning eseguendo uno o più dei seguenti passi e riprepara il modello:

1. Identifica i tipi per cui si verifica più comunemente la precisione bassa.
2. Identifica i tipi confusi più comunemente. Queste informazioni possono essere trovate ricercando i numeri che sono fuori dalla diagonale nella matrice di confusione.
3. Controlla gli errori con cui il modello di machine learning ha un'elevata fiducia.
4. Trova i modelli nei falsi negativi nella matrice di confusione.
5. Se alcuni tipi hanno punteggi di precisione bassi, controlla la chiarezza delle linee guida di annotazione che si applicano a questi tipi.

Figura 2. Come risolvere i punteggi di bassa precisione

Sintomi

Un punteggio di richiamo raggiunge il suo valore migliore al 1 e il peggior valore a 0. Un punteggio di richiamo basso indica che il modello di machine learning non è riuscito a creare annotazioni che avrebbe dovuto creare.

Cause

I punteggi di richiamo bassi possono verificarsi per molti motivi che dipendono dal dominio, la complessità del sistema tipo, l'appropriatezza dei documenti di preparazione, le capacità dell'annotatore umano e altri fattori

Risoluzione del problema

Ottimizza le prestazioni del tuo modello di machine learning eseguendo uno o più dei seguenti passi e riprepara il modello:

1. Identifica i tipi per cui si verifica più comunemente il richiamo basso.
2. Identifica i tipi confusi più comunemente. Queste informazioni possono essere trovate ricercando i numeri che sono fuori dalla diagonale nella matrice di confusione.
3. Controlla gli errori con cui il modello di machine learning ha un'elevata fiducia.
4. Trova i modelli nei falsi positivi nella matrice di confusione.
5. Se alcuni tipi hanno punteggi di richiamo bassi, controlla la chiarezza delle linee guida di annotazione che si applicano a questi tipi.

Figura 3. Come risolvere i punteggi di richiamo bassi