Questa documentazione è per IBM Watson® Knowledge Studio su IBM Cloud®. Per visualizzare la documentazione della versione precedente di Knowledge Studio nel IBM Marketplace, fai clic su questo link.

Configurazione dell'annotazione

Gli utenti che hanno una conoscenza del settore e del suo linguaggio devono annotare i documenti.

Effettua le seguenti attività per abilitare gli annotatori umani ad accedere al lavoro:

Invita gli esperti in materia nell'istanza Knowledge Studio che stai utilizzando.
Associa gli annotatori umani alle serie di annotazioni che desideri annotino.
Crea un'attività che assegna l'annotatore umano ad annotare i documenti nella serie.

Solo dopo aver assegnato esplicitamente i compiti agli annotatori umani, questi potranno vedere il vostro spazio di lavoro quando si collegheranno a Knowledge Studio.

I tuoi utenti (gli annotatori umani) dovranno avere familiarità con i Documenti di annotazione, che contengono le informazioni dettagliate su come annotare i documenti.

Ciclo di vita del modello

Il modello che crei con Knowledge Studio è un componente software che può essere inserito in una pipeline di elaborazione del linguaggio naturale (NLP).

Con Knowledge Studio, puoi creare, valutare e migliorare i modelli per i nuovi domini. Un modello aggiunge le annotazioni (metadati) al testo visualizzato nel contenuto del linguaggio naturale. Le annotazioni, che identificano le citazioni di entità di interesse nel contenuto del dominio, le relazioni tra di esse e come fanno riferimento alla stessa entità, possono essere utilizzate dalle applicazioni per analizzare ed elaborare automaticamente il testo. Gli utenti dell'applicazione traggono vantaggio da questo livello di analisi ricavando il significato, rilevando le informazioni dettagliate e ottenendo risposte in un contesto del linguaggio naturale.

La creazione di un modello è un processo a più fasi iterativo che coinvolge diversi passi: conservazione della conoscenza, generazione del ground truth, sviluppo del modello e distribuzione del runtime.

Adattamento del dominio end-to-end

Il seguente diagramma riepiloga le interazioni tra queste cinque fasi di sviluppo del modello e le attività tipiche che si verificano in ogni fase.

Figura 2. Una sintesi delle cinque fasi di sviluppo del modello e delle attività che si svolgono in ciascuna fase.

Conservazione della conoscenza

Questa fase, che è esterna a Knowledge Studio, fa riferimento al processo di selezione, raccolta, conservazione e conservazione del contenuto rilevante di un dominio specifico. La conservazione aggiunge valore ai dati; li trasforma in informazioni attendibili.

Generazione ground truth

Questa fase fa riferimento all'utilizzo delle procedure consigliate e degli strumenti di Knowledge Studio per produrre una raccolta di dati controllati che possono essere utilizzati per adattare una soluzione Watson per un dominio particolare. La precisione di questi dati controllati, chiamata ground truth o documenti standard gold, è critica perché le imprecisioni nei dati veri e propri si collegheranno a quelle nelle applicazioni che si basano su di essi.

Una parte essenziale delle informazioni di Watson su un nuovo dominio, include di fornire le informazioni sulle entità di interesse nel tuo contenuto del dominio, le relazioni tra di esse e come fanno riferimento tra loro. La raccolta di queste informazioni include le seguenti attività:

Coinvolgere gli esperti in materia per creare le seguenti risorse o per identificare le risorse esistenti che possono essere riutilizzate o modificate del tuo dominio:
- Gli esempi e le linee guida di annotazione per aiutare gli annotatori umani ad imparare come le parole e i passaggi nel tuo dominio devono essere annotati.
- I tipi di sistemi che definiscono i tipi specifici del dominio (oggetti) e le funzioni (classificazioni dati) che possono essere rilevati nel tuo contenuto del dominio tramite l'analisi del testo. Il sistema tipo controlla i tipi di annotazioni che un annotatore umano può aggiungere ai documenti.
- I dizionari dei termini che devono essere trattati come termini equivalenti nel tuo contenuto del dominio.
Creazione di un corpus di documenti che rappresentano il tuo contenuto del dominio.
La preannotazione dei documenti basata sui dizionari che aggiungi a uno spazio di lavoro Knowledge Studio. Dopo aver creato un modello di machine learning, puoi utilizzarlo per pre-annotare i nuovi documenti che aggiungi al corpus. La preannotazione è un processo di annotazione automatica di un documento per quanto possibile prima che il modello di machine learning sia in grado di farlo. La preannotazione può ridurre il lavoro di annotazione umano sostituendo una parte della creazione di annotazione umana con una semplice verifica dell'accuratezza dell'annotazione automatica.
La divisione dei documenti insieme agli annotatori umani, che poi utilizzano lo strumento di editor ground truth IBM Watson® Knowledge Studio per aggiungere le annotazioni manualmente a piccole serie di documenti.
Il confronto dei risultati dell'annotazione umana e la risoluzione dei conflitti. La decisione in questa fase è necessaria per garantire che i documenti accurati e annotati in modo congruo siano promossi a ground truth, dove possono essere utilizzati per preparare e verificare un modello di machine learning.

Sviluppo del modello

Questa fase fa riferimento all'utilizzo degli strumenti Knowledge Studio per creare un modello. Dopo aver stabilito il ground truth, i risultati dell'annotazione umana possono essere utilizzati per preparare un algoritmo per l'aggiunta automatica delle annotazioni a grandi raccolte di documenti, come raccolte che includono milioni di documenti.

Valutazione del modello

Questa fase fa riferimento all'utilizzo degli strumenti Knowledge Studio per affinare il modello e migliorare le prestazioni. I risultati generati dal modello vengono valutati con una serie di test di documenti ground truth. L'Analisi dell'accuratezza identifica le cause degli errori di annotazione. L'Analisi della capacità ti aiuta a valutare quali errori richiedono attenzione e dove i miglioramenti del modello possono avere un impatto maggiore. I miglioramenti possono essere apportati ripetutamente per migliorare le prestazioni finché non viene raggiunto un livello di accuratezza soddisfacente.

Distribuzione del modello

Questa fase si riferisce all'esportazione dei componenti che consentono al modello di essere eseguito in ambienti runtime di apprendimento automatico e di rendere il modello accessibile ad altre applicazioni cognitive il modello accessibile ad altre applicazioni cognitive di Watson. Ad esempio, puoi distribuire il modello di machine learning per l'utilizzo da parte del servizio IBM Watson® Natural Language Understanding o del servizio IBM Watson® Discovery o esportarlo per l'utilizzo in IBM Watson Explorer.

Creazione di un'attività di annotazione

Prima che gli annotatori umani possano iniziare ad aggiungere le annotazioni ai documenti, il gestore del processo di annotazione deve creare un'attività di annotazione.

Gli amministratori e i gestori del progetto possono annotare direttamente le serie di documenti ground truth. Vedi Annotazione diretta delle serie di documenti.

Informazioni su quest'attività

L'attività di annotazione specifica quali documenti devono essere annotati. Per confrontare quanto bene lavorino gli annotatori umani e per vedere quanto coerentemente applichino le linee guide di annotazione, devi includere almeno due annotatori umani all'attività. In aggiunta, deve verificarsi una percentuale dei documenti in tutte le serie di annotazioni che aggiungi all'attività (specifica la percentuale di sovrascrittura quando credi le serie di annotazioni).

Importante

Un'attività di annotazione è un concetto temporale che esiste per consentire agli annotatori umani di annotare il testo in spazi isolati. Inoltre assicura che solo le annotazioni approvate siano promosse a ground truth.
Una serie di annotazioni può essere inclusa in un'attività attiva alla volta. Per aggiungere una serie di annotazioni in una attività ad un'altra attività, devi prima eliminare l'attività in cui la serie di annotazioni è attiva.
Se elimini un account utente di un annotatore umano, influisci anche sulle sue annotazioni. Tutte le annotazioni nei documenti che sono state assegnate a tale utente ma non promosse a ground truth, vengono eliminate.
Se il sistema tipo o le impostazioni dell'editor ground truth vengono modificate quando crei un'attività di annotazione umana, devi decidere se propagare le modifiche all'attività. Il sistema tipo può influire sulle annotazioni; gli annotatori umani potrebbero aver bisogno di rivedere e aggiornare i propri documenti.
Se vengono modificati i dizionari, le modifiche non vengono riflesse nell'attività di annotazione corrente. Per applicare le modifiche alla risorsa come ground truth, devi creare una nuova attività di annotazione.
Puoi avere fino a 256 attività di annotazione per spazio di lavoro.

Procedura

Per creare un'attività di annotazione:

Accedi come amministratore Knowledge Studio e seleziona il tuo spazio di lavoro.
Seleziona la pagina Machine Learning Model > Annotations, poi fai clic sulla scheda Annotation Tasks.
Fai clic su Add Task.
Specifica un nome dell'attività descrittivo e seleziona la data in cui l'attività deve essere completata.
Se non è disponibile alcuna serie di annotazioni, fai clic su Create Annotation Sets.
1. Per la serie di base, seleziona la serie di documenti o annotazioni che vuoi dividere in serie di annotazioni.
2. Per il valore di sovrapposizione, specifica la percentuale di documenti che vuoi includere in ogni serie di annotazioni. I punteggi dell'accordo tra annotatori non possono essere calcolati a meno che due o più annotatori annotino gli stessi documenti. Ad esempio, se specifichi un valore di sovrapposizione del 20% per un corpus che contiene 30 documenti e lo dividi in 3 serie di documenti, 6 documenti (20%) saranno annotati da tutti gli annotatori umani. I rimanenti 24 documenti saranno suddivisi tra 3 annotatori umani (8 ognuno). Quindi, ogni annotatore riceve 14 documenti da annotare (6+8).
Un set di annotazioni che si intende utilizzare per addestrare un modello di apprendimento automatico deve contenere almeno 10 documenti annotati.
1. Seleziona un nome utente dall'elenco di annotatori umani.
2. Nome della serie di annotazioni.
  
  Come buona prassi per la valutazione del lavoro di un annotatore umano con l'avanzamento dello spazio di lavoro, potresti voler creare dei nomi della serie di annotazioni che identificano l'annotatore umano assegnato alla serie. Non puoi modificare il nome della serie di annotazioni dopo che è stata creata.
  
  La dimensione massima del nome set di annotazione è di 256 caratteri.
3. Fai clic su Genera.
Viene visualizzato un elenco delle serie di annotazioni disponibili in Available Sets, insieme ai nomi degli annotatori umani ad esse assegnati. Per aggiungere delle serie disponibili alla tua attività di annotazione, fai clic su Add to task.
Assicurati che tutte le serie di annotazioni che vuoi includere nell'attività siano presenti in Selected Sets, poi fai clic su Save per creare l'attività.

Cosa fare successivamente

Dopo aver creato l'attività, puoi tornare alla scheda Annotation Tasks sulla pagina Machine Learning Model > Annotations per visualizzare l'avanzamento di ogni annotatore umano. Inoltre, puoi completare le seguenti attività:

Controllare i documenti approvati che si sovrappongono tra le serie di annotazioni per risolvere i conflitti di annotazione.
Aprire un'attività a cui aggiungere le serie di annotazioni. Assicurati che le serie di annotazioni che aggiungi includano i documenti che si sovrappongono ai documenti nelle serie di annotazioni originali.

Dalla scheda Settings della navigazione principale, puoi specificare le seguenti informazioni:

Specificare le preferenze per utilizzare i colori e i tasti di scelta rapida nell'editor ground truth.
Specificare una soglia di accordo tra annotatori e poi aprire un'attività per vedere quanto coerentemente più annotatori umani hanno annotato gli stessi documenti.
Specificare un URL per collegare le tue linee guida di annotazione all'editor ground truth.

Configurazione delle preferenze dell'editor ground truth

Un gestore del progetto può specificare le preferenze per utilizzare i colori e i tasti di scelta rapida nell'editor ground truth.

Procedura

Per specificare le preferenze visive per l'utilizzo dell'editor ground truth:

Accedi come amministratore Knowledge Studio e seleziona il tuo spazio di lavoro.
Dalla navigazione di sinistra, seleziona Settings > Document Annotation Settings.
Seleziona la scheda Entity Types o Relation Types.
Seleziona il tipo di entità o di relazione che vuoi modificare e quindi fai clic su Edit keyboard shortcuts and colors. Per ogni tipo, puoi definire un:
- Scorciatoia da tastiera: l'utente può digitare <key> per applicare l'etichetta di tipo al testo evidenziato. Ad esempio, definisci o come il tasto di scelta rapida per ORGANIZATION, quindi un utente può selezionare del testo e premere il tasto o per applicare il tipo di entità ORGANIZATION al testo evidenziato. Se si assegna una lettera maiuscola, l'utente deve premere Shift+<key>.
- Colore del testo. Assicurati che il colore del testo contrasti con il colore di backgroud in modo che il testo sarà visibile dopo che è stato etichettato.
- Colore di background. Questo è il colore dell'etichetta che viene applicata all'entità dopo che l'hai annotata.
Quando annoti i documenti, gli annotatori umani possono utilizzare i tasti di scelta rapida per aggiungere velocemente le annotazioni. E l'etichetta di annotazione e i colori del testo possono aiutare gli annotatori umani a riconoscere istantaneamente i tipi dopo aver aggiunto le annotazioni a un documento.
- Se sono presenti dei tipi di relazione o di entità a cui non vuoi che gli annotatori umani assegnino delle citazioni, puoi nasconderli all'editor ground truth, che riduce e semplifica l'elenco dei tipi di opzioni che gli utenti visualizzano. Per far ciò, deseleziona la casella di spunta Active del tipo.
Come assegni nuovi collegamenti e colori, puoi visualizzare un'anteprima delle modifiche.
Puoi anche modificare il colore di evidenziazione della selezione predefinito. Il colore evidenziato è quello del bordo visualizzato intorno al testo dopo che gli annotatori umani lo selezionano. Il colore predefinito è un blu chiaro, ma puoi modificarlo nella scheda Selection Highlight per rendere più facile identificare i limiti del testo selezionato.

Attività correlate

Modifica di un sistema tipo senza perdere le annotazioni umane

Configurazione della soglia IAA

Per aiutarti a decidere se accettare o rifiutare una serie di documenti annotati, puoi specificare una soglia di accordo tra annotatori. La soglia di aiuta a confrontare quanto bene o male l'accordo tra annotatori si confronti con il punteggio IAA calcolato dal sistema.

Informazioni su quest'attività

Per confrontare come diversi annotatori umani abbiano annotato gli stessi documenti, specifica una soglia di valutazione. Se le annotazioni fatte da un annotatore umano sono diverse da quelle di un altro annotatore al punto in cui la differenza provoca un punteggio basso, significa che gli annotatori non sono d'accordo. Il disaccordo deve essere indagato e risolto.

Procedura

Per impostare la soglia di accordo tra annotatori:

Accedi come amministratore Knowledge Studio e seleziona il tuo spazio di lavoro.
Seleziona la scheda Settings > IAA Settings.
Specifica un valore compreso tra 0 e 1 come ad esempio .5 o .8 e poi fai clic su Save.

Connessione alle linee guida di annotazione

Dopo aver creato le linee guida di annotazione per il tuo progetto, puoi configurare Knowledge Studio per collegarsi ad esse. Per aiuto nella scelta dell'annotazione corretta da applicare, gli annotatori umani possono controllare le linee guida mentre annotano i documenti. Anche gli amministratori possono controllare le linee guida se hanno bisogno di assistenza mentre risolvono i conflitti di annotazione nei documenti di sovrapposizione.

Procedura

Per collegare l'editor ground truth e lo strumento di decisione alle tue linee guida di annotazione:

Accedi come amministratore Knowledge Studio e seleziona il tuo spazio di lavoro.
Seleziona la scheda Settings > Annotation Guidelines.
Specifica l'URL dove sono ospitate le tue linee guida.
Fare clic su Salva. Il sistema collega l'editor ground truth e lo strumento di decisione alle tue linee guida di annotazione. A seconda delle autorizzazioni di accesso concesse agli utenti quando hai creato le linee guida, gli annotatori umani e gli amministratori dello spazio di lavoro dovrebbero essere in grado di aggiornare le linee guida dopo averle aperte, ad esempio per aggiungere chiarimenti ed esempi.

Linee guida di annotazione

Non esiste un formato prescritto su come documentare le linee guida, ma è importante che includano esempi dettagliati. Gli annotatori umani devono capire quale tipo di entità applicare a un determinato riferimento nel contesto e sapere quali tipi di relazione sono validi per una determinata coppia di citazioni. Gli esempi elaborati dal tuo contenuto del dominio sono spesso il modo migliore per comunicare le scelte corrette di annotazione da prendere.

Le linee guida di annotazione non sono statiche. Come il tuo progetto si evolve, probabilmente rileverai istanze di citazioni e relazioni che non vengono correttamente acquisite nelle linee guida. E probabilmente rileverai delle incongruenze tra più annotatori umani che interpretano le linee guida in modi differenti. Aggiornando le linee guida come si verificano le situazioni, puoi aiutare a migliorare l'accuratezza e la congruenza delle annotazioni nel tempo.

Prima che i documenti possano essere considerati ground truth, devono essere risolti tutti i conflitti su come differenti annotatori umani annotano gli stessi documenti. Un modo chiave per risolvere i conflitti è di discutere su cosa ha causato la confusione, aiutando quindi gli annotatori umani a imparare dai propri errori. Migliorando e chiarendo le linee guida si può ridurre il numero di conflitti e garantire che i documenti accuratamente e coerentemente annotati siano promossi a ground truth.

Per aiutarti a gestire le linee guida, potresti voler dividere quello che può diventare un documento lungo in più parti, come le linee guida per l'annotazione delle entità, delle relazioni e dei modi in cui è possibile fare coriferimento alle citazioni. Le modifiche che apporti in un'area devono essere valutate e coordinate con le modifiche di un'altra area. Ad esempio, se aggiungi un tipo di entità, controlla le linee guida per l'annotazione dei nuovi tipi di entità e specifica come il nuovo tipo di entità possa essere correlato ad altri tipi di entità.

Esempio di linee guida di annotazione

La maggior parte delle linee guida di annotazione avranno bisogno di molti dettagli e esempi per garantire che gli annotatori umani annotino il testo coerentemente.

L'esempio qui presentato è una linea guida semplice creata per un piccolo dominio che contiene i report degli incidenti stradali.

Obiettivi dell'attività

Come membri del progetto, acquisite familiarità con il processo iterativo dell'annotazione manuale e la rifinitura del modello di machine learning.
Annota i documenti nel dominio automobilistico con l'editor ground truth e utilizza le annotazioni per preparare un modello di machine learning. Annota i tipi di entità, di relazione e di coreferenza alle entità quando necessario.

Notazioni sulla linea guida

Staffe quadrate [ ] indicare l'estensione da annotare quando non viene annotato l'intero testo citato.

Includi le negazioni come appropriato, ad esempio [no injuries]ACCIDENT_OUTCOME. Il sistema tipo è di non utilizzare la classe di entità per rappresentare la negazione.

Tipi di entità

Il sistema tipo non utilizza i ruoli o i tipi secondari dell'entità, né le classi o i tipi di citazioni.

Tipi di entità	Linee guida	Esempi
ACCIDENT_OUTCOME	Una conseguenza di un incidente. Si applica sia agli umani (ad esempio, death) che alle macchine (ad esempio, dented). Può includere "towed" e "air bag deployment" come indicatori della gravità del danno e "transported
to hospital" (ma non funeral home) come indicatori della gravità delle lesioni. Può includere
la negazione.	" [vittima] ", " [lesione] ", " [perdita totale] sostenuta", " [nessun ferito] ", " [trainato] a causa di [danni invalidanti] ", [non trainato], "l'airbag [non si è attivato] " (l'airbag stesso deve essere PART_OF_CAR, correlato da sufferedFrom a questo INCIDENTE_OUTCOME) e indicazioni di gravità.
Condizione	Le condizioni della strada o del meteo; un aspetto della scena che potrebbe aver influito sull'incidente
e cambiare da giorno a giorno ma non in base alla macchina o al guidatore. Può essere un errore del guidatore o
un problema meccanico e deve apparire problematico. Dovresti escludere STRUCTURE.	"asciutto", "piovoso", "costruzione", "traffico intenso", "luce del giorno", ma non "erba" o "intossicato". "gomma a terra", "correzione eccessiva" (come per lo sterzo), "addormentato", "intossicato", "[mancata negoziazione] di una [curvaSTRUTTURA] ", "[uscita dalla] corsia" o dalla spalla, ma non "tentativo di sorpasso", a meno che questa frase non sia accompagnata da "senza spazio sufficiente" o qualcosa di simile, né "uscita dalla strada", che è un INCIDENTE.
INCIDENT	Una citazione reale di una collisione o un movimento della macchina che è inequivocabilmente inappropriato e
distruttivo, come l'andare fuori strada o qualche altro incidente dannoso, come un incendio della macchina. Non fare
coreferementi di movimenti non identici tra loro come "impacted", "pushed rearward" e
"came to final rest", anche se sono strettamente associati. Escludere la STRUTTURA dall'estensione; ad esempio, "[si è fermatoINCIDENTE] in un [fossoSTRUTTURA] " o "[è rimasto a contattoINCIDENTE] con il [guardrailSTRUTTURA] ".
MANUFACTURER	L'azienda che produce il veicolo	Toyota, Mazda, General Motors
MODELLO	Il tipo specifico di macchina, costruita da un produttore specifico. Escludi tutti i termini aggiuntivi / indicatori di lettere appuntate
come "LX", o "SE" (ad esempio, annota solo "Xterra" per la frase "Xterra
SE").	Camry
MODEL_YEAR	L'anno del modello che è parte del nome della macchina.	'99, 2001
PART_OF_CAR	Una parte del veicolo, sia interna che esterna, indipendentemente da chi
è coinvolto nello specifico l'incidente. Escludi l'elenco di capacità di tali parti. Includi le indicazioni di dove
si trova la parte nella macchina o qualcosa che fa riferimento a una porzione di una macchina senza
essere una parte specifica. Può essere plurale. Può includere specifiche sulla posizione nel veicolo, come " [airbag conducente] ", " [porta RF] " (ovvero anteriore destra), "passeggero [posteriore] ", " [airbag LF e RF] ", " [sistemi di ritenuta passivi/automatici della prima fila] ", " [sistema di sicurezza] con funzionalità EDR". Includi
towed boats, tanks, ecc., eccetto semi-trailers, che ha un
year/model/manufacturer distinto.	Cross-section, front plane, tire, steering wheel, airbag, ecc.
PERSON	Tutte le persone descritte in una scena dell'incidente in un verbale (potrebbe essere un guidatore o
un passeggero/occupante di un veicolo, pedone o testimone). Non annotate gli aggettivi, quindi non annotate "un [uomo di 69 anni] guidava", ma annotate "un [uomo] di 69 anni guidava". Può essere plurale, ad esempio " [occupanti] LR e RF". Esclude le persone che arrivano dopo l'incidente. >In assenza di un tipo di entità "animale", utilizzare PERSONA per etichettare la fauna selvatica coinvolta o che causa collisioni, in quanto la sua capacità di muoversi la rende più simile a una PERSONA che a una STRUTTURA. Nota: "airbag passeggero" è una PARTE DELL'AUTO; non implica la presenza di una persona.
STRUCTURE	Una struttura che si trova sulla strada, vicino o sia parte di una strada. Includi aggettivi della strada specifici come
rilevanti alla configurazione dell'incidente, ometti gli altri aggettivi.	[strada a due corsie e a doppio senso di marcia], [corsia di sinistra], [corsia di] marcia est, [fosso di] 2 metri, [linea della corsia di destra], [rampa di uscita], [palo], [albero], [scarpata] in forte discesa
VEHICLE	Tutti i riferimenti al veicolo diversi da MODEL, MANUFACTURER e MODEL_YEAR. Può essere plurale,
nel qual caso il coriferimento è molto improbabile e nessuna correlazione part-of-group.	"il [camion] ", "l' [auto] ", " [V1] 's"

Tipi di relazione

Il tipo di sistema utilizza i tipi di relazione ma non le classi di relazione o altri attributi di relazione. La negazione non è codificata da una classe di relazione, ma piuttosto dagli estremi delle menzioni, ad esempio, [nessun occupantePERSONA] è stato [ricoveratoACCIDENT_OUTCOME] con le due menzioni collegate dal tipo di relazione sufferedFrom.

Tipi di entità possibili per la prima citazione	Tipo di relazione	Possibili tipi di etity per la seconda menzione
VEICOLO, MODELLO, COSTRUTTORE ²	hasProperty	MANUFACTURER, MODEL, MODEL_YEAR
PERSON	occupantOf	VEICOLO, MODELLO, PRODUTTORE, ANNO_MODELLO ¹, PARTE_DI_AUTO, STRUTTURA
PERSONA, PARTE_DI_AUTO, STRUTTURA, VEICOLO, MODELLO, PRODUTTORE, ANNO_MODELLO ¹	sufferedFrom	ACCIDENT_OUTCOME
VEHICLE	driveUnder	CONDITION, ACCIDENT_CAUSE
PART_OF_CAR	locatedOn	VEICOLO, MODELLO, PRODUTTORE, MODEL_YEAR ¹
ACCIDENT_OUTCOME	outcomeOf	INCIDENT
INCIDENT	causedBy	CONDIZIONE, CAUSA DELL'INCIDENTE (nota: richiede evidenza testuale della causalità)
INCIDENT	impactPoint	La PERSONA, la PARTE DELL'AUTO, la STRUTTURA, il VEICOLO, il FABBRICANTE, il MODELLO o l'ANNO MODELLO ¹ che è stata colpita o coinvolta nell'incidente. impactPoint per la STRUTTURA non include la semplice specificazione del luogo di un impatto che non coinvolge quella STRUTTURA, quindi non si applica a due veicoli che si scontrano in un [incrocioSTRUTTURA], ma si applica a un veicolo che colpisce un [terrapienoSTRUTTURA].

Note della tabella

La notazione VEHICLE/MODEL/MANUFACTURER/MODEL_YEAR fa riferimento alla citazione di un veicolo. Le ultime tre sono rispettivamente per i casi in cui il testo dice qualcosa tipo "the Accord", "the Honda" o, probabilmente più raramente, "the '99". I quattro tipi di entità sono in ordine di priorità, per cui "the driver of the '99 Honda Accord", la relazione dovrebbe essere driver (come PERSON) occupantOf Accord (come MODEL), nel qual caso Accord dovrebbe avere una relazione hasProperty con Honda e '99.
MODEL e MANUFACTURER possono essere solo il primo argomento di hasProperty, solo quando sono nomi (che fanno riferimento a un veicolo). MODEL può avere la relazione hasProperty per MANUFACTURER e MODEL_YEAR, come in "the '99 Honda Accord drove". MANUFACTURER può avere solo la relazione hasProperty a MODEL_YEAR, come in "the '99 Honda drove".