Annotationen einrichten

Das Annotieren von Dokumenten sollte von Benutzern ausgeführt werden, die sich in dem jeweiligen Fachgebiet und mit der zugehörigen Fachsprache auskennen.

Führen Sie die folgenden Tasks aus, damit Annotatorbenutzer auf den Arbeitsbereich zugreifen können:

Laden Sie Fachleute zu der Knowledge Studio-Instanz ein, die Sie verwenden.
Ordnen Sie Annotatorbenutzer den Annotationsgruppen zu, die von ihnen annotiert werden sollen.
Erstellen Sie eine Task, die den Annotatorbenutzer den Dokumenten in der Gruppe zuordnet, die annotiert werden sollen.

Für Annotatorbenutzer ist Ihr Arbeitsbereich beim Anmelden an Knowledge Studio erst sichtbar, nachdem Sie den Annotatorbenutzern explizit Tasks zugeordnet haben.

Ihre Benutzer (die Annotatorbenutzer) müssen sich in das Annotieren von Dokumenten einarbeiten. Dazu gehören auch detaillierte Kenntnisse der Vorgehensweise zum Annotieren von Dokumenten.

Modelllebenszyklus

Das Modell, das Sie mit Knowledge Studio erstellen ist eine Softwarekomponente, die in die Pipeline für die Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) eingebunden werden kann.

Mit Knowledge Studio können Sie Modelle für neue Fachgebiete erstellen, auswerten und optimieren. Ein Modell fügt Annotationen (Metadaten) zum Text hinzu, die als Inhalte in natürlicher Sprache dargestellt werden. Die Annotationen identifizieren Erwähnungen relevanter Entitäten in Ihren fachspezifischen Inhalten sowie die Beziehungen zwischen diesen Entitäten und die Koreferenzen von Erwähnungen auf dieselbe Entität. Diese Annotationen können von Anwendungen genutzt werden. um Text automatisch zu analysieren und zu verarbeiten. Anwendungsbenutzer können von dieser Analysestufe profitieren, die das Extrahieren von Bedeutungen, das Gewinnen von Einsichten und das Finden von Antworten im Kontext der natürlichen Sprache ermöglicht.

Die Erstellung eines Modells ist ein iterativer und mehrstufiger Prozess, der mehrere Schritte umfasst: Wissen kuratieren, Ground Truth generieren, Modell entwickeln, Modell auswerten und in der Laufzeit bereitstellen.

Durchgängige Anpassung an das Fachgebiet

Das folgende Diagramm fasst die Interaktionen zwischen diesen fünf Phasen der Modellentwicklung und die typischen Aktivitäten in den einzelnen Phasen zusammen.

Abbildung 2. Eine Zusammenfassung der fünf Phasen der Modellentwicklung und der Aktivitäten, die in den einzelnen Phasen stattfinden.

Wissen kuratieren

Diese Phase, die außerhalb von Knowledge Studio stattfindet, umfasst den Prozess zum Auswählen, Sammeln, Aufbewahren und Verwalten relevanter Inhalte für ein bestimmtes Fachgebiet. Bei der Kuratierung gewinnen die Daten einen Mehrwert, d. h. sie werden zu verlässlichen Informationen und gesichertem Fachwissen.

Ground Truth generieren

In dieser Phase werden Knowledge Studio-Tools und Best Practices eingesetzt, um eine Sammlung geprüfter Daten zu erstellen, die verwendet werden können, um eine Watson-Lösung für ein bestimmtes Fachgebiet zu erstellen. Die Richtigkeit dieses geprüften Datenpools, der als Ground Truth oder goldene Dokumentbasis bezeichnet werden, ist von entscheidender Bedeutung. Ungenauigkeiten in der Ground Truth führen zu Ungenauigkeiten in den Anwendungen, die auf die Ground Truth angewiesen sind.

Ein grundlegender Bestandteil der Anpassung von Watson an ein neues Fachgebiet ist die Vermittlung von Wissen über relevante Entitäten im Inhalt Ihres Fachgebiets, über die Beziehungen zwischen diesen Entitäten und über die gegenseitigen Koreferenzen der Entitäten. Zum Sammeln dieses Wissens gehören die folgenden Aktivitäten:

In Zusammenarbeit mit Experten des Fachgebiets die folgenden Ressourcen erstellen oder vorhandene Ressourcen identifizieren, die wiederverwendet oder an Ihr Fachgebiet angepasst werden können:
- Annotationsrichtlinien und Beispiele, die Annotatorbenutzern zeigen, wie Wörter und Textpassagen im Inhalt des Fachgebiets annotiert werden sollen.
- Typsysteme, die fachspezifische Typen (Objekte) und Features (Datenklassifizierungen) definieren, die durch Textanalyse im Inhalt des Fachgebiets aufgespürt werden können. Das Typsystem legt fest, welche Annotationstypen ein Annotatorbenutzer in Dokumenten hinzufügen kann.
- Wörterverzeichnisse mit Begriffen, die im Inhalt des Fachgebiets als äquivalente Begriffe behandelt werden sollen.
Erstellen eines Korpus von Dokumenten, die für die Inhalte des Fachgebiets repräsentativ sind.
Dokumente auf der Grundlage der Wörterverzeichnisse vorannotieren, die Sie in einem Knowledge Studio-Arbeitsbereich hinzufügen. Nachdem Sie ein Machine Learning-Modell erstellt haben, können Sie das Modell zum Vorannotieren der Dokumente verwenden, die Sie zum Korpus hinzufügen. Als Vorannotierung wird das maschinelle Annotieren eines Dokument bezeichnet, soweit dies möglich ist, bevor ein Machine Learning-Modell für die zielgenaue Annotierung zur Verfügung steht. Die Vorannotierung kann den Arbeitsaufwand der Annotatorbenutzer verringern, indem manche Annotationen durch einfaches Überprüfen der Richtigkeit maschineller Annotationen ersetzt wird.
Dokumente auf verschiedene Annotatorbenutzer verteilen, die dann mit dem Ground Truth-Editor von IBM Watson® Knowledge Studio manuell Annotationen in kleinen Dokumentgruppen hinzufügen.
Ergebnisse der Annotatorbenutzer vergleichen und Konflikte beheben. Die Beurteilung, die in dieser Phase durchgeführt wird, stellt sicher, dass zutreffend und konsistent annotierte Dokumente in die Ground Truth hochgestuft und dort zum Trainieren und Testen eines Machine Learning-Modells eingesetzt werden.

Modell entwickeln

In dieser Phase werden Knowledge Studio-Tools eingesetzt, um ein Modell zu erstellen. Nachdem die Ground Truth erstellt ist, können die Arbeitsergebnisse der Annotatorbenutzer verwendet werden, um einen Algorithmus für das automatische Hinzufügen von Annotationen in umfangreichen Dokumentsammlungen zu trainieren (z. B. in Sammlungen, die Millionen von Dokumenten umfassen).

Modellevaluierung

In dieser Phase werden Knowledge Studio-Tools eingesetzt, um das Modell zu optimieren und die Leistung des Modells zu verbessern. Die von dem Modell generierten Ergebnisse werden anhand einer Testdokumentgruppe überprüft, die aus Ground Truth-Dokumenten besteht. Durch die Richtigkeitsanalyse werden die Ursachen für Annotationsfehler ermittelt. Mithilfe der Spielraumanalyse können Sie beurteilen, welche Fehler behoben werden sollten und mit welchen Modelloptimierungen die größten Verbesserungen erzielt werden können. Es können wiederholt Anpassungen vorgenommen werden, um die Leistung zu verbessern, bis ein akzeptabler Genauigkeitsgrad erreicht ist.

Modellimplementierung

In dieser Phase werden Komponenten exportiert, die die Ausführung des Modells in Machine Learning-Laufzeitumgebungen ermöglichen und das Modell für andere kognitive Watson-Anwendungen zugänglich machen. Sie können beispielsweise das Machine Learning-Modell für die Verwendung durch den IBM Watson® Natural Language Understanding-Service oder IBM Watson® Discovery-Service bereitstellen oder das Modell für die Verwendung in IBM Watson Explorer exportieren.

Annotationstask erstellen

Bevor Annotatorbenutzer mit dem Hinzufügen von Annotationen zu Dokumenten beginnen können, muss der für die Annotationsverarbeitung zuständige Manager eine Annotationstask erstellen.

Administratoren und Projektleiter können Ground Truth-Dokumentgruppen direkt annotieren. Details hierzu finden Sie im Abschnitt Dokumentgruppen direkt annotieren.

Informationen zu dieser Task

Die Annotationstask gibt an, welche Dokumente annotiert werden sollen. Um die Leistungen der Annotatorbenutzer zu vergleichen und zu prüfen, wie konsistent die Annotationsrichtlinien angewendet werden, müssen Sie mindestens zwei Annotatorbenutzer in die Task einbeziehen. Darüber hinaus muss ein bestimmter Prozentsatz von Dokumenten in allen Annotationsgruppen enthalten sein, die Sie zu der Task hinzufügen (den Prozentsatz der Überschneidung geben Sie beim Erstellen der Annotationsgruppen an).

Wichtig

Eine Annotationstask ist ein zeitbasiertes Konzept, das es Annotatorbenutzern ermöglicht, Text in abgegrenzten Bereichen zu annotieren. Damit soll außerdem sichergestellt werden, dass nur genehmigte Annotationen in die Ground Truth hochgestuft werden.
Eine Annotationsgruppe kann jeweils in eine aktive Task einbezogen werden. Um eine Annotationsgruppe, die in einer Task enthalten ist, zu einer anderen Task hinzuzufügen, müssen Sie die Task löschen, in der die Annotationsgruppe bereits aktiv ist.
Wenn Sie das Benutzerkonto eines Annotatorbenutzers löschen, hat dies Auswirkungen auf die Annotationen des betreffenden Benutzers. Alle Annotationen in Dokumenten, die zwar diesem Benutzer zugeordnet sind, aber noch nicht in die Ground Truth hochgestuft wurden, werden gelöscht.
Wenn die Einstellungen für das Typsystem oder den Ground Truth-Editor geändert werden, nachdem Sie eine Task für Annotatorbenutzer erstellt haben, müssen Sie entscheiden, ob die Änderungen an die Task weitergegeben werden sollen. Änderungen des Typsystems können sich auf Annotationen auswirken, d. h. es kann erforderlich werden, dass Annotatorbenutzer die ihnen zugeordneten Dokumente überarbeiten und aktualisieren.
Wenn Wörterverzeichnisse geändert werden, werden diese Änderungen nicht in die aktuelle Annotationstask übernommen. Um Ressourcenänderungen in die Ground Truth zu übernehmen, müssen Sie eine neue Annotationstask erstellen.
Jeder Arbeitsbereich kann maximal 256 Annotationstasks enthalten.

Vorgehensweise

So erstellen Sie eine Annotationstask:

Melden Sie sich als Knowledge Studio-Administrator an und wählen Sie Ihren Arbeitsbereich aus.
Wählen Sie die Seite Machine Learning-Modell > Annotationen aus und klicken Sie dann auf die Registerkarte Annotationstasks.
Klicken Sie auf Task hinzufügen.
Geben Sie einen beschreibenden Namen für die Task an und wählen Sie das Datum aus, an dem die Task abgeschlossen sein muss.
Falls keine Annotationsgruppen verfügbar sind, klicken Sie auf Annotationsgruppen erstellen.
1. Wählen Sie für die Basisgruppe die Dokument- oder Annotationsgruppe aus, die Sie in Anmerkungsgruppen aufteilen möchten.
2. Geben Sie als Wert für die Überschneidung einen Prozentsatz der Dokumente an, die Sie in jede Annotationsgruppe einschließen möchten. Die Scores für die Übereinstimmung der Annotatorbenutzer können nur berechnet werden, wenn mindestens zwei Annotatorbenutzer dieselben Dokumente annotieren. Beispiel: Wenn Sie einen Überschneidungswert von 20 % für einen Korpus angeben, der 30 Dokumente enthält, und den Korpus in 3 Dokumentgruppen aufteilen, werden 6 Dokumente (20 %) von allen Annotatorbenutzern annotiert. Die übrigen 24 Dokumente werden auf die 3 Annotatorbenutzer aufgeteilt (für jeden Benutzer 8 Dokumente). In diesem Beispiel erhält jeder Annotator insgesamt 14 Dokumente (6 + 8) zum Annotieren.
Eine Annotationsgruppe, die Sie zum Trainieren eines Machine Learning-Modells verwenden möchten, muss mindestens 10 annotierte Dokumente enthalten.
1. Wählen Sie einen Benutzernamen in der Liste der Annotatorbenutzer aus.
2. Ordnen Sie der Annotationsgruppe einen Namen zu.
  
  Ein bewährtes Verfahren zum Bewerten des Arbeitsfortschritts eines Annotatorbenutzers im Arbeitsbereich ist die Verwendung von Annotationsgruppennamen, an denen der für die Gruppe zugeordneten Annotatorbenutzer erkennbar ist. Sie können den Namen der Annotationsgruppe nicht mehr ändern, nachdem die Gruppe erstellt wurde.
  
  Die maximale Größe des Annotationgruppennamens beträgt 256 Zeichen.
3. Klicken Sie auf Generieren.
Eine Liste der verfügbaren Annotationsgruppen sowie die Namen der diesen Gruppen zugeordneten Annotatorbenutzer werden unter Verfügbare Gruppen angezeigt. Um verfügbare Gruppen zu Ihrer Annotationstask hinzuzufügen, klicken Sie auf Zu Task hinzufügen.
Stellen Sie sicher, dass alle Annotationsgruppen, die in die Task aufgenommen werden sollen, unter Ausgewählte Gruppen angezeigt werden, und klicken Sie anschließend auf Speichern, um die Task zu erstellen.

Nächste Schritte

Nachdem die Task erstellt wurde, können Sie zur Registerkarte Annotationstasks auf der Seite Machine Learning-Modell > Annotationen zurückkehren, um die Arbeitsfortschritte der einzelnen Annotatorbenutzer anzuzeigen. Außerdem können Sie die folgenden Tasks ausführen:

Genehmigte Dokumente mit Überschneidungen zwischen Annotationsgruppen überprüfen, um Annotationskonflikte zu beheben
Eine Task öffnen, um Annotationsgruppen zu der Task hinzuzufügen (stellen Sie dabei sicher, dass die hinzugefügten Annotationsgruppen Überschneidungen mit Dokumenten in den ursprünglichen Annotationsgruppen enthalten)

Auf der Registerkarte Einstellungen in der Hauptnavigation können Sie die folgenden Informationen angeben:

Vorgaben für die Verwendung von Farben und Tastenkombinationen im Ground Truth-Editor definieren
Einen Schwellenwert für die Übereinstimmung der Annotatoren angeben und anschließend eine Task öffnen, um zu prüfen, wie konsistent dieselben Dokumente von mehreren Annotatorbenutzern annotiert wurden
Eine URL angeben, um Ihre Annotationsrichtlinien mit dem Ground Truth-Editor zu verbinden

Vorgaben für den Ground Truth-Editor konfigurieren

Ein Projektleiter kann Vorgaben für die Verwendung von Farben und Tastenkombinationen im Ground Truth-Editor festlegen.

Vorgehensweise

So geben Sie Vorgaben für die grafische Darstellung beim Arbeiten mit dem Ground Truth-Editor an:

Melden Sie sich als Knowledge Studio-Administrator an und wählen Sie Ihren Arbeitsbereich aus.
Wählen Sie im linken Navigationsbereich Einstellungen > Einstellungen für Dokumentannotation aus.
Wählen Sie die Registerkarte Entitätstypen oder Beziehungstypen aus.
Wählen Sie den Entitäts- oder Beziehungstyp aus, den Sie ändern möchten, und klicken Sie anschließend auf Tastenkombinationen und Farben bearbeiten. Für jeden Typ können Sie Folgendes definieren:
- Direktaufruf über die Tastatur, d. h., ein Benutzer kann <key> eingeben, um die Typbezeichnung auf hervorgehobenen Text anzuwenden. Wenn Sie beispielsweise das Tastenkürzel o für ORGANIZATION definieren, kann der Benutzer Text auswählen und anschließend die Taste o drücken, um den Entitätstyp ORGANIZATION auf den hervorgehobenen Text anzuwenden. Wenn Sie einen Großbuchstaben zuweisen, muss der Benutzer Shift+<key> drücken.
- Textfarbe. Stellen Sie sicher, dass die Textfarbe im Kontrast zur Hintergrundfarbe steht, damit die hinzugefügte Bezeichnung erkennbar ist.
- Hintergrundfarbe. Beim Annotieren wird die von Ihnen hinzugefügte Entitätsbezeichnung mit dieser Farbe hinterlegt.
Beim Annotieren von Dokumenten können die definierten Tastenkombinationen von Annotatorbenutzern verwendet werden, um schnell und einfach Annotationen hinzuzufügen. Die Annotationsbeschriftung und die Textfarben erleichtern den Annotatoren das Erkennen der Typen, nachdem Annotationen zu einem Dokument hinzugefügt wurden.
- Wenn Sie vermeiden möchten, dass die Annotatorbenutzer bestimmte Entitäts- oder Beziehungstypen den Erwähnungen zuordnen, können Sie diese Typen im Ground Truth-Editor ausblenden. Dadurch wird die Liste der für die Benutzer angezeigten Typoptionen kürzer und übersichtlicher. Um dies zu erreichen, wählen Sie das Kontrollkästchen Aktiv für den betreffenden Typ ab.
Beim Zuordnen neuer Tastenkombinationen und Farben können Sie eine Vorschau der Änderungen anzeigen.
Außerdem können Sie die Standardfarbe für die Hervorhebung von Auswahlen ändern. Die Hervorhebungsfarbe wird für den Rahmen verwendet, in den der von Ihnen ausgewählte Text eingeschlossen wird. Standardmäßig wird der Rahmen hellblau dargestellt. Sie können diese Farbe auf der Registerkarte Auswahl hervorheben ändern, damit die Begrenzung des ausgewählten Texts leichter zu erkennen ist.

Zugehörige Tasks

Typsystem ändern, ohne von Annotatorbenutzern erstellte Annotationen zu verlieren

Schwellenwert für die Übereinstimmung der Annotatoren festlegen

Als Hilfe für die Entscheidung, ob eine annotierte Dokumentationsgruppe akzeptiert oder abgelehnt werden soll, können Sie einen Schwellenwert für die Übereinstimmung der Annotatoren (Inter-Annotator Agreement, IAA) angeben. Dieser Schwellenwert ermöglicht das Vergleichen des Scores für die Übereinstimmungswerts de Annotatoren mit dem vom System berechneten IAA-Score.

Informationen zu dieser Task

Geben Sie einen Auswertungsschwellenwert an, um die Abweichung der Annotierung eines Dokuments durch verschiedene Annotatorbenutzer zu vergleichen. Wenn die Annotationen eines Annotatorbenutzers so stark von den Annotationen eines anderen Benutzers abweichen, dass sich ein niedriger Score ergibt, wird dies als fehlende Übereinstimmung der Annotatoren gewertet. Die fehlende Übereinstimmung muss überprüft und behoben werden.

Vorgehensweise

So legen Sie den Schwellenwert für die Übereinstimmung der Annotatoren fest:

Melden Sie sich als Knowledge Studio-Administrator an und wählen Sie Ihren Arbeitsbereich aus.
Wählen Sie die Registerkarte Einstellungen > IAA-Einstellungen aus.
Geben Sie einen Wert zwischen 0 und 1 an (z. B. .5 oder .8) und klicken Sie anschließend auf Speichern.

Verbindung zu Annotationsrichtlinien herstellen

Nachdem Sie Annotationsrichtlinien für Ihr Projekt erstellt haben, können Sie Knowledge Studio so konfigurieren, dass eine Verbindung zu den Richtlinien hergestellt wird. Annotatorbenutzer können dann beim Annotieren von Dokumenten auf die Richtlinien zurückgreifen, um die richtigen Annotationen auszuwählen. Außerdem bieten die Richtlinien Hilfestellung für die Behebung von Annotationskonflikten in Dokumenten mit Überschneidungen.

Vorgehensweise

So verbinden Sie den Ground Truth-Editor und das Beurteilungstool mit Ihren Annotationsrichtlinien:

Melden Sie sich als Knowledge Studio-Administrator an und wählen Sie Ihren Arbeitsbereich aus.
Wählen Sie die Registerkarte Einstellungen > Richtlinien für Annotationen aus.
Geben Sie die URL des Standorts an, an dem Ihre Richtlinien gehostet werden.
Klicken Sie auf Speichern. Das System verbindet den Ground Truth-Editor und das Beurteilungstool mit Ihren Annotationsrichtlinien. Entsprechend den Zugriffsberechtigungen für Benutzer, die Sie beim Erstellen der Richtlinien festgelegt haben, können Annotatorbenutzer und Arbeitsbereichsadministratoren gegebenenfalls die Richtlinien öffnen und aktualisieren, um Erläuterungen und Beispiele hinzuzufügen.

Annotationsrichtlinien

Es gibt kein vorgeschriebenes Format zum Dokumentieren der Richtlinien. Die Richtlinien sollten jedoch ausführliche Beispiele enthalten. Annotatorbenutzer müssen genau nachvollziehen können, welcher Entitätstyp im jeweiligen Kontext auf eine Erwähnung anzuwenden ist und welche Beziehungstypen für ein bestimmtes Erwähnungspaar gelten. Beispiele aus dem Kontext des jeweiligen Fachgebiets sind häufig die beste Methode, um deutlich zu machen, welche Annotationen ausgewählt werden sollten.

Annotationsrichtlinien sind nicht statisch. Im Verlauf Ihres Projekts werden vermutlich Instanzen von Erwähnungen und Beziehungen erkannt, die in den Richtlinien nicht oder nicht korrekt erfasst sind. Außerdem werden womöglich Inkonsistenzen zwischen mehreren Annotatorbenutzern auftreten, die die Richtlinien verschieden interpretieren. Durch das Aktualisieren der Richtlinien in solchen Fällen kann die Richtigkeit und Konsistenz der Annotationen im Laufe der Zeit verbessert werden.

Dokumente können erst als Ground Truth eingestuft werden, nachdem alle durch abweichende Annotationen der verschiedenen Annotatorbenutzer verursachten Konflikte behoben wurden. Eine wichtige Methode zur Behebung dieser Konflikte ist das klärende Gespräch über die Ursachen der Abweichungen, damit Annotatorbenutzer aus den Fehlern lernen können. Die Verbesserung und Klarstellung der Richtlinien kann dazu beitragen, die Zahl der Konflikte zu verringern und dafür zu sorgen, dass zutreffend und konsistent annotierte Dokumente in die Ground Truth hochgestuft werden.

Als Hilfe für die Verwaltung der Richtlinien können Sie potenziell umfangreiche Richtliniendokumente in mehrere Teile aufteilen (z. B. Annotationsrichtlinien für Entitäten, Annotationsrichtlinien für Beziehungen und Annotationsrichtlinien für Koreferenzen zwischen Erwähnungen). In einem Bereich vorgenommene Änderungen müssen ausgewertet und mit Änderungen abgeglichen werden, die in einem anderen Bereich vorgenommen wurden. Wenn Sie beispielsweise einen Entitätstyp hinzufügen, überprüfen Sie die Annotationsrichtlinien für Beziehungstypen und geben Sie an, in welcher Beziehung der Entitätstyp zu anderen Entitätstypen stehen kann.

Beispiel für Annotationsrichtlinien

Für Annotationsrichtlinien sind in den meisten Fällen zahlreiche Detailinformationen und Beispiele erforderlich, um eine konsistente Annotierung von Text durch Annotatorbenutzer sicherzustellen.

Das vorliegende Beispiel enthält eine einfache Richtlinie, die für ein kleines Fachgebiet mit Berichten über Verkehrsunfälle erstellt wurde.

Taskziele

Projektmitarbeiter mit dem iterativen Prozess für manuelle Annotation und für die Optimierung eines Machine Learning-Modells vertraut machen.
Dokumente aus der Automobilbranche mit dem Ground Truth-Editor annotieren und mithilfe der Annotationen ein Machine Learning-Modell trainieren. Die Entitätstypen, Beziehungstypen und Koreferenzen der Entitäten nach Bedarf annotieren.

Schreibweisen für Richtlinien

Eckige Klammern [ ] geben den Bereich an, der annotiert werden soll, wenn weniger als der gesamte Text in Anführungszeichen annotiert ist.

Negationen bei Bedarf einbeziehen (z. B. [no injuries]ACCIDENT_OUTCOME). Im Typsystem wird keine Entitätsklasse zum Darstellen von Negationen verwendet.

Entitätstypen

Im Typsystem werden weder untergeordnete Entitätstypen oder -rollen verwendet noch Erwähnungstypen oder -klassen.

Entitätstypen	Richtlinien	Beispiele
UNFALLERGEBNIS	Eine Folge (Konsequenz) eines Unfalls. Gilt sowohl für Menschen (z. B. Tod) als auch für Fahrzeuge (z. B. verbeult). Kann die Begriffe 'abgeschleppt' und 'Airbag wurde ausgelöst' als Indikatoren für den Umfang der Beschädigung, sowie 'ins Krankenhaus
eingeliefert' (nicht ins Bestattungsinstitut) als Indikatoren für die Schwere der Verletzung enthalten. Kann eine Negation
enthalten.	"[Opfer]", "[Verletzung]", "[Totalverlust]", "[keine Verletzungen]", "[Abgeschleppt] aufgrund von [Beschädigung]", [nicht abgeschleppt], "Airbag hat [nicht ausgelöst]" (Airbag selbst muss FAHRZEUGTEIL sein, steht in Zusammenhang mit diesem UNFALLERGEBNIS) und Anzeichen für Wertigkeit.
Bedingung	Wetter- oder Straßenbedingungen; ein Aspekt des Schauplatzes, der sich auf die Wahrscheinlichkeit für das Eintreten eines Unfalls
auswirken und sich von Tag zu Tag ändern kann (unabhängig vom Fahrzeug und vom Fahrer). Kann ein Fehler des Fahrzeugführers oder
eine technische Fehlfunktion sein und muss als problematisch erscheinen. Sollte STRUKTUR ausschließen.	"trocken", "regnerisch", "Baustelle", "starker Verkehr", "Tageslicht", aber nicht "grasig" oder "berauscht". "Platten", "überkorrigiert" (Lenkung), "eingeschlafen", "berauscht", "[Ausweichen fehlgeschlagen]ZUSTAND einer [Kurve]STRUKTUR", "[Spur] verlassen" oder Straßenrand, aber nicht "Überholversuch", es sei denn, dieser Ausdruck wird von "ohne genügend Platz" oder etwas Ähnlichem begleitet, oder "Straße verlassen", was als VORFALL gilt.
VORFALL	Die konkrete Erwähnung einer Kollision oder einer eindeutig unangebrachten
und zerstörerischen Fahrzeugbewegung, wie das Abkommen von der Fahrbahn oder ein anderer schädlicher Vorfall,
zum Beispiel ein Fahrzeugbrand. Erstellen Sie keine Koreferenzen für nicht identische
Bewegungen wie 'kollidierte', 'stieß zurück' und 'kam schließlich zum Stillstand', auch wenn diese Erwähnungen
in engem Zusammenhang stehen. STRUKTUR aus dem Bereich ausschließen; Beispiel: "[hat]INCIDENT in einem [Graben]STRUKTUR ruhen lassen" oder "[bleibt in Kontakt]VORFALL mit der [Guardrail]STRUKTUR".
HERSTELLER	The company that makes the vehicle	Toyota, Mazda, General Motors
Modell	Die Art des Fahrzeugs, das von einem bestimmten Hersteller produziert wird. Schließen
Sie zusätzliche Indikatoren für die Modell- oder Ausstattungsvariante wie 'LX' oder 'XE' aus (annotieren Sie in dem Ausdruck 'Xterra SE'
nur die Erwähnung 'Xterra').	Kamry
BAUJAHR	Das Baujahr, wenn es Bestandteil des Fahrzeugnamens ist.	'99, 2001
FAHRZEUGTEIL	Eine Komponente innen oder außen an einem Fahrzeug,
unabhängig von der Beteiligung am Unfall. Schließen Sie Aufzählungen der Funktionen solcher Teile aus. Berücksichtigen Sie Indikatoren für die
Einbauposition des Teils im Fahrzeug oder Dinge, die zwar auf einen Teil des Fahrzeugs hinweisen, aber keine Fahrzeugkomponente sind. Kann
im Plural angegeben sein. Kann Angaben zur Position im Fahrzeug enthalten, wie z. B. "[Fahrerairbag]", "[RF-Tür]" (rechts vorne), "[RR] Beifahrer", "[LF-und RF-Airbags]", "[erste Reihe passive/automatische Randbedingungen]", "[Sicherheitssystem] mit EDR-Funktionalität". Schließen Sie Bootsanhänger, Tanks usw. mit ein (mit Ausnahme von Aufliegern, die durch
Baujahr/Modell/Hersteller eindeutig angegeben werden können).	Querschnitt, Frontansicht, Reifen, Lenkrad, Airbag usw.
PERSON	Jede in einem Unfallbericht beschriebene Person (kann der Fahrer
oder ein Beifahrer/Passagier/Insasse eines Fahrzeugs, ein Fußgänger oder ein Zeuge sein). Annotieren Sie keine Adjektive, annotieren Sie also nicht "a [69-year-old] drove", sondern "a 69-year-old [male] drove". Kann Plural sein, z. B. "Insassen LR und RV []". Schließt Personen aus, die nach einem Vorfall eintreffen. > Wenn kein Entitätstyp "Tier" vorhanden ist, verwenden Sie PERSON, um Tierarten zu kennzeichnen, die an Kollisionen beteiligt sind/zu Kollisionen führen, da ihre Bewegungsfähigkeit sie eher einer PERSON als einer STRUKTUR gleicht. Hinweis:"Beifahrerairbag" ist ein PART_OF_CAR; es bedeutet nicht, dass eine Person vorhanden ist.
STRUKTUR	Eine Struktur befindet sich auf,
neben oder in einer Straße. Schließen Sie straßenspezifische Adjektive ein, die für den Hergang eines
Unfalls relevant sein können; schließen Sie andere Adjektive aus.	[zweispurige Straße mit Gegenverkehr], [Linker Fahrstreifen], Fahrstreifen Richtung [Osten], 2 Fuß tiefer [Graben], [Rechte Fahrstreifenmarkierung], [Ausfahrt], [Mast], [Baum], steil abfallend [Böschung]
FAHRZEUG	Jeder Verweis auf ein Fahrzeug, der
weder MODELL noch HERSTELLER oder BAUJAHR enthält. Kann im Plural angegeben sein; in diesem
Fall sehr wahrscheinlich keine Koreferenz und keine Teil-der-Gruppe-Beziehung.	"Der [LKW]", "das [Auto]", "[V1]s"

Beziehungstypen

Im Typsystem werden Beziehungstypen verwendet, jedoch keine Beziehungsklassen oder andere Attribute für Beziehungen. Die Negation wird nicht durch eine Beziehungsklasse codiert, sondern durch die Bereiche der Erwähnungen, z. B. [keine Insassen]PERSON wurden [ins Krankenhaus eingeliefert]UNFALLERGEBNIS mit den beiden Erwähnungen, die durch den Beziehungstyp 'sufferedFrom' verknüpft sind.

Mögliche Entitätstypen für erste Erwähnung	Beziehungstyp	Mögliche Typen für die zweite Erwähnung
FAHRZEUG, MODELL, HERSTELLER ²	hasProperty	HERSTELLER, MODELL, BAUJAHR
PERSON	occupantOf	FAHRZEUG, MODELL, HERSTELLER, MODELLJAHR ¹, FAHRZEUGTEIL, STRUKTUR
PERSON, FAHRZEUGTEIL, STRUKTUR, FAHRZEUG, MODELL, HERSTELLER, MODELLJAHR ¹	sufferedFrom	UNFALLERGEBNIS
FAHRZEUG	driveUnder	BEDINGUNG, UNFALLURSACHE
FAHRZEUGTEIL	locatedOn	FAHRZEUG, MODELL, HERSTELLER, MODELLJAHR ¹
UNFALLERGEBNIS	outcomeOf	VORFALL
VORFALL	causedBy	BEDINGUNG, UNFALLURSACHE (Erinnerung: erfordert einen schriftlichen Nachweis der Kausalität)
VORFALL	impactPoint	PERSON, FAHRZEUGTEIL, STRUKTUR, FAHRZEUG, HERSTELLER, MODELL oder MODELLJAHR ¹, die getroffen wurden oder an dem Unfall beteiligt waren. impactPoint der STRKTUR enthält keine bloße Angabe der Position eines Aufpralls, an der diese STRUKTUR nicht beteiligt ist. Daher gilt sie nicht für zwei Fahrzeuge, die in einer [Kreuzungs]-STRUKTUR kollidieren, sondern für ein Fahrzeug, das eine [Böschungs]-STRUKTUR trifft.

Hinweise zur Tabelle

Die Bezeichnung FAHRZEUG/MODELL/HERSTELLER/BAUJAHR verweist auf die Erwähnung eines Fahrzeugs. Die letzten drei Elemente der Bezeichnung gelten für Texte mit Angaben wie 'der Accord', 'der Honda', oder in seltenen Fällen auch 'der '99'. Die vier Entitätstypen sind in der Reihenfolge ihrer Priorität angegeben, d. h. im Beispiel 'der Fahrer des Honda Accord '99', steckt die Beziehung 'Fahrer' (PERSON) InsasseVon Accord (MODELL) und 'Accord' steht in der Beziehung 'hatEigenschaft' zu 'Honda' und zu ''99'.
MODELL und HERSTELLER können nur das erste Argument von 'hatEigenschaft' sein, wenn sie als Nomen (Verweise auf ein Fahrzeug) vorkommen. MODELL kann in der Beziehung 'hatEigenschaft' zu HERSTELLER und BAUJAHR stehen, wie bei 'der Honda Accord '99 fuhr'. HERSTELLER kann nur in der Beziehung 'hatEigenschaft' zu BAUJAHR stehen, wie bei 'der Honda '99 fuhr'.