Diese Dokumentation bezieht sich auf IBM Watson® Knowledge Studio on IBM Cloud®. Die Dokumentation für die Vorgängerversion von Knowledge Studio on IBM Marketplace kann über diesen Link aufgerufen werden.

Dokumente annotieren

Die Informationen in diesem Abschnitt sollen Experten eines Fachgebiets dabei unterstützen, Dokumente aus ihrem Fachgebiet unter Verwendung des Ground Truth-Editors zu annotieren.

Auf Arbeitsbereiche zugreifen

Sie einen Arbeitsbereich erst anzeigen, nachdem ein berechtigter Benutzer den Arbeitsbereich erstellt und Ihnen Zugriff auf den Arbeitsbereich erteilt hat.

Wenn ein Administrator Sie zu einer Knowledge Studio-Instanz hinzufügt, wird Ihnen die Rolle des Annotatorbenutzers zugewiesen. Als Inhaber dieser Rolle dürfen Sie keinen Arbeitsbereich erstellen. Arbeitsbereiche müssen von einem Administrator erstellt werden. Anschließend muss der Administrator oder ein Projektleiter, der vom Administrator dem Arbeitsbereich zugeordnet wurde, die folgenden Schritte ausführen:

  1. Eine Annotationsgruppe erstellen und Ihnen zuordnen.
  2. Eine Task erstellen, die Ihnen das Annotieren der zugehörigen Dokumente ermöglicht.

Sie können den Arbeitsbereich erst anzeigen, nachdem Ihnen eine Annotationstask zugeordnet wurde.

Wenn auf der Seite 'Arbeitsbereiche' keine Arbeitsbereiche angezeigt werden, obwohl Sie eingeladen wurden, an einem Knowledge Studio-Arbeitsbereich mitzuwirken, bitten Sie die Person, von der Sie eingeladen wurden, die erforderlichen Schritte auszuführen.

Best Practices für die Annotation

Die vorliegenden Best Practices enthalten Anleitungen und Beispiele für den Einstieg in das Annotieren von Dokumenten.

  • Annotieren Sie alle Dokumente vollständig und lückenlos.

    Der Machine Learning-Prozess lernt aus Negativbeispielen (nicht annotierten Texten) ebenso wie aus annotierten Texten. Achten Sie daher sorgfältig darauf, was Sie annotieren und lassen Sie keine Lücken. Wenn Sie nur die ersten 5 von insgesamt 10 Dokumenten in einer Gruppe annotieren, lernt das Modell aus den nicht erfassten Annotationen in den letzten 5 Dokumenten, dass alle nicht erfassten Erwähnungen von Entitäten oder Beziehungen in diesen Dokumenten ignoriert werden sollen. Diese Unterlassung kann den gesamten Nutzen Ihrer gründlichen Arbeit an den ersten 5 Dokumenten zunichte machen.

  • Konsistentes Annotieren ist mindestens genau so wichtig wie richtiges Annotieren.

    Manche Festlegungen in den Annotierungsrichtlinien sind unerheblich (z. B. ob die Ausstattungsvariante des Fahrzeugmodells Bestandteil des Modellnamens ist oder nicht, wie bei Camry oder Camry LX). Welche Richtlinie gewählt wird, fällt kaum ins Gewicht. Viel wichtiger ist, dass sich das Projektteam auf eine Richtlinie festlegt und sie beim Annotieren durchgängig anwendet.

  • Beschriften Sie die Entitätserwähnungen nur an den Wortgrenzen, da die Suchfunktionen zur Erkennung von Erwähnungen auf der Granularitätsebene der Wortgrenzen arbeitet.

  • Beschriften Sie möglichst nur Entitätserwähnungen, die nicht mehr als zwei oder drei benachbarte Wörter umfassen.

    Dies ist nicht immer möglich oder einfach. Betrachten Sie die folgenden Beispiele:

    • Das Quellendokument enthält einen Satz, in dem (für die Zwecke der Anwendung, von der das Typsystem verwendet wird) das Problem und die zugehörige Ursache annotiert werden soll.

      The electronic module was burnt because the wrong voltage was applied.

      Es liegt nahe, das Problem und die Ursache wie folgt zu annotieren:

                  [PROBLEM]                           [CAUSE]

      [The electronic module was burnt] [because the wrong voltage was applied].

      Es ist jedoch nicht empfehlenswert, solche langen Ausdrücke als Entitätstypen zu annotieren. Suchen Sie stattdessen die wichtigen Entitäten und geben Sie die Zuordnung dieser Entitäten zueinander an, indem Sie eine Beziehungserwähnung definieren.

             [LOCATION]          [SYMPTOM]                [CAUSE]

      The [electronic module] was [burnt] because the [wrong voltage] was applied.

                    ^---isStatusOf--| |------causedBy-------^

    • Das Quellendokument enthält ein aufgespaltenes Verb, das annotiert werden soll. Wie kann nicht zusammenhängender Text als einzelner Entitätstyp annotiert werden? Indem jede Entitätserwähnung annotiert und beide durch eine Beziehungserwähnung als aufeinander bezogen gekennzeichnet werden.

                [EVENT_ANSWER]      [EVENT_ANSWER]

      All of the phones were ringing, but he knew he should [pick] the red phone [up] first.

                          ^----splitType-----^

  • Vermeiden Sie Erwähnungen mit Überschneidungen, d. h. zwei verschiedene Entitätstypbezeichnungen, die auf einen einzelnen Ausdruck in einem Dokument angewendet werden. In dem Beispielsatz Sie stiftete die Zeitschriften ihres Vaters der Willy-Brandt-Bibliothek. entsteht eine Erwähnungsüberschneidung, wenn der einzelne Ausdruck JFKWilly-Brand-BibliothekPERSON mit JFK Library=LOCATION und = annotiert wird. Der Ausdruck in diesem Satz bezieht sich mehr auf die Bibliothek als auf die Person, daher sollte nur die Bibliothek annotiert werden.

    Zum Decodieren solcher Strukturen sind mehrere parallele Aufrufe eines Machine Learning-Modells erforderlich, da bei der Erkennung von Erwähnungen nur nach einer einzigen vorhandenen bzw. nicht vorhandenen Bezeichnung für jedes Worttoken gesucht wird.

  • Legen Sie fest, wie das Team mit Listen und Pluralformen im laufenden Text umgehen soll. Beispiel: Im Typsystem KLUE werden die Entitätstypen PERSON und PEOPLE verwendet, um Singular und Plural zu unterscheiden. Die Liste Barack, Michelle, Malia und Sasha Obama kann wahlweise wie folgt annotiert werden:

    • Annotieren Sie jedes Listenelement als einzelne Entitätserwähnung (Barack, Michelle, Malia und Sasha Obama sind einzelne Erwähnungen des Typs PERSON)
    • Annotieren Sie den ganzen Ausdruck als eine einzige Entitätserwähnung in Pluralform (Barack, Michelle, Malia und Sasha Obama ist eine einzige Erwähnung des Typs PEOPLE).

    Keiner dieser beiden Ansätze ist für sich genommen besser als der andere. Sie sollten nur dafür sorgen, dass Ihr Team sich für einen davon entscheidet und diesen durchgängig auf alle Listen anwendet, die in den Dokumenten vorkommen.

  • Eine Koreferenz wird verwendet, wenn Erwähnungen auf dieselbe Entität in der realen Welt verweisen. Beziehungen werden zwischen eigenständigen Entitäten verwendet. Daher sollten zwei Erwähnungen niemals durch eine Koreferenz und durch eine Beziehung verknüpft werden.

Annotieren mit dem Ground Truth-Editor

Wenn ein Annotatorbenutzer ein Dokument annotiert, wird das Dokument im Ground Truth-Editor geöffnet. Der Ground Truth-Editor ist ein grafisch orientiertes Tool, mit dem Annotatorbenutzer Bezeichnungen in Text einfügen.

Das Ziel der Annotatorbenutzer besteht darin, Erwähnungen, Beziehungen und koreferenzierte Erwähnungen zu beschriften, damit das Machine Learning-Modell trainiert werden kann, diese Muster in neuen Texten zu erkennen. Annotieren Sie mit diesem Tool zumindest die Erwähnungen von Entitäten. Wenn die Anwendung, von der das resultierende Modell verwendet wird, keine Koreferenzen und Beziehungserwähnungen erkennen und extrahieren soll, dann müssen Sie keine Koreferenzen und Beziehungserwähnungen annotieren.

Die Konkordanz ist ein zusätzliches (optionales) Tool, mit dem Annotatorbenutzer das Annotieren häufig wiederholter Erwähnungen beschleunigen können.

Wählen Sie einen Modus für das manuelle Annotieren von Dokumenten aus:

  • Erwähnungsmodus

    In diesem Modus ordnet der Annotatorbenutzer die im Typsystem definierten Entitätstypen aussagefähigen Wörtern oder Ausdrücken im Text zu. Beispiel: Allen Erwähnungen von Personennamen kann der Entitätstyp PERSON zugeordnet werden. Das Annotieren von Erwähnungen ist obligatorisch und muss vor dem Annotieren von Beziehungstypen und Koreferenzen für Erwähnungen durchgeführt werden.

    Der Annotatorbenutzer kann bei Bedarf mit dem Konkordanztool sicherstellen, dass identischer Text im ganzen Dokument und über Annotationsgruppen hinweg stets mit demselben Entitätstyp annotiert wird.

  • Beziehungsmodus

    In diesem Modus verknüpft der Annotatorbenutzer Erwähnungen durch das Zuordnen eines Beziehungstyps, der im Typsystem definiert ist. Beispiel: Die Erwähnung John Smith kann durch den Beziehungstyp IBM mit der Erwähnung 'employedBy' verknüpft werden. Das Annotieren von Beziehungstypen ist optional und kann vor oder nach dem Annotieren von Erwähnungen als Koreferenzen erfolgen.

  • Koreferenzmodus

    In diesem Modus identifiziert der Annotatorbenutzer Erwähnungen, die das gleiche Ding bezeichnen, um die durchgängige (konsistente) Verwendung von Annotationen zu gewährleisten, wenn nicht die gleichen Wörter verwendet werden. Beispiel: Die Erwähnung 'IBM' im ersten Satz, die Erwähnung International Business Machines und die Erwähnung 'IBM' in einem späteren Satz bezeichnen dasselbe Ding und sollten daher alle mit demselben Entitätstyp (z. B. ORGANIZATION) annotiert werden. Das Annotieren von Erwähnungen als Koreferenzen ist optional und kann vor oder nach dem Annotieren von Beziehungstypen erfolgen.

Tipps zur Verwendung des Editors

  • Speichern Sie den Arbeitsfortschritt regelmäßig.
  • Wenn Ihnen ein Fehler unterläuft, können Sie die vorherige Aktion durch Drücken der Tastenkombination Strg + Z rückgängig machen. Um die widerrufene Aktion erneut auszuführen, drücken Sie die Tastenkombination Strg + Y. Sie können bis zu 10 Aktionen rückgängig machen, die Sie beim Bearbeiten des aktuellen Dokuments zuletzt ausgeführt haben. Die Aktionen gehen verloren, sobald Sie das Dokument schließen. Die Aktionen können nur in umgekehrter Reihenfolge widerrufen werden. Beim Widerrufen muss jeweils der Modus aktiviert sein, in dem die Aktion ursprünglich ausgeführt wurde. Aktionen, die mit dem Konkordanztool ausgeführt wurden, können nicht rückgängig gemacht werden.

Entitätserwähnungen annotieren

Beim Annotieren von Entitätserwähnungen wählt der Annotatorbenutzer eine Textzeichenfolge aus und ordnet eine Bezeichnung zu, die möglichst zutreffend beschreibt, was diese Textzeichenfolge darstellt. Als Bezeichnungen können die Entitätstypen zugeordnet werden, die im Typsystem des Arbeitsbereichs definiert sind.

Informationen zu dieser Task

Bevor Sie mit dem Annotieren der Entitätserwähnungen in einem Dokument beginnen, sollten Sie zunächst das ganze Dokument lesen. Auf diese Weise kann beim Annotieren der gesamte Kontext berücksichtigt werden. Dadurch erhalten Sie tiefere Einblicke in die Beziehungen zwischen Entitätserwähnungen und in die Koreferenzen, die möglicherweise bei weiteren Durchgängen durch das Dokument markiert werden sollten.

Wenn Sie ein Dokument zum Annotieren öffnen, können Sie bei Bedarf mit dem Konkordanztool zuerst wiederholt vorkommende Entitätserwähnungen annotieren und danach einzelne Entitätserwähnungen. Im Anschluss daran können Sie optional Beziehungserwähnungen und Koreferenzen in beliebiger Reihenfolge annotieren. Das Annotieren von Entitätserwähnungen ist obligatorisch. Ob Sie zusätzlich Beziehungserwähnungen und Koreferenzen annotieren, hängt vom Verwendungszweck Ihres Modells und den Anforderungen des betreffenden Fachgebiets ab. Solange Sie keine Koreferenzen angeben, wird jede Entitätserwähnung als eigenständige Entität eingestuft.

Tipps:

  • Kurze Entitätserwähnungen eignen sich besser zum Trainieren, da das Machine Learning-Modell kürzere Muster leichter erkennen und mit den richtigen Annotationstoken versehen kann.

  • Wenn Sie im Arbeitsbereich einen wörterverzeichnisbasierten Tokenizers verwenden und zusammengesetzte Begriffe und Interpunktion in Ihren Trainingsdaten verarbeiten möchten, können Sie die Begriffe zu einem Wörterverzeichnis hinzufügen und einen Wörterverzeichnisannotator zum Vorannotieren der Begriffe verwenden. Um beispielsweise Satzumbrüche für Begriffe zu vermeiden, die Interpunktion enthalten, fügen Sie Begriffe wie Yahoo! und Dr. zu einem Wörterbuch hinzu. Falls Ihre Trainingsdaten Wörter mit Bindestrichen oder alphanumerische Akronyme wie Hi-C oder MS-60-70 enthalten, fügen Sie diese Begriffe ebenfalls zum Wörterverzeichnis hinzu. Wenn Vorkommen der Begriffe unabhängig von der Groß-/Kleinschreibung annotiert werden, fügen Sie die Begriffe in Kleinschreibung hinzu (z. B. hi-c). Um Varianten zu annotieren, fügen Sie die Varianten als Oberflächenformen (z. B. MS-60-70 und MS 60 70) hinzu.

    Verwenden sie diese Vorgehensweise nicht, wenn Sie mit dem Standardtokenizer arbeiten.

Vorgehensweise

So annotieren Sie Entitätserwähnungen in einem Dokument:

  1. Melden Sie sich als Annotatorbenutzer an (oder als Administrator, dem Dokumente zum Annotieren zugeordnet wurden). Arbeitsbereiche mit Tasks, die Ihnen zugeordnet sind, werden angezeigt.

  2. Öffnen Sie einen Arbeitsbereich und klicken Sie anschließend auf Machine Learning-Modell > Annotationen und auf die Registerkarte Annotationstasks. Die Ihnen zugeordneten Annotationstasks werden angezeigt.

  3. Öffnen Sie die Annotationstask, an der Sie arbeiten möchten. Die Ihnen zugeordneten Annotationsgruppen werden angezeigt.

  4. Klicken Sie auf Annotieren, um die Annotationsgruppe zu öffnen, die Sie bearbeiten möchten. Die Dokumente in der Annotationsgruppe werden angezeigt.

  5. Öffnen Sie das Dokument, das Sie annotieren möchten. Standardmäßig wird das Dokument im Erwähnungsmodus geöffnet. Dies ist der Modus, den Sie zum Annotieren von Entitätserwähnungen verwenden.

  6. Beginnen Sie mit der Annotation von Entitätserwähnungen.

    1. Klicken Sie auf ein Wort im Text, das Sie als Erwähnung eines bestimmten Entitätstyps aus dem Typsystem erkennen. Klicken Sie bei Entitätserwähnungen, die aus mehr als einem Wort bestehen, auf ein weiteres Wort oder ziehen Sie den Auswahlrahmen, um mehrere Wörter oder zusammengesetzte Wörter auszuwählen.

    2. Wählen Sie entweder im rechten Teilfenster den Entitätstyp aus, den Sie anwenden möchten, oder geben Sie die Tastenkombination für den Entitätstyp ein.

      Wenn bereits Annotationsrichtlinien mit dem Arbeitsbereich verknüpft waren und Sie Unterstützung beim Auswählen der zutreffenden Annotation benötigen, klicken Sie auf Richtlinien anzeigen. Wenn Sie über die entsprechenden Zugriffsberechtigungen für die Site verfügen, auf der die Richtlinien gehostet werden, können Sie die Richtlinien nach dem Öffnen aktualisieren (z. B. durch Hinzufügen von Erläuterungen und Beispielen).

    3. Vermeiden Sie es, Erwähnungen mit Überschneidungen zu erstellen. Wenn jedoch eine Erwähnung mit Überschneidungen erforderlich ist, klicken Sie auf Ersetzen, um das Hinzufügen der Erwähnung zu vereinfachen. Eine Überschneidung tritt auf, wenn Sie mehr als eine Bezeichnung auf eine Entitätserwähnung anwenden. Prüfen Sie die folgenden Vorschläge:

      • Annotieren Sie Sub-Industrie als eine Erwähnung und nicht nur Industrie oder Sub.
      • Erstellen Sie keine Annotation PERSON mit Überschneidung für das Element JFK in JFK International Airport. Die ganze Erwähnung JFK International Airport sollte nur als FACILITY bezeichnet werden.
      • Erstellen Sie für den Text Chefs keine zwei Annotationen (eine Annotation PERSON für Chef und eine Annotation PEOPLE für Chefs). Annotieren Sie Chefs nur als Entitätstyp PEOPLE.

      Wenn zu viele Erwähnungen mit Überschneidungen vorhanden sind, deutet dies in der Regel darauf hin, dass die Annotationsrichtlinien nicht eindeutig sind und durch bessere Beispiele für die Behandlung zusammengesetzter Wörter in Ihren Quellendaten ergänzt werden sollten.

    4. Um eine soeben hinzugefügte Annotation entfernen möchten, drücken Sie die Tastenkombination Strg + Z, um die Aktion rückgängig zu machen. Wenn Sie eine Entitätserwähnung zu einem späteren Zeitpunkt entfernen möchten, klicken Sie mit der linken Maustaste auf eine Erwähnung und drücken Sie die Löschtaste oder klicken Sie auf Details anzeigen und anschließend auf X neben dem zugewiesenen Entitätstyp für die Erwähnung.

  7. Je nach Typsystem können Sie möglicherweise Attribute für eine Entitätserwähnung konfigurieren (z. B. zum Zuordnen einer Entitätsrolle oder eines Subtyps bzw. einer Erwähnungsklasse oder eines Typs). Wenn dies der Falls ist, wählen Sie eine Erwähnung aus und klicken Sie auf Attributansicht.

  8. Durch Klicken auf Speichern können Sie Ihre Arbeit jederzeit speichern.

Nächste Schritte

Nachdem Sie alle Entitätserwähnungen, Beziehungserwähnungen und Koreferenzen im Dokument nach Bedarf annotiert haben, ändern Sie den Dokumentstatus von In Bearbeitung in Abgeschlossen, klicken Sie auf Speichern und schließen Sie dann das Dokument.

Nachdem Sie alle Dokumente vollständig annotiert und als Abgeschlossen markiert haben, wird der Status der Annotationsgruppe in Übergeben geändert. Daran erkennen die Projektleiter, dass sie mit dem Beurteilen der Dokumente im Hinblick auf die Übereinstimmung zwischen den Annotatoren beginnen können, und die Dokumente abzulehnen oder akzeptieren und in die Ground Truth hochstufen können.

Wiederkehrende Erwähnungen annotieren

Mit dem optionalen Konkordanztool können Sie mehrere Vorkommen einer Erwähnung auf einmal annotieren. Das Tool bietet die Möglichkeit, den gleichen Text innerhalb eines Dokuments und über Annotationsgruppen hinweg konsistent mit dem gleichen Entitätstyp zu annotieren. Mit diesem Tool können Sie die konsistente Annotierung in mehreren Dokumenten gewährleisten. Sie können beispielsweise im Erwähnungsmodus jedes Vorkommen der Erwähnung Verschlüsselung einzeln annotieren oder mit dem Konkordanztool alle Vorkommen der Erwähnung Verschlüsselung annotieren. Bei beiden Vorgehensweisen lernt das Modell aus dem Entitätstyp, den Sie auf die Erwähnung anwenden.

Informationen zu dieser Task

Obwohl das Konkordanztool optional ist, empfiehlt es sich, Erwähnungen in einem Dokument oder dokumentübergreifend mit diesem Tool zu annotieren, bevor Sie mit dem Annotieren von Erwähnungen in einzelnen Dokumenten beginnen. Wenn Sie mit dem Konkordanztool einen Entitätstyp auf eine Erwähnung anwenden, wendet das System diesen Entitätstyp auf alle entsprechenden Erwähnungen an und überschreibt dabei alle vorhandenen Entitätstypen, die einer entsprechenden Erwähnung zugeordnet sind. Zur Vermeidung von Konflikten werden Attribute (z. B. Rollen oder Subtypen) für vorhandene Entitätstypen entfernt, wenn mit dem Konkordanztool ein neuer Entitätstyp angewendet wird.

Vorgehensweise

So annotieren Sie wiederkehrende Erwähnungen:

  1. Melden Sie sich als Annotatorbenutzer an (oder als Administrator bzw. Projektleiter, dem Dokumente zum Annotieren zugeordnet wurden). Arbeitsbereiche mit Tasks, die Ihnen zugeordnet sind, werden angezeigt.
  2. Öffnen Sie einen Arbeitsbereich und klicken Sie anschließend auf Machine Learning-Modell > Annotationen. Klicken Sie auf die Registerkarte Annotationstasks. Die Ihnen zugeordneten Annotationstasks werden angezeigt.
  3. Öffnen Sie die Annotationstask, an der Sie arbeiten möchten. Die Ihnen zugeordneten Annotationsgruppen werden angezeigt.
  4. Klicken Sie auf Annotieren, um die Annotationsgruppe zu öffnen, die Sie bearbeiten möchten. Die Dokumente in der Annotationsgruppe werden angezeigt.
  5. Öffnen Sie das Dokument, das Sie annotieren möchten. Standardmäßig wird das Dokument im Erwähnungsmodus geöffnet. Dies ist der Modus, den Sie zum Annotieren von Entitätserwähnungen verwenden.
  6. Wenn Sie bisher noch keine Annotationen hinzugefügt haben, fügen Sie mindestens eine Annotation hinzu. Wählen Sie ein Wort oder eine Wortfolge aus, die die Erwähnung eines Entitätstyps aus Ihrem Typsystem repräsentiert, und ordnen Sie ihr den entsprechenden Typ zu. Klicken Sie auf Speichern, um Ihre Annotation zu speichern.
  7. Wählen Sie ein einzelnes Vorkommen von wiederkehrendem Text aus, das Sie annotieren möchten, und klicken Sie anschließend auf Konkordanz.
  8. Wählen Sie die Dokumente aus, auf den Sie den ausgewählten Entitätstyp anwenden möchten. Sie können die Annotationen in allen Dokumenten erstellen, die Ihnen zum Annotieren zugeordnet sind, in allen Dokumenten, mit deren Annotierung Sie bereits begonnen haben, oder in allen Dokumenten, mit deren Annotierung Sie noch nicht begonnen haben.
  9. Klicken Sie auf Vorschau, um die Annotationen anzuzeigen, die hinzugefügt werden.

Wenn Sie die Annotationen im größeren Kontext anzeigen möchten, klicken Sie auf die Symbole, um die Vorschau des Dokumentinhalts anzuzeigen, oder das Dokument in einem neuen Fenster zu öffnen.

  1. Klicken Sie auf Anwenden & Prüfen, um die ausgewählten Entitätstypen auf Erwähnungen in den ausgewählten Dokumenten anzuwenden. Sie können die Annotationen, die hinzugefügt werden, anschließend überprüfen. Wenn eine Annotation in einem bestimmten Kontext nicht zutreffend ist, können Sie das betreffende Vorkommen entfernen, indem Sie auf das Symbol 'Bearbeiten' klicken und die Entitätstypzuordnung für die Erwähnung entfernen.
  2. Wenn die Liste Der Annotationen Ihren Erwartungen entspricht, klicken Sie auf Zurück zum Ground Truth-Editor.

Ergebnisse

Die Erwähnungen im Dokument sind annotiert. Es gibt keine Möglichkeit, die Gruppe der Erwähnungen, die Sie mit dem Konkordanztool hinzugefügt haben, auf einmal zu entfernen. Sie müssen jede Erwähnung einzeln entfernen.

Erwähnungen als Koreferenzen annotieren

Um Erwähnungen als Koreferenzen für dieselbe Entität zu annotieren, wählte der Annotatorbenutzer jedes Vorkommen einer Erwähnung aus, die auf dasselbe Ding verweist. Durch das Konzept der Koreferenz kann ein Modell leichter erkennen, dass Entitäten, die in unterschiedlicher Weise referenziert werden, derselben Entität zugeordnet werden sollen (z. B. der Name und die Abkürzung eines Bundesstaates der Vereinigten Staaten, der Name und das Akronym eines Unternehmens oder ein Personenname und ein Pronomen, das auf diese Person verweist).

Vorbereitende Schritte

Sie müssen zuerst die Erwähnungen in einem Dokument annotieren, bevor Sie Koreferenzen angeben können.

Informationen zu dieser Task

Wenn Sie Erwähnungen als Koreferenzen annotieren, wird vom System eine Koreferenzkette erstellt. Mithilfe dieser Kette können Sie alle Erwähnungen im Kontext anzeigen und überprüfen, dass alle Vorkommen unter derselben Entität zusammengefasst werden können. Beispiel 'Barack', 'Michelle', 'er' und 'sie' gehören alle dem Entitätstyp PERSON an, aber 'Barack' und 'er' sind eine Entität, während 'Michelle' und 'sie' eine andere Entität sind. In diesem Beispiel erstellen Sie zwei Koreferenzketten.

Beim Erstellen einer Koreferenzkette müssen Sie Erwähnungen auswählen, die mit demselben Entitätstyp markiert wurden. In manchen Fällen kann es jedoch vorkommen, dass Sie Erwähnungen verschiedener Typen in dieselbe Koreferenzkette einschließen möchten. Dazu müssen Sie mehrere Ketten erstellen und anschließend zusammenführen. Stellen Sie sich beispielsweise vor, dass Menschen gerne Kurzformen verwenden, um Wiederholungen im Text zu vermeiden. In einem Bericht über einen Verkehrsunfall ist möglicherweise 'Honda Accord Sedan 2004' der erste Hinweis auf ein Fahrzeug. Im weiteren Verlauf des Berichts bezeichnet der Autor das Fahrzeug als 'Accord' und später vielleicht einfach als 'Fahrzeug'. Wenn das Typsystem Einträge für Fahrzeughersteller, -modell und -typ enthält, könnten Sie mehrere Koreferenzketten für die einzelne Entitätstypen erstellen und diese anschließend zu einer konsolidierten Kette zusammenführen. Die zusammengeführte Kette hilft dem Machine Learning-Modell zu erkennen, dass alle diese Erwähnungen auf dasselbe Ding verweisen.

Eine andere Methode zum Kombinieren von Erwähnungen verschiedener Entitätstypen ist das Erstellen einer Kette mit Erwähnungen eines einzigen Entitätstyps. Sie können nun auf eine Erwähnung eines anderen Entitätstyps klicken und anschließend auf die Kette, die Sie erstellt haben, um die Erwähnung zu der Kette hinzuzufügen.

Abhängig von Ihren Annotationsrichtlinien möchten Sie möglicherweise Koreferenzketten für Verben und Substantive erstellen, wenn die Verben dieselbe Instanz einer Aktion erwähnen. Wenn zum Beispiel zwei Erwähnungen des Verbs 'verschlüsselt' auf dasselbe Vorkommen von Verschlüsselung verweisen, können Sie die Erwähnungen als Koreferenzen annotieren. Wenn jedoch einer der Verweise auf 'verschlüsselt' ein allgemeiner Verweis ist oder wenn beide Vorkommen auf zwei verschiedene Verschlüsselungsvorgänge verweisen, sollten sie nicht als Koreferenzen annotiert werden. Wenn zwei verschiedene Verben auf dasselbe Vorkommen einer Aktion verweisen, kann es sinnvoll sein, die Erwähnungen als Koreferenzen zu annotieren. Beispiel: In der Aussage 'Er verschlüsselte das Dokument und versendete die Datei nach der Verarbeitung' könnten die Erwähnungen 'verschlüsselte' und 'Verarbeitung' als Koreferenzen annotiert werden, da sie auf dieselbe Instanz einer Aktion verweisen.

Die Konsistenz hat oberste Priorität. Entscheiden Sie, wie Koreferenzen annotiert werden sollen, und legen Sie die Regeln klar und deutlich (mit Beispielen) in Ihren Annotationsrichtlinien fest.

Vorgehensweise

So annotieren Sie Erwähnungen als Koreferenzen:

  1. Melden Sie sich als Annotatorbenutzer an (oder als Administrator bzw. Projektleiter, dem Dokumente zum Annotieren zugeordnet wurden). Arbeitsbereiche mit Tasks, die Ihnen zugeordnet sind, werden angezeigt.

  2. Öffnen Sie einen Arbeitsbereich und klicken Sie anschließend auf Machine Learning-Modell > Annotationen. Klicken Sie auf die Registerkarte Annotationstasks. Die Ihnen zugeordneten Annotationstasks werden angezeigt.

  3. Öffnen Sie die Annotationstask, an der Sie arbeiten möchten. Die Ihnen zugeordneten Annotationsgruppen werden angezeigt.

  4. Klicken Sie auf Annotieren, um die Annotationsgruppe zu öffnen, die Sie bearbeiten möchten. Die Dokumente in der Annotationsgruppe werden angezeigt.

  5. Öffnen Sie das Dokument, das Sie annotieren möchten. Standardmäßig wird das Dokument im Erwähnungsmodus geöffnet. Dies ist der Modus, den Sie zum Annotieren von Entitätserwähnungen verwenden.

  6. Klicken Sie auf Koreferenzen.

  7. Erstellen Sie eine Koreferenzkette:

    1. Arbeiten Sie das Dokument durch und klicken Sie auf jede Erwähnung, die dasselbe Ding bezeichnet und mit demselben Entitätstyp beschriftet ist. Klicken Sie beispielsweise auf jedes Vorkommen von IBM, International Business Machines und IBM Corp. unter der Prämisse, dass alle diese Erwähnungen dem Entitätstyp ORGANIZATION angehören.
    2. Doppelklicken Sie auf die letzte Erwähnung, die Sie zu der Kette hinzufügen möchten. In der Seitenleiste wird eine Koreferenzkette erstellt. Der Name der Kette stimmt mit der ersten Erwähnung überein, die Sie ausgewählt haben.
    3. Um alle Erwähnungen in einer Kette hervorzuheben und im Kontext zu überprüfen, bewegen Sie den Mauszeiger auf die Kette in der Seitenleiste.

  8. In der Liste für einzelne Erwähnungen werden die Begriffe im Dokument angezeigt, die zwar annotiert, jedoch nicht zu einer Kette hinzugefügt wurden. Wenn Sie in der Liste eine Erwähnung finden, die in eine Kette gehört, können Sie diese Erwähnung von hier aus zu der Kette hinzufügen.

    1. Klicken Sie in der Liste für einzelne Erwähnungen in der Seitenleiste auf die betreffende Erwähnung.
    2. Wählen Sie in der Dropdown-Liste unterhalb der Beschreibung der Erwähnung die Nummer der Kette aus, zu der die Erwähnung hinzugefügt werden soll.
    3. Klicken Sie auf Zusammenführen, um die Erwähnung zur Kette hinzuzufügen, und klicken Sie anschließend auf OK.

    Die Erwähnung wird aus der Liste der einzelnen Erwähnungen entfernt und die Nummer der Kette, zu der sie jetzt gehört, wird im Dokument unterhalb der Erwähnung angezeigt.

  9. Sie können Ihre Arbeit mit den folgenden Methoden rückgängig machen:

    • Wenn Sie eine soeben hinzugefügte Koreferenzkette entfernen möchten, drücken Sie die Tastenkombination Strg + Z, um die Aktion rückgängig zu machen.
    • Um eine Koreferenzkette später zu entfernen, klicken Sie in der Seitenleiste Koreferenzketten auf das X neben der Kette, die Sie entfernen möchten.
    • Um eine einzelne Erwähnung aus der Kette zu entfernen, klicken Sie auf die Koreferenz-ID, um ein Listenfenster mit den Erwähnungen in der Kette anzuzeigen, und klicken Sie anschließend auf das X neben der Erwähnung, die Sie entfernen möchten.

  10. Durch Klicken auf Speichern können Sie Ihre Arbeit jederzeit speichern.

Nächste Schritte

Nachdem Sie alle Entitätserwähnungen, Beziehungserwähnungen und Koreferenzen im Dokument nach Bedarf annotiert haben, ändern Sie den Dokumentstatus von In Bearbeitung in Abgeschlossen, klicken Sie auf Speichern und schließen Sie dann das Dokument.

Nachdem Sie alle Dokumente vollständig annotiert und als Abgeschlossen markiert haben, wird der Status der Annotationsgruppe in Übergeben geändert. An diesem Status erkennen die Projektleiter, dass sie mit dem Beurteilen der Dokumente im Hinblick auf die Übereinstimmung zwischen den Annotatoren beginnen können, und die Dokumente ablehnen oder akzeptieren und in die Ground Truth hochstufen können.

Beziehungen annotieren

Beim Annotieren von Beziehungserwähnungen sucht der Annotatorbenutzer Textbelege für eine Beziehung zwischen zwei Entitätserwähnungen in einem Satz und wendet anschließend eine Bezeichnung an, die den Beziehungstyp möglichst zutreffend beschreibt. Als Bezeichnungen können Beziehungstypen angewendet werden, die im Typsystem des Arbeitsbereichs definiert sind.

Vorbereitende Schritte

Sie müssen zuerst Entitätserwähnungen in dem Dokument annotierten, bevor Sie Beziehungstypen zwischen ihnen definieren können.

Informationen zu dieser Task

Die Beziehungserwähnung kann nur definiert werden, wenn die Beziehung zwischen den beiden Entitätserwähnungen im Text explizit beschrieben wird. Explizite Textbelege können Possessive, Subjekt/Verb/Objekt-Strukturen oder Beifügungen sein. Im folgenden Beispielsatz ist es nicht zutreffend, die Beziehungserwähnung ownedBy zwischen dog und owner hinzuzufügen.

NICHT ZUTREFFEND: Der Hund bekam ein Leckerchen von seinem Eigentümer.

Die gültige Beziehung liegt zwischen its und owner vor, da es sich um diesen Teil des Satzes handelt, in dem der Text die Beziehung zwischen dem Hund und seinem Eigner explizit definiert. Owner kann ein Hausbesitzer oder der Besitzer eines anderen Hundes sein, aber dieser Text macht deutlich, dass dieser Hund, der am Anfang des Satzes erwähnt wird, dieser Person gehört.

ZUTREFFEND: Der Hund bekam ein Leckerchen von seinem Eigentümer.
                                |ownedBy^

Die Forderung, dass beide Entitätserwähnungen und der Text, der den Typ der Beziehung zwischen ihnen definiert, im einem einzigen Satz enthalten sein müssen, erscheint möglicherweise sehr streng zu sein. Beachten Sie jedoch Folgendes: Wenn Sie im obigen Beispiel außerdem Koreferenzen im Dokument identifizieren, können Sie Beziehungserwähnungen in Sätzen identifizieren, die Wörter für informelle Entitätserwähnungen (z. B. Pronomen) enthalten. Der zweite Satz in Mary is a scientist. She works for IBM. enthält beispielsweise gültige schriftliche Nachweise für eine employedBy-Beziehung zwischen Mary und IBM. Die Koreferenz She wird als Verweis auf den Entitätstyp PERSON für Mary verstanden. Erst durch das Identifizieren einer Koreferenz zwischen Mary und She zusammen mit dem Identifizieren einer Beziehungserwähnung zwischen She und IBM kann diese Beziehung vollständig erfasst werden. Die zutreffende Methode zum Annotieren dieser Beziehungserwähnung sieht so aus:

Mary [#1] ist eine Wissenschaftlerin. Sie[#1] funktioniert für IBM.
                         |----employedBy----^

Dabei gibt der Index [#1] an, dass Mary und She beide Mitglieder der ersten Koreferenzkette im Dokument sind.

Vorgehensweise

So annotieren Sie Beziehungserwähnungen zwischen Entitätserwähnungen in einem Dokument:

  1. Melden Sie sich als Annotatorbenutzer an (oder als Administrator bzw. Projektleiter, dem Dokumente zum Annotieren zugeordnet wurden). Arbeitsbereiche mit Tasks, die Ihnen zugeordnet sind, werden angezeigt.

  2. Öffnen Sie einen Arbeitsbereich und klicken Sie anschließend auf Machine Learning-Modell > Annotationen. Klicken Sie auf die Registerkarte Annotationstasks. Die Ihnen zugeordneten Annotationstasks werden angezeigt.

  3. Öffnen Sie die Annotationstask, an der Sie arbeiten möchten. Die Ihnen zugeordneten Annotationsgruppen werden angezeigt.

  4. Klicken Sie auf Annotieren, um die Annotationsgruppe zu öffnen, die Sie bearbeiten möchten. Die Dokumente in der Annotationsgruppe werden angezeigt.

  5. Öffnen Sie das Dokument, das Sie annotieren möchten. Standardmäßig wird das Dokument im Erwähnungsmodus geöffnet. Dies ist der Modus, den Sie zum Annotieren von Entitätserwähnungen verwenden.

  6. Klicken Sie auf Beziehungen.

  7. So annotieren Sie eine Beziehung:

    1. Klicken Sie auf eine Entitätserwähnung im Text und anschließend auf eine zweite Entitätserwähnung.

    2. Wählen Sie den Beziehungstyp, den Sie anwenden möchten, entweder in der rechten Seitenleiste aus oder geben Sie die Tastenkombination für den Beziehungstyp ein. Die Liste der verfügbaren Beziehungstypen wird durch die erste Entitätserwähnung eingeschränkt, die Sie auswählen, und sie wird zusätzlich durch die zweite Entitätserwähnung eingeschränkt. In manchen Fällen bleibt nur ein einziger Beziehungstyp übrig. Dennoch müssen Sie den Beziehungstyp, der angewendet werden soll, explizit auswählen.

      Wenn bereits Annotationsrichtlinien mit dem Arbeitsbereich verknüpft waren und Sie Unterstützung beim Auswählen der zutreffenden Annotation benötigen, klicken Sie auf Richtlinien anzeigen. Wenn Sie über die entsprechenden Zugriffsberechtigungen für die Site verfügen, auf der die Richtlinien gehostet werden, können Sie die Richtlinien nach dem Öffnen aktualisieren (z. B. durch Hinzufügen von Erläuterungen und Beispielen).

  8. Wenn Sie eine soeben hinzugefügte Beziehungserwähnung entfernen möchten, drücken Sie die Tastenkombination Strg + Z, um die Aktion rückgängig zu machen. Um eine Beziehungserwähnung später zu entfernen, können Sie mit der linken Maustaste auf den Beziehungstyp klicken und dann die Löschtaste drücken oder das X neben dem Beziehungstyp klicken.

  9. Durch Klicken auf Speichern können Sie Ihre Arbeit jederzeit speichern.

Nächste Schritte

Nachdem Sie alle Entitätserwähnungen, Beziehungserwähnungen und Koreferenzen im Dokument nach Bedarf annotiert haben, ändern Sie den Dokumentstatus von In Bearbeitung in Abgeschlossen, klicken Sie auf Speichern und schließen Sie dann das Dokument.

Nachdem Sie alle Dokumente vollständig annotiert und als Abgeschlossen markiert haben, wird der Status der Annotationsgruppe in Übergeben geändert. Daran erkennen die Projektleiter, dass sie mit dem Beurteilen der Dokumente im Hinblick auf die Übereinstimmung zwischen den Annotatoren beginnen können, und die Dokumente ablehnen oder akzeptieren und in die Ground Truth hochstufen können.

Zugehörige Informationen