Verwendung von Smart Document Understanding

Das Tool Smart Document Understanding (SDU) funktioniert bei einigen Projekttypen besser.

• Das Tool ist am nützlichsten, wenn es mit Dokumentabruf-Projekten verwendet wird. Verwenden Sie das Tool, um Ihre Dokumente in kleinere, besser verwendbare Datenblöcke aufzuteilen. Wenn Sie Discovery beim Indexieren der richtigen Gruppe von Informationen in Ihren Dokumenten unterstützen, können Sie die Antworten verbessern, die Ihre Anwendung finden und zurückgeben kann.

  Ihre Dokumente könnten beispielsweise Tipps enthalten, die in Abschnitten mit der Überschrift H4 angezeigt werden. Wenn Sie die Informationen aus diesen Tipps separat extrahieren wollen, können Sie ein Feld mit dem Namen tips hinzufügen und dem Modell beibringen, es zu erkennen. Nachdem Sie das Modell auf Ihre Objektgruppe angewendet haben, können Sie eine Aufbereitung nur auf das Feld tips anwenden. Später können Sie die Suche so begrenzen, dass nur Inhalte aus dem Feld tips zurückgegeben werden.

  Oder Sie haben besonders große Dokumente, die Unterabschnitte enthalten. Sie können dem SDU-Modell beibringen, diese Unterabschnitte zu erkennen, und dann das große Dokument in mehrere, kleinere und leichter zu verwaltende Dokumente aufteilen, die mit einem dieser Unterabschnitte beginnen.

• Die beste Möglichkeit, eine Objektgruppe für die Verwendung in Conversational Search-Projekten vorzubereiten, besteht darin, diskrete Frage/Antwort-Paare zu identifizieren. Sie können das SDU-Tool verwenden, um sie zu suchen und zu annotieren. Wenn Sie das Projekt so konfigurieren, dass es Antworten in einem Antwortfeld enthält, dann müssen Sie die Suchkonfiguration in watsonx Assistant aktualisieren, um den Hauptteil der Antwort aus dem angepassten Antwortfeld abzurufen.

• Ein vorab trainiertes SDU-Modell wird automatisch auf Dokumentabruf für Verträge-Projekte angewendet. Das vortrainierte SDU-Modell kennt Begriffe und Konzepte, die für Verträge von Bedeutung sind. Daher können Sie ein benutzertrainiertes SDU-Modell nicht auf diesen Projekttyp anwenden, aber Sie müssen es auch nicht.

• Das SDU-Tool wird selten mit Content-Mining-Projekten verwendet.

Mit dem SDU-Tool können Sie nur die folgenden Dateitypen annotieren:

• Bilddateien (PNG, TIFF, JPG)
• Microsoft PowerPoint
• Microsoft Word
• PDF

Eine vollständige Liste der Dateitypen, die Discovery unterstützt, finden Sie unter Unterstützte Dateitypen.

Das Smart Document Understanding-Tool verwendet optische Zeichenerkennung (OCR), um Text aus Bildern in den Dateien zu extrahieren, die es analysiert. Bilder müssen die Mindestqualitätsanforderungen erfüllen, die von OCR unterstützt werden. Weitere Informationen finden Sie unter Optische Zeichenerkennung.

Das Tool kann keine Dokumente mit den folgenden Merkmalen lesen. Entfernen Sie sie aus Ihrer Sammlung, bevor Sie beginnen:

• Dokumente, bei denen der Eindruck entsteht, dass Text über anderen Text gelegt wurde, gelten als doppelt überlagert und können nicht mit Anmerkungen versehen werden.
• Dokumente, die mehrere Spalten mit Text auf einer einzelnen Seite enthalten, können nicht annotiert werden.

Wenn Sie ein benutzerdefiniertes Smart Document Understanding-Modell erstellen, kann sich die Konvertierungszeit für Ihre Sammlung aufgrund der Ressourcen, die für die Anwendung des KI-Modells auf Ihre Dokumente erforderlich sind, erhöhen.

Modell erstellen

Führen Sie die folgenden Schritte aus, um ein vom Benutzer trainiertes Smart Document Understanding-Modell auf Ihre Sammlung anzuwenden:

1. Öffnen Sie die Seite Sammlungen verwalten im Navigationsfenster.

2. Wenn Ihr Projekt über mehrere Sammlungen verfügt, wählen Sie die Sammlung mit Dokumenten aus, die Sie annotieren möchten.

3. Öffnen Sie die Seite "Felder identifizieren ".

4. Wählen Sie Vom Benutzer trainierte Modelle aus.

   Standardmäßig wird die Option Nur Textextraktion verwendet. Bei diesem Modell wird jeder Text, der in den Quellendokumenten erkannt wird, im Feld text indexiert.

5. Klicken Sie auf Übergeben und anschließend auf Änderungen anwenden und erneut verarbeiten.

Eine Untergruppe von Dokumenten steht Ihnen zum Annotieren zur Verfügung. In einer Liste werden 20-50 Dokumente angezeigt. Die Anzahl der verfügbaren Dokumente variiert abhängig von verschiedenen Faktoren, einschließlich der Gesamtzahl der Dokumente in Ihrer Sammlung und der Anzahl der unterstützten Dateitypen.

Wenn Schulungsunterlagen, die zur Schulung eines SDU-Modells verwendet werden, Layout- oder Strukturänderungen in Discovery erfahren, sind die vorherigen Anmerkungen nicht mehr gültig. Um das SDU-Modell zu aktualisieren, müssen Sie die aktualisierten Dokumente nach dem Import erneut mit Anmerkungen versehen. Andernfalls werden die vorherigen Anmerkungen falsch mit dem Textinhalt verknüpft und die entsprechenden Anmerkungsseiten in der Benutzeroberfläche werden unübersichtlich.

Video beschriften

Das folgende Video zeigt Ihnen, wie Sie eine Beschriftung auswählen und dann auf eine Darstellung des Textes in Ihrem Dokument anwenden.

Im Video klickt der Benutzer auf die Feldbezeichnung title und anschließend auf den Textblock, der den Titel der Seite Inhaltsverzeichnis darstellt, um den Text als Titel zu kennzeichnen. Als Nächstes klickt der Benutzer auf die Feldbezeichnung table_of_contents und wählt den Textblock des Inhaltsverzeichnisses aus, um ihn zu beschriften. Anschließend klickt der Benutzer auf die Feldbeschriftung footer und auf den Textblock, der die Seitenfußzeile darstellt. Nachdem der Text beschriftet wurde, klickt der Benutzer auf die Schaltfläche Seite übergeben.

Dokumente beschriften

Bevor Sie beginnen, erhalten Sie ein Gefühl für die Struktur des Dokuments, das Sie annotieren möchten. Gibt es Untertitelabschnitte, die Discovery pro Antwort zurückgeben soll? Wenn ja, geben Sie alle Untertitel an. Später können Sie das Dokument in diskrete Unterdokumente aufteilen, die jeweils mit einem Untertitel beginnen. Weitere Informationen finden Sie unter Verwendung von Smart Document Understanding.

Führen Sie die folgenden Schritte durch, um Dokumente zu beschriften:

1. Überprüfen Sie die Dokumentvorschau.

   Eine Ansicht des Originaldokuments wird zusammen mit einer Darstellung des Dokuments angezeigt, wobei der Text durch Blöcke ersetzt wird.

   Die Blöcke haben die Farbe der Feldbeschriftung text, da der gesamte aktuelle Text als Standardtext betrachtet wird und im Feld text indexiert wird.

   Beschriftungsblöcke, die bestimmte Arten von Informationen darstellen, z. B. Titel oder Seitenfußzeilen, mit anderen Feldbeschriftungen. Wenn Sie beispielsweise die Titelfeldbezeichnung auf einen Dokumenttitel anwenden, der andernfalls als Text indexiert würde, definieren Sie eine präzisere Darstellung des Dokumentinhalts.

   Der Prozess, bei dem Bezeichnungen verwendet werden, um verschiedene Teile der Dokumentstruktur zu identifizieren, wird als Annotieren des Dokuments bezeichnet.

2. Überprüfen Sie die Feldbezeichnungen, die Sie zum Annotieren des Dokuments verwenden können. Sie werden in der Anzeige Feldbezeichnungen angezeigt.

   Eine Liste der Felder und ihrer Beschreibungen finden Sie in der Tabelle Standardfeldbezeichnungen .

3. Klicken Sie zum Erstellen einer angepassten Feldbezeichnung auf Neu erstellen.

   • Geben Sie eine Feldbezeichnung ohne Leerzeichen an. Beispielsweise ist complex_task eine gültige Feldbezeichnung.

     Vermeiden Sie die Verwendung eines Feldbezeichnungsnamens oder die Verwendung von Zeichen wie einem Nummernzeichen (#) oder einem Punkt (.) im Namen, die eine besondere Bedeutung für Discoveryhaben. Weitere Informationen finden Sie unter Handhabung von Feldern.

   • Wenn Sie die Farbe ändern möchten, die zur Darstellung des Felds verwendet wird, klicken Sie wiederholt auf den Farbblock , bis er in der Farbe angezeigt wird, die Sie verwenden möchten.

     Sie können die Farbe der Feldbezeichnung später nicht ändern.

   • Klicken Sie auf Erstellen.

4. Klicken Sie zunächst auf eine Feldbezeichnung, um sie zu aktivieren.

5. Klicken Sie dann auf den Block, der den Inhalt darstellt, den Sie als Feldtyp beschriften möchten.

   Der Block ändert sich in die Farbe der Feldbeschriftung. Sie haben das Feld erfolgreich beschriftet!

6. Wiederholen Sie diesen Prozess, um weitere Felder im Dokument zu annotieren.

   Keine Sorge. Sie müssen nicht jede Seite beschriften. Wenn Sie Beschriftungen anwenden und Seiten übergeben, lernt Watson von dem, was Sie annotieren, und beginnt mit der Vorhersage von Annotationen.

   Beachten Sie folgende Richtlinien:

   • Wenn es an einem Abschnitt nichts Besonderes gibt, behalten Sie die Bezeichnung text bei, die standardmäßig angewendet wird.
   • Eine Beschriftung kann nicht mehrere Seiten umfassen.
   • Text wird immer gleich behandelt, ob fett oder kursiv gedruckt oder unterstrichen. Die Beschriftung basiert auf dem Kontext und nicht auf dem Stil.
   • Verwenden Sie konsistente Bezeichnungen für alle Dokumente.
   • Arbeiten Sie von der ersten Seite eines mehrseitigen Dokuments bis zur letzten Seite.
   • Um eine einzelne Anmerkung zu entfernen, wählen Sie eine andere Bezeichnung aus (z. B. text) und wenden Sie sie auf das Element an, um die vorherige Anmerkung zu überschreiben.
   • Um Anmerkungen zu entfernen, die Sie zu einer ganzen Seite hinzugefügt haben, klicken Sie in der Symbolleiste auf das Symbol Änderungen löschen.
   • Klicken Sie zum Annotieren einer Tabelle auf den Text am Anfang der Tabelle und ziehen Sie dann den Text in der gesamten Tabelle, um ihn auszuwählen.
   • Wenn Sie eine oder mehrere Tabellen beschriften, wird die Aufbereitung Table Understanding für die gesamte Objektgruppe automatisch aktiviert. Weitere Informationen finden Sie unter Tabellen verstehen.
   • Bilder aus den Quellendokumenten werden in der Vorschau nicht wiedergegeben. Wenn die optische Zeichenerkennung (OCR) aktiviert ist, wird jeder Text aus dem Bild oder Diagramm extrahiert und in der Vorschau wiedergegeben.
   • Beschriften Sie keine Leerzeichen.

7. Wenn alles, was Sie beschriften möchten, beschriftet ist, übergeben Sie die Seite. Klicken Sie auf Seite übergeben.

   Fahren Sie mit dem Annotieren von Dokumenten fort, bis Watson verschiedene Inhaltstypen ordnungsgemäß und konsistent den entsprechenden Feldern zuordnen kann.

8. Nachdem Sie Watson beigebracht haben, Felder zu identifizieren, klicken Sie auf Änderungen anwenden und erneut verarbeiten.

Angepasste Felder, die Sie mit dem SDU-Tool definieren, werden als Felder auf Stammebene indexiert.

Smart Document Understanding-Grenzwerte

Die Anzahl der angepassten Felder, die Sie pro Smart Document Understanding-Modell erstellen können, hängt vom Plantyp Discovery ab.

Die maximale Anzahl Dokumente, die Sie annotieren können, um ein SDU-Modell pro Sammlung zu trainieren, hängt von Ihrem Plantyp Discovery ab.

Felder verwalten

In der Registerkarte Felder verwalten stehen mehrere Optionen zur Auswahl bereit:

Zu indexierende Felder angeben

Weitere Informationen finden Sie unter Inhalt aus Abfrageergebnissen ausschließen.

Verbessern Sie die Abfrageergebnisse, indem Sie Ihre Dokumente aufteilen

Weitere Informationen finden Sie unter Dokumente aufteilen, um Abfrageergebnisse knapper zu machen.

Datumsformateinstellungen

Weitere Informationen finden Sie unter Datumsformateinstellungen.

Um auf die Seite "Felder verwalten" zuzugreifen, klicken Sie im Navigationsbereich auf das Symbol "Sammlungen verwalten" und öffnen Sie eine Sammlung. Klicken Sie auf die Registerkarte Felder verwalten. Weitere Informationen zu Sammlungen finden Sie unter Sammlungen erstellen.