Planen Sie, wie Ihre Anwendung angepasst werden soll.

Eine der Hauptänderungen zwischen Versionen ist, dass Discovery v2 Projekte einführt. Ein Projekt besteht aus einer oder mehreren Sammlungen. Der Vorteil bei der Verwendung von Projekten besteht darin, dass eine Abfrage für viele Sammlungen gleichzeitig ausgeführt werden kann. Jede Sammlung kann Dokumente enthalten, die Sie hochladen oder die Sie aus einer einzelnen Datenquelle abrufen, z. B. einer Website, Microsoft SharePoint, und anderen.

Beachten Sie Folgendes, wenn Sie Ihre Anwendung für die Verwendung von Projekten anpassen:

• Obwohl das Konzept einer Umgebung in v2nicht existiert, werden die Daten trotzdem in Sammlungen organisiert. In v2werden Sammlungen in Projekten gruppiert. In den meisten Fällen möchten Sie eine einzelne v1-Sammlung auf eine einzelne v2-Sammlung migrieren.

  Wenn Sie Relevanztrainingsinformationen, die auf eine v1-Sammlung angewendet werden, beibehalten möchten, fügen Sie die Sammlungsdokumente einer einzelnen Sammlung in Ihrem v2-Projekt hinzu.

• Entscheiden Sie, wie viele Sammlungen Sie jedem v2-Projekt hinzufügen möchten. Alle Projekttypen mit Ausnahme von Content-Mining-Projekten können bis zu 5 Sammlungen enthalten. Wählen Sie den richtigen Projekttyp für Ihre Daten aus

  Zur Optimierung der Suchergebnisse werden verschiedene Aufbereitungen und Konfigurationsoptionen automatisch auf Objektgruppen angewendet, die verschiedenen Projekttypen hinzugefügt werden. Weitere Informationen finden Sie unter den folgenden Themen:

  • Projektbeschreibungen
  • Standardprojekteinstellungen
  • Standardabfrageeinstellungen

• Die API Discovery v2 wurde geändert, um neben anderen Erweiterungen Projekte und Sammlungen zu berücksichtigen. Einige API-Aufrufe wurden geändert, um Aktionen auf Projektebene anstelle der Erfassungsebene zu unterstützen, z. B. das Übergeben einer Abfrage und das Ausführen eines Relevanztrainings. Viele andere API-Methoden wurden geändert und einige sind in v2nicht verfügbar. Einen detaillierten Vergleich der API-Methoden v1 und v2 finden Sie unter Vergleich der API-Version.

Serviceplan auswählen

Wählen Sie zwischen den verwalteten Plänen Plus, Enterpriseund Premium aus oder entscheiden Sie sich für eine lokale Installation, indem Sie die Discovery Cartridge für IBM Cloud Pak for Dataerwerben. Prüfen Sie die Vorteile und Grenzwerte jedes Plantyps, bevor Sie einen auswählen.

• Weitere Informationen zu den Plänen finden Sie unter Discovery-Preistarife.
• Weitere Informationen zu Artefaktgrenzwerten finden Sie unter Grenzwertdetails.

Die folgende Tabelle zeigt Plantypen für verwaltete Implementierungen, die in v1 und v2im Allgemeinen ähnlich sind.

Klicken Sie auf das Symbol Umgebungsdetails im Header der Benutzerschnittstelle des Produkts, um Informationen zum aktuell verwendeten Speicher, zu Dokumenten und zu Objektgruppen abzurufen.

Sie können kein Inplace-Upgrade von einem v1-Plan, wie z. B. Lite oder Advanced, auf einen v2-Plan durchführen. Sie müssen einen neuen v2-Plan erstellen und dann Ihre Daten in die neue Serviceinstanz verschieben. Während Sie Ihre Daten von v1 auf v2migrieren, haben Sie wahrscheinlich sowohl eine Instanz von v1 als auch eine Instanz von v2 gleichzeitig implementiert. Ziehen Sie die Verwendung der kostenlosen 30-Tage-Testversion in Betracht, die während dieser Zeit mit Ihrer ersten Plus-Planinstanz verfügbar ist.

Hochgeladene Daten

Wenn Sie die API zum Hochladen von Dokumenten in Discovery v1verwendet haben, ist in v2 eine ähnliche API zum Hochladen von Dokumenten in Sammlungen verfügbar. Sie müssen alle Workflows aktualisieren, die Sie zur Automatisierung des Prozesses verwenden, um die neue Anordnung von Projekten und Sammlungen zu berücksichtigen.

Wenn die Originaldokumente, die Sie in Discovery v1 aufgenommen haben, nicht mehr verfügbar sind, können Sie die Abfrage-API verwenden, um den Dokumenttext aus Discovery v1zu extrahieren. Anschließend können Sie den Text zu einer Sammlung in Discovery v2hinzufügen. Weitere Informationen finden Sie unter Dokumente wiederherstellen.

Durchsuchte Daten

Wenn Sie Daten aus einer externen Datenquelle in v1durchsucht haben, können Sie weiterhin Daten aus derselben externen Datenquelle in v2durchsuchen. Es werden alle dieselben Datenquellen unterstützt.

Wenn Sie Daten aus einer externen Datenquelle verwenden möchten, müssen Sie die Objektgruppen in einem v2-Projekt neu erstellen und konfigurieren, wie die Datenquelle durchsucht wird. Weitere Informationen finden Sie unter Übersicht über Datenquellen.

Der Service benötigt Zeit und Ressourcen zum Durchsuchen und Einpflegen von Dokumenten aus externen Datenquellen. Erstellen Sie die Connectors nacheinander erneut. Berücksichtigen Sie die Zeit, die zum erneuten Durchsuchen der Daten in Ihrem Migrationsplan benötigt wird.

Vordefinierte Datensammlungen

Die folgenden integrierten Datenquellenobjektgruppen sind in v2:

Watson Discovery Nachrichten

Diese vorbereitete Datenquelle wird in v2nicht angeboten. Weitere Informationen zu einer alternativen Methode zum Abrufen von Nachrichtendaten finden Sie unter Nachrichtenservice mit v2.

COVID-19-Kit

Diese vordefinierte Sammlung wurde entwickelt, um Sie bei der Entwicklung eines dynamischen Chatbots zu unterstützen, der mit IBM® watsonx™ Assistant und Discovery erstellt wurde, um die Fragen Ihrer Kunden zu COVID-19zu beantworten. In v2können Sie eine ähnliche Lösung erstellen. Erstellen Sie einen Projekttyp Dialogsuche mit Sammlungen, die vertrauenswürdige Websites nach Antworten auf COVID-19-Fragen durchsuchen.

Dokument-IDs beibehalten

Dokument-IDs werden den Dokumenten zugewiesen, die Sie einer v2-Sammlung hinzufügen, wenn Sie sie über die Produktbenutzerschnittstelle hochladen oder mit der API-Methode Dokument hinzufügen hinzufügen.

Möglicherweise möchten Sie die IDs Ihrer v1-Dokumente in v2 beibehalten, wenn Sie Prozesse verwenden, die von diesen eindeutigen IDs abhängig sind. Regressionstests für die Anwendung können beispielsweise prüfen, ob bestimmte Dokumente zurückgegeben werden, indem die Dokument-IDs überprüft werden. Beim Relevanztraining werden die Dokument-IDs verwendet, um Dokumente zwischen Trainingsläufen zu verfolgen. Diese Prozesse sind einfacher anzupassen, wenn die Dokument-IDs zwischen Ihren v1-und v2-Instanzen identisch sind. Andernfalls müssen die Prozesse, die mit der Instanz Discovery v1 verwendet werden, den IDs neu zugeordnet werden, die den Dokumenten zugeordnet sind, nachdem sie der Instanz Discovery v2 hinzugefügt wurden.

Wenn Sie beim Hinzufügen von Dokumenten zur v1-Serviceinstanz eigene Dokument-IDs angegeben haben, können Sie die IDs beibehalten, indem Sie die Methode Dokument aktualisieren anstelle der Methode Dokument hinzufügen verwenden. Mit der Aktualisierungsmethode können Sie dem Dokument beim Hinzufügen zur v2-Sammlung eine Dokument-ID zuordnen. Weitere Informationen finden Sie unter Dokument aktualisieren.

Wenn Ihre Daten in einer JSON-Datei gespeichert sind, generiert ein Array im Originaldokument eine Dokument-ID mit einer angehängten Nummer. Beispiel: original_id_n. Um die ursprüngliche Dokument-ID ohne das Nummernsuffix beizubehalten, entfernen Sie das Array aus der JSON-Datei. Ändern Sie beispielsweise [ {"name": "value"} ] in {"name": "value"}.

Wenn Ihre v1-Dokumente systemgenerierte IDs haben, können Sie eine leere Suchabfrage übergeben, um eine Liste der Dokumente und ihrer IDs abzurufen. Anschließend können Sie jedem Dokument dieselbe ID zuordnen, wenn Sie es Ihrer neuen Sammlung in v2hinzufügen.

Dokumente wiederherstellen

In einigen Fällen sind die Originaldokumente, die in Discovery V1 aufgenommen wurden, nicht mehr verfügbar. Sie können die Instanz Discovery v1 verwenden, um Informationen aus dem Dokument abzurufen. Discovery erstellt eine Textkopie jedes Dokuments, das aufgenommen wird. Die Kopie ist nur Text, sodass alle Dokumente in HTML-, PDF-oder anderen Nicht-Text-Formaten in eine reine Textversion konvertiert werden.

Mit dieser Methode können Sie nur die ersten 10.000 Dokumente in einer Sammlung wiederherstellen. Weitere Informationen zu einer Möglichkeit, mehr als 10.000 Dokumente wiederherzustellen, finden Sie unter Mehr als 10.000 Dokumente aus einer Sammlung wiederherstellen.

Führen Sie die folgenden Schritte aus, um Dokumentinformationen von v1 auf v2zu übertragen:

1. Extrahieren Sie die Dokumente aus v1 mithilfe der API, um eine leere Abfrage zu übergeben.

   Beispiel: GET {url}/v1/environments/{environment_id}/collections/{collection_id}/query?q=.

   Die API gibt die Ergebnisse zurück. Das Feld matching_results gibt die Gesamtzahl der Ergebnisse an. Das Ergebnisobjekt gibt die übereinstimmenden Dokumente zurück. Jedes Dokument wird als separates JSON-Objekt zurückgegeben. Standardmäßig werden maximal 10 Dokumente zurückgegeben.

   {
     "matching_results": 34,
     "session_token": "nnn",
     "results": [
       {"{result objects}":"{maximum of 10 by default}"}
     ]
   }
   

2. Mit den Parametern count und offset können Sie die Abfrageergebnisse durchblättern und alle Dokumente speichern.

   Um beispielsweise 100 Dokumente gleichzeitig abzurufen, können Sie count auf 100 und offset auf 0 setzen und die Abfrage übergeben.

   GET {url}/v1/environments/{environment_id}/collections/{collection_id}/query?q=&count=100&offset=0
   

   Als Nächstes können Sie die Anzahl wieder auf 100 setzen, aber dieses Mal den Offset auf 100 setzen, um die nächsten 100 Dokumente abzurufen.

   GET {url}/v1/environments/{environment_id}/collections/{collection_id}/query?q=&count=100&offset=100`
   

   Wiederholen Sie diesen Prozess und erhöhen Sie den Offset um 100, bis Sie alle Dokumente abrufen.

3. Bereiten Sie die exportierten Dokumente für die Aufnahme in v2vor.

   Jede JSON-Ergebnisdatei, die Sie von Discovery v1 abrufen, enthält Daten, die aus dem Originaldokument extrahiert wurden, z. B. Text, HTML und andere Felder. Wenn dem Dokument angepasste Metadaten zugeordnet wurden, als es auf v1hochgeladen wurde, ist es auch in der JSON-Datei vorhanden. Darüber hinaus enthält die Datei mehrere Felder, die von der Analyse v1 generiert wurden. Behalten Sie nur einen Teil dieser Daten als Teil des Dokuments bei, das Sie zu Discovery v2hinzufügen.

   Die folgenden Tipps helfen Ihnen bei der Entscheidung, welche Felder beibehalten werden sollen:

   • Schließen Sie das Feld text oder ein anderes Feld mit Textinhalten ein, die Sie aufbereiten oder in Discovery v2durchsuchen können möchten.
   • Schließen Sie alle angepassten Metadaten ein, die im Dokument gespeichert sind. Diese Metadaten sind normalerweise für die Anwendung spezifisch, die Discovery verwendet und zum Filtern von Dokumenten in einer Suche verwendet wird. Beispiel: metadata.customer_id.
   • Schließen Sie keine Aufbereitungen aus Discovery v1ein. Beispiel: enriched_text.entities. Discovery v2 generiert eigene Aufbereitungen.
   • Felder ausschließen, die von Discovery generiert werden, sofern sie nicht von Ihrer Anwendung verwendet werden und Informationen enthalten, die für die v1-Version des Dokuments eindeutig sind. Benennen Sie in diesem Fall das Feld um, sodass es nicht ersetzt wird, wenn das Dokument in Discovery v2aufgenommen wird. Beispiel: extracted_metadata.publicationdate ist ein Feld, das von Discovery generiert wird, wenn ein Dokument aufgenommen wird. Möglicherweise möchten Sie die metadata.parent_document_id Informationen aus v1 beibehalten, um zu verstehen, wie Unterdokumente ursprünglich aus einem einzelnen Quellendokument erstellt wurden.
   • Vermeiden Sie Felder mit reservierten Feldnamen. Weitere Informationen finden Sie unter Handhabung von Feldern.

4. Nehmen Sie jedes bearbeitete v1-JSON-Dokument in die Instanz Discovery v2 auf. Die Discovery v1-Dokument-ID kann in Discovery v2verwaltet werden. Weitere Informationen zum Beibehalten der Dokument-ID finden Sie unter Dokument-IDs beibehalten.

Wiederherstellen von mehr als 10.000 Dokumenten aus einer Sammlung

Eine Abfrage kann nur bis zu 10.000 Dokumente zurückgeben. Wenn Sie jedoch mehr als 10.000 Dokumente aus Ihrer Sammlung wiederherstellen möchten, benötigen Sie eine Möglichkeit, die Dokumente in nicht überlappende Untergruppen aufzuteilen. Jede Untergruppe sollte weniger als 10.000 Dokumente enthalten, die von einer Abfrage zurückgegeben werden können. Anschließend können Sie die Ergebnisse paginieren, um die Dokumente abzurufen.

Die Paginierung für Ergebnisse ist auf maximal 10.000 Dokumente beschränkt, die von der Abfrage zurückgegeben werden. Insbesondere darf die kombinierte Verwendung der Paginierungsparameter count und offset 10.000 Dokumente nicht überschreiten.

Eine Möglichkeit, die Dokumente in nicht überlappende Untergruppen aufzuteilen, besteht darin, ein Feld zu nutzen, das in jedem Dokument vorhanden ist und einen eindeutigen Wert enthält. Das Feld SHA-1 enthält beispielsweise einen Hashwert der ursprünglichen Quellendatei und ist als hexadezimaler Zeichenfolgewert formatiert. Sie können das erste Zeichen des Felds verwenden, um die Sammlung in Untergruppen aufzuteilen. Da SHA-1 einen Hexadezimalwert enthält, kann das erste Zeichen bis zu 16 mögliche Werte (0-9 oder a-f) haben. Wenn Sie nach first_char_of (SHA-1) == 0 filtern, wird möglicherweise ungefähr 1/16 der gesamten Sammlung zurückgegeben. Anschließend können Sie alle möglichen 16 Werte in einer Schleife durchlaufen, um den Rest der Dokumente abzurufen. Wenn in einer der Untergruppen keine optimale Anzahl von Dokumenten zurückgegeben wird, können Sie stattdessen die ersten 2 Zeichen des Felds SHA-1 verwenden, um die Objektgruppe in 256 Untergruppen aufzuteilen.

Aktualisieren, wie Ihre Anwendung Abfrageergebnisse handhabt

Die Art und Weise, wie Ihre Anwendung Abfrageergebnisse anzeigt, muss möglicherweise aufgrund der folgenden Unterschiede zwischen der Syntax des Abfrageergebnisdokuments zwischen den Abfragen v1 und v2 aktualisiert werden:

• Auf Entitätsaufbereitungsebene werden die folgenden Informationen in v2:

  • Begriffsklärung
  • Emotion
  • Stimmungsanalyse

  Die Aufbereitung Part of Speech wird automatisch auf Dokumente in den meisten Projekttypen in v2angewendet, aber die von der Aufbereitung generierten Indexfelder werden nicht in der JSON-Darstellung des Dokuments angezeigt.

  

• Anstelle von count und relevance in v1enthält v2 die Erwähnungen.

  Jeder Eintrag in der Erwähnung entspricht einem Vorkommen der Entität im Dokumenttext. Im folgenden Beispiel werden sieben Vorkommen gefunden. Für jedes Vorkommen werden ein Konfidenzscore und die Offsets des Erwähnungstexts angezeigt. Sie können die Offsets verwenden, um die Erwähnung im Dokumenttext hervorzuheben, wenn das Ergebnis in einer Benutzerschnittstelle angezeigt wird.

  

• Die JSON-Struktur von Abfrageantworten wird in v2geringfügig neu angeordnet.

• Die Abfrageantwort v2 enthält keine Deduplizierungsinformationen.

• In v2ist enriched_text ein Array anstelle eines Objekts.

• In Discovery v2wird die Aufbereitung für Entitäten v2 verwendet. Entitätstypnamen in v2 werden in Überschrift und nicht nur in Großbuchstaben angegeben. Wenn Sie eine Abfrage oder Aggregation verwenden, die einen Entitätsnamen angibt, müssen Sie die Groß-/Kleinschreibung ändern. Ändern Sie beispielsweise PERSON in Person.

• Felder aus JSON-Dateien, die einer Sammlung hinzugefügt wurden, werden während der Aufnahme zwischen v1 und v2unterschiedlich konvertiert. Wenn Ihre Anwendung diese Ergebnisse bearbeitet, müssen Sie möglicherweise Anpassungen vornehmen.

  Sie können die Objekte normalizations und conversions in der Methode Sammlung aktualisieren der API angeben, um JSON-Felder zu verschieben oder zusammenzuführen.

  Handhabung von JSON-Quellenfeldern

  Ursprünglicher JSON-Feldinhalt	Darstellung von v1	v2-Darstellung	Anmerkungen
  "field": null	"field": null	Nicht zutreffend	v1 behält den Nullwert bei. v2 überspringt das Nullfeld vollständig.
  "field": ""	"field": ""	Nicht zutreffend	v1 behält den leeren Textwert bei. v2 überspringt das leere Textfeld vollständig.
  "field": "value2"	"field": "value2"	"field": "value2"	Kein Unterschied.
  "field": []	"field": []	Nicht zutreffend	v1 behält das leere Array bei. v2 überspringt das Feld mit dem leeren Array.
  "field": [ "value4" ]	"field": [ "value4" ]	"field": "value4"	v1 behält das Singleton-Array bei. v2 konvertiert das Singleton-Array nur in den Wert; es wird nicht als Teil eines Arrays gespeichert.
  "field": [ 1, 2, 3 ]	"field": [ 1, 2, 3 ]	"field": [ 1, 2, 3 ]	Kein Unterschied.
  "field": [ "v6", "v7", "v8" ]	"field": [ "v6", "v7", "v8"]	"field": [ "v6", "v7", "v8"]	Kein Unterschied.