Lernziele

Wenn Sie das Lernprogramm abgeschlossen haben, lernen Sie, wie Sie die folgenden Beispielanwendungen verwenden:

• Regex: Für Entitätsextraktion, Dokumentklassifizierung und Satzklassifizierung mithilfe regulärer Ausdrücke
• Granite: Für die Extraktion von Entitäten aus E-Mails unter Verwendung des watsonx.ai Granite-Modells
• Slate: Für die Entitätsextraktion mit dem Schiefermodell watsonx.ai, das mit beschrifteten Daten optimiert wurde, die aus dem Arbeitsbereich des Entitätsextraktors von Watson Discoveryexportiert wurden.

Regex-Entitätsextraktion, Dokumentklassifizierung und Satzklassifizierung mithilfe regulärer Ausdrücke

In diesem Beispiel wird IBM Cloud Code Engine als Infrastrukturumgebung für die Anwendung der Webhook-Aufbereitung verwendet. Sie können die Anwendung jedoch in jeder anderen Umgebung implementieren.

1. Stellen Sie die Webhook-Aufbereitungsanwendung in IBM Cloud Code Enginebereit.

   1. Erstellen Sie in IBM Cloud Code Engine ein Projekt. Weitere Informationen finden Sie unter Projekt erstellen.

   2. Erstellen Sie ein Geheimnis im Projekt. Weitere Informationen finden Sie unter Geheime Schlüssel erstellen.

      Dieser geheime Schlüssel muss die folgenden Schlüssel/Wert-Paare enthalten:

      • WD_API_URL: Der API-Endpunkt URL Ihrer Discovery-Instanz.
      • WD_API_KEY: Der API-Schlüssel Ihrer Discovery-Instanz.
      • WEBHOOK_SECRET: Ein Schlüssel, der mit der Anforderung übergeben wird, die für die Authentifizierung bei der Anwendung verwendet wird. Beispiel: purple_unicorn.

   3. Implementieren Sie die Anwendung aus dem Quellcode des Beispielrepositorys. Weitere Informationen finden Sie unter App aus Repository-Quellcode bereitstellen.

      Klicken Sie unter Anwendung erstellenauf Builddetails angeben und geben Sie diese Details ein.

      • Geben Sie für die Quelle Folgendes an:

        • Code-Repository URL: URL des Beispiel-Code-Repositorys Discovery doc-tutorial-downloads-Seite
        • Zugriff auf den Code-Repository: None
        • Niederlassungsname: master
        • Kontextverzeichnis: discovery-data/webhook-enrichment-sample/regex

      • strategy: Dockerfile

      • Ausgabe: Geben Sie Ihre Container-Image-Registry-Informationen ein

      • Öffnen Sie Umgebungsvariablen (optional) und fügen Sie die folgenden Umgebungsvariablen hinzu:

        • Definieren als: Reference to full secret
        • Secret: Der Name des geheimen Schlüssels, den Sie im vorherigen Schritt im Projekt erstellt haben

      Sie können Min. Anzahl Instanzen auf 1 setzen.

   4. Stellen Sie sicher, dass sich der Anwendungsstatus in Bereit ändert.

2. Konfigurieren Sie die Discovery-Webhook-Aufbereitung. Weitere Informationen finden Sie unter "Webhook-Anreicherung konfigurieren ".

3. Aufnahme von Dokumenten in Discovery und Anzeige der Ergebnisse.

   1. Laden Sie nhtsa.csv von Discovery doc-tutorial-downloads in die Sammlung hoch.
   2. Suchen Sie die Ergebnisse der Webhook-Aufbereitung, indem Sie Ihre Abfrageergebnisse voranzeigen, nachdem die Dokumentverarbeitung abgeschlossen ist.

Granite- Extraktion von Entitäten unter Verwendung eines Grundmodells von watsonx.ai

In diesem Beispiel extrahieren wir Entitäten aus einer E-Mail mit dem Modell watsonx.ai Granite. Wir verwenden IBM Cloud Code Engine als Infrastrukturumgebung für die Anwendung der Webhook-Anreicherung. Sie können die Anwendung jedoch in jeder anderen Umgebung implementieren.

1. Stellen Sie die Webhook-Aufbereitungsanwendung in IBM Cloud Code Enginebereit.

   1. Erstellen Sie in IBM Cloud Code Engine ein Projekt. Weitere Informationen finden Sie unter Projekt erstellen.

   2. Erstellen Sie ein Geheimnis im Projekt. Weitere Informationen finden Sie unter Geheime Schlüssel erstellen.

      Dieser geheime Schlüssel muss die folgenden Schlüssel/Wert-Paare enthalten:

      • WD_API_URL: Der API-Endpunkt URL Ihrer Discovery-Instanz.
      • WD_API_KEY: Der API-Schlüssel Ihrer Discovery-Instanz.
      • WEBHOOK_SECRET: Ein Schlüssel, der mit der Anforderung übergeben wird, die für die Authentifizierung bei der Anwendung verwendet wird. Beispiel: purple_unicorn.
      • IBM_CLOUD_API_KEY: Der API-Schlüssel von IBM Cloud. Er wird für den Zugriff auf die API Watson Machine Learning verwendet.
      • WML_ENDPOINT_URL: Der API-Endpunkt URL von Ihrem Watson Machine Learning. Weitere Informationen finden Sie in der Dokumentation zu Machine Learning.
      • WML_INSTANCE_CRN: Der CRN Ihrer Watson Machine Learning. Sie können Ihre Instanz und CRN mit dem ibmcloud-Befehl ibmcloud resources suchen.

   3. Implementieren Sie die Anwendung aus dem Quellcode des Beispielrepositorys. Weitere Informationen finden Sie unter App aus Repository-Quellcode bereitstellen.

      Klicken Sie unter Anwendung erstellenauf Builddetails angeben und geben Sie diese Details ein.

      • Geben Sie für die Quelle Folgendes an:

        • Code-Repository URL: URL des Beispiel-Code-Repositorys Discovery doc-tutorial-downloads-Seite
        • Zugriff auf den Code-Repository: None
        • Niederlassungsname: master
        • Kontextverzeichnis: discovery-data/webhook-enrichment-sample/granite

      • strategy: Dockerfile

      • Ausgabe: Geben Sie Ihre Container-Image-Registry-Informationen ein

      • Öffnen Sie Umgebungsvariablen (optional) und fügen Sie die folgenden Umgebungsvariablen hinzu:

        • Definieren als: Reference to full secret
        • Secret: Der Name des geheimen Schlüssels, den Sie im vorherigen Schritt im Projekt erstellt haben

      Sie können Min. Anzahl Instanzen auf 1 setzen.

   4. Stellen Sie sicher, dass sich der Anwendungsstatus in Bereit ändert.

2. Konfigurieren Sie die Discovery-Webhook-Aufbereitung. Weitere Informationen finden Sie unter "Webhook-Anreicherung konfigurieren ".

3. Aufnahme von Dokumenten in Discovery und Anzeige der Ergebnisse.

   1. Laden Sie email.txt von Discovery doc-tutorial-downloads in die Sammlung hoch.
   2. Suchen Sie die Ergebnisse der Webhook-Aufbereitung, indem Sie Ihre Abfrageergebnisse voranzeigen, nachdem die Dokumentverarbeitung abgeschlossen ist.

Slate-Entitätsextraktion mit dem Slate-Modell Watsonx.ai, das mit beschrifteten Daten optimiert wurde, die aus dem Arbeitsbereich des Entitätsextraktors von Watson Discoveryexportiert wurden.

Schiefermodelle bieten den besten Kompromiss in Bezug auf die Kostenleistung bei nicht generativen Anwendungsfällen. Für die Optimierung sind taskspezifische gekennzeichnete Daten erforderlich. Sie können gekennzeichnete Daten in Watson Discoveryvorbereiten, das Slate-Modell in Watson Studiooptimieren und das Modell in Watson Machine Learningbereitstellen. Nachdem Sie ein fein abgestimmtes Modell implementiert haben, können Sie eine Webhook-Aufbereitung erstellen, die Dokumente mithilfe dieses Modells in Watson Discoveryaufbereitet.

1. Bereiten Sie gekennzeichnete Daten in Watson Discoveryvor.

   1. Erstellen Sie einen Arbeitsbereich für Entitätsextraktoren und Bezeichnungsdaten. Weitere Informationen finden Sie unter Angepasste Entitäten definieren.

   2. Laden Sie beschriftete Daten aus dem Arbeitsbereich des Entitätsextraktionsprogramms herunter. Weitere Informationen finden Sie unter Beschriftete Daten für ein Entitätsextraktionsprogramm exportieren.

      In diesem Lernprogramm können Sie die beschrifteten Beispieldaten aus Discovery doc-tutorial-downloads in nachfolgenden Schritten verwenden.

2. Optimieren Sie das Schiefermodell in Watson Studio und stellen Sie das Modell in Watson Machine Learningbereit.

   1. Erstellen Sie ein Projekt in Watson Studio. Weitere Informationen finden Sie unter Projekt erstellen.

   2. Erstellen Sie einen Bereitstellungsbereich in Watson Machine Learning. Weitere Informationen finden Sie unter Bereitstellungsbereiche erstellen.

   3. Erstellen Sie eine Umgebungsschablone im Projekt. Weitere Informationen finden Sie unter Umgebungsvorlagen erstellen. Sie können mit den folgenden Optionen erstellen:

      • Typ: Default
      • Hardwarekonfiguration
        • Reserve vCPU: 2
        • RAM reservieren (GB): 8
      • Softwareversion: Laufzeit 23.1 auf Python 3.10

   4. Erstellen Sie ein Notebook im Projekt mit der Umgebungsvorlage als Laufzeit aus der Notebook-Datei. Weitere Informationen zum cxreating eines Notebooks finden Sie unter Notebooks erstellen. Die Notebookdatei befindet sich unter Discovery doc-tutorial-downloads.

   5. Laden Sie beschriftete Daten in das Notebook hoch. Weitere Informationen hierzu finden Sie unter Daten aus lokalen Dateien laden.

   6. Optimieren und implementieren Sie das Slate-Modell, indem Sie das Notebook schrittweise ausführen und bestimmte Variablen ersetzen.

3. Stellen Sie die Webhook-Aufbereitungsanwendung in IBM Cloud Code Enginebereit.

   1. Erstellen Sie in IBM Cloud Code Engine ein Projekt. Weitere Informationen finden Sie unter Projekt erstellen.

   2. Erstellen Sie ein Geheimnis im Projekt. Weitere Informationen finden Sie unter Geheime Schlüssel erstellen.

      Dieser geheime Schlüssel muss die folgenden Schlüssel/Wert-Paare enthalten:

      • WD_API_URL: Der API-Endpunkt URL Ihrer Discovery-Instanz.
      • WD_API_KEY: Der API-Schlüssel Ihrer Discovery-Instanz.
      • WEBHOOK_SECRET: Ein Schlüssel, der mit der Anforderung übergeben wird, die für die Authentifizierung bei der Anwendung verwendet wird. Beispiel: purple_unicorn.
      • SCORING_API_HOSTNAME: Der API-Hostname Ihrer Scoring-Bereitstellung für Watson Machine Learning, die Ihr fein abgestimmtes Schiefermodell bereitstellt.
      • SCORING_DEPLOYMENT_ID: Die ID Ihrer Watson Machine Learning-Scoring-Bereitstellung, die Ihr fein abgestimmtes Schiefermodell bedient.
      • SCORING_API_TOKEN: Das API-Token, das in der Trägerautorisierung verwendet wird, um Ihre Watson Machine Learning zu nutzen, die Ihr optimiertes Slate-Modell bereitstellt. Sie können einen Token mit dem folgenden Befehl erhalten:

      curl -X POST {auth} \
      SCORING_API_TOKEN=$(
      curl -k -X POST 'https://{hostname of your cp4d instance}/icp4d-api/v1/authorize' \
                      --header "Content-Type: application/json"
                      -d "{\"username\":\"admin\",\"api_key\":\"{api key of your cp4d instance}\"}" \
      | jq .token
      )
      

4. Implementieren Sie die Anwendung aus dem Quellcode des Beispielrepositorys. Weitere Informationen finden Sie unter App aus Repository-Quellcode bereitstellen.

   1. Klicken Sie unter Anwendung erstellenauf Builddetails angeben und geben Sie diese Details ein.

      • Geben Sie für die Quelle Folgendes an:

        • Code-Repository URL: URL des Beispiel-Code-Repositorys Discovery doc-tutorial-downloads-Seite
        • Zugriff auf den Code-Repository: None
        • Niederlassungsname: master
        • Kontextverzeichnis: discovery-data/webhook-enrichment-sample/slate

      • strategy: Dockerfile

      • Ausgabe: Geben Sie Ihre Container-Image-Registry-Informationen ein

      • Öffnen Sie Umgebungsvariablen (optional) und fügen Sie die folgenden Umgebungsvariablen hinzu:

        • Definieren als: Reference to full secret
        • Secret: Der Name des geheimen Schlüssels, den Sie im vorherigen Schritt im Projekt erstellt haben

      Sie können Min. Anzahl Instanzen auf 1 setzen.

   2. Stellen Sie sicher, dass sich der Anwendungsstatus in Bereit ändert.

5. Konfigurieren Sie die Discovery-Webhook-Aufbereitung. Weitere Informationen finden Sie unter "Webhook-Anreicherung konfigurieren ".

6. Aufnahme von Dokumenten in Discovery und Anzeige der Ergebnisse.

   1. Laden Sie eine Seite des Geschäftsberichts von Discovery doc-tutorial-downloads in die Sammlung hoch.
   2. Suchen Sie die Ergebnisse der Webhook-Aufbereitung, indem Sie Ihre Abfrageergebnisse voranzeigen, nachdem die Dokumentverarbeitung abgeschlossen ist.