Objectifs d'apprentissage

Lorsque vous aurez terminé le tutoriel, vous apprendrez à utiliser les exemples d'application suivants:

• Regex: pour l'extraction d'entité, la classification de document et la classification de phrase à l'aide d'expressions régulières
• Granite : Pour l'extraction d'entités à partir d'un courriel en utilisant le modèle watsonx.ai Granite
• Slate: pour l'extraction d'entité avec le modèle Slate watsonx.ai qui est affiné avec des données libellées exportées à partir de l'espace de travail de l'extracteur d'entité de Watson Discovery.

Regex-Entity Extraction, classification de document et classification de phrase à l'aide d'expressions régulières

Dans cet exemple, nous utilisons IBM Cloud Code Engine comme environnement d'infrastructure pour l'application de l'enrichissement de webhook. Toutefois, vous pouvez déployer l'application dans n'importe quel autre environnement.

1. Déployez l'application d'enrichissement de webhook dans IBM Cloud Code Engine.

   1. Créez un projet dans IBM Cloud Code Engine. Pour plus d'informations, voir Création d'un projet.

   2. Créer un secret dans le projet. Pour plus d'informations, voir Création de secrets.

      Ce secret doit contenir les paires clé-valeur suivantes:

      • WD_API_URL: Le point de terminaison de l'API URL de votre instance Discovery.
      • WD_API_KEY: clé d'API de votre instance Discovery.
      • WEBHOOK_SECRET: clé à transmettre avec la demande qui peut être utilisée pour l'authentification auprès de l'application. Par exemple,purple_unicorn.

   3. Déployez l'application à partir de l'exemple de code source de référentiel. Pour plus d'informations, voir Déploiement de votre application à partir du code source du référentiel.

      Dans Créer une application, cliquez sur Spécifier les détails de la génération et entrez ces détails.

      • Pour la source, spécifiez:

        • Code repo URL: URL de l'échantillon de code Discovery doc-tutorial-downloads page
        • Accès à la base de données du code : None
        • Nom de la succursale master
        • Répertoire de contexte: discovery-data/webhook-enrichment-sample/regex

      • strategy: Dockerfile

      • Sortie: Entrez vos informations de registre d'images de conteneur

      • Ouvrez Variables d'environnement (facultatif) et ajoutez les variables d'environnement suivantes:

        • Définir en tant que: Reference to full secret
        • Secret: nom du secret que vous avez créé dans le projet à l'étape précédente

      Vous pouvez définir le nombre minimal d'instances sur 1.

   4. Vérifiez que le statut de l'application passe à Prêt.

2. Configurez l'enrichissement de webhook Discovery. Pour plus d'informations, voir Configuration de l'enrichissement du webhook.

3. Ingérez des documents dans Discovery et affichez les résultats.

   1. Téléchargez nhtsa.csv depuis Discovery doc-tutorial-downloads dans la collection.
   2. Recherchez les résultats de l'enrichissement de webhook en prévisualisant vos résultats de requête une fois le traitement du document terminé.

Granite- Extraction d'entités en utilisant un modèle de base de watsonx.ai

Dans cet exemple, nous extrayons des entités d'un courriel en utilisant le modèle watsonx.ai Granite. Nous utilisons IBM Cloud Code Engine comme environnement d'infrastructure pour l'application de l'enrichissement des webhooks. Toutefois, vous pouvez déployer l'application dans n'importe quel autre environnement.

1. Déployez l'application d'enrichissement de webhook dans IBM Cloud Code Engine.

   1. Créez un projet dans IBM Cloud Code Engine. Pour plus d'informations, voir Création d'un projet.

   2. Créer un secret dans le projet. Pour plus d'informations, voir Création de secrets.

      Ce secret doit contenir les paires clé-valeur suivantes:

      • WD_API_URL: Le point de terminaison de l'API URL de votre instance Discovery.
      • WD_API_KEY: clé d'API de votre instance Discovery.
      • WEBHOOK_SECRET: clé à transmettre avec la demande qui peut être utilisée pour l'authentification auprès de l'application. Par exemple,purple_unicorn.
      • IBM_CLOUD_API_KEY: clé d'API d' IBM Cloud. Il est utilisé pour accéder à l'API Watson Machine Learning.
      • WML_ENDPOINT_URL: Le point de terminaison de l'API URL de votre Watson Machine Learning. Pour plus d'informations, voir la documentation de Machine Learning.
      • WML_INSTANCE_CRN: CRN de votre instance Watson Machine Learning. Vous pouvez trouver votre instance et votre CRN à l'aide de la commande ibmcloud : ibmcloud resources.

   3. Déployez l'application à partir de l'exemple de code source de référentiel. Pour plus d'informations, voir Déploiement de votre application à partir du code source du référentiel.

      Dans Créer une application, cliquez sur Spécifier les détails de la génération et entrez ces détails.

      • Pour la source, spécifiez:

        • Code repo URL: URL de l'échantillon de code Discovery doc-tutorial-downloads page
        • Accès à la base de données du code : None
        • Nom de la succursale master
        • Répertoire de contexte: discovery-data/webhook-enrichment-sample/granite

      • strategy: Dockerfile

      • Sortie: Entrez vos informations de registre d'images de conteneur

      • Ouvrez Variables d'environnement (facultatif) et ajoutez les variables d'environnement suivantes:

        • Définir en tant que: Reference to full secret
        • Secret: nom du secret que vous avez créé dans le projet à l'étape précédente

      Vous pouvez définir le nombre minimal d'instances sur 1.

   4. Vérifiez que le statut de l'application passe à Prêt.

2. Configurez l'enrichissement de webhook Discovery. Pour plus d'informations, voir Configuration de l'enrichissement du webhook.

3. Ingérez des documents dans Discovery et affichez les résultats.

   1. Téléchargez email.txt depuis Discovery doc-tutorial-downloads vers la collection.
   2. Recherchez les résultats de l'enrichissement de webhook en prévisualisant vos résultats de requête une fois le traitement du document terminé.

Slate-Extraction d'entité avec le modèle Watsonx.ai Slate qui est affiné avec des données libellées exportées à partir de l'espace de travail de l'extracteur d'entité de Watson Discovery.

Les modèles d'ardoise ont le meilleur compromis de performance de coût pour les cas d'utilisation non génératifs. Pour un réglage fin, il requiert des données de libellé spécifiques à la tâche. Vous pouvez préparer des données libellées dans Watson Discovery, affiner le modèle Slate dans Watson Studioet déployer le modèle dans Watson Machine Learning. Une fois que vous avez déployé un modèle optimisé, vous pouvez créer un enrichissement de webhook qui enrichit les documents à l'aide de ce modèle dans Watson Discovery.

1. Préparez les données libellées dans Watson Discovery.

   1. Créez un espace de travail d'extracteur d'entité et des données de libellé. Pour plus d'informations, voir Définition d'entités personnalisées.

   2. Téléchargez les données libellées à partir de l'espace de travail de l'extracteur d'entité. Pour plus d'informations, voir Exportation de données libellées pour un extracteur d'entité.

      Dans ce tutoriel, vous pouvez utiliser les exemples de données labled de Discovery doc-tutorial-downloads dans les étapes suivantes.

2. Affinez le modèle d'ardoise dans Watson Studio et déployez le modèle dans Watson Machine Learning.

   1. Créez un projet sur Watson Studio. Pour plus d'informations, voir Création d'un projet.

   2. Créez un espace de déploiement dans Watson Machine Learning. Pour plus d'informations, voir Création d'espaces de déploiement

   3. Créez un modèle d'environnement dans le projet. Pour plus d'informations, voir Création de modèles d'environnement. Vous pouvez créer avec les options suivantes :

      • Type: Default
      • Configuration matérielle
        • Réserve vCPU: 2
        • Réserver de la mémoire RAM (Go): 8
      • Version logicielle: Runtime 23.1 sur Python 3.10

   4. Créez un bloc-notes dans le projet en utilisant le modèle d'environnement comme environnement d'exécution à partir du fichier de bloc-notes. Pour plus d'informations sur la création d'un bloc-notes, voir Création de blocs-notes. Le fichier de bloc-notes se trouve dans Discovery doc-tutorial-downloads.

   5. Téléchargez les données libellées dans le bloc-notes. Pour plus d'informations, voir Chargement de données à partir de fichiers locaux.

   6. Affinez et déployez le modèle Slate en exécutant le bloc-notes étape par étape et en remplaçant certaines variables.

3. Déployez l'application d'enrichissement de webhook dans IBM Cloud Code Engine.

   1. Créez un projet dans IBM Cloud Code Engine. Pour plus d'informations, voir Création d'un projet.

   2. Créer un secret dans le projet. Pour plus d'informations, voir Création de secrets.

      Ce secret doit contenir les paires clé-valeur suivantes:

      • WD_API_URL: Le point de terminaison de l'API URL de votre instance Discovery.
      • WD_API_KEY: clé d'API de votre instance Discovery.
      • WEBHOOK_SECRET: clé à transmettre avec la demande qui peut être utilisée pour l'authentification auprès de l'application. Par exemple,purple_unicorn.
      • SCORING_API_HOSTNAME: nom d'hôte d'API de votre déploiement d'évaluation Watson Machine Learning qui sert votre modèle d'ardoise optimisé.
      • SCORING_DEPLOYMENT_ID: ID de votre déploiement de scoring Watson Machine Learning qui sert votre modèle d'ardoise affinée.
      • SCORING_API_TOKEN: jeton d'API utilisé dans l'autorisation bearer pour utiliser votre déploiement de scoring Watson Machine Learning qui sert votre modèle Slate affiné. Vous pouvez obtenir un jeton en utilisant la commande suivante :

      curl -X POST {auth} \
      SCORING_API_TOKEN=$(
      curl -k -X POST 'https://{hostname of your cp4d instance}/icp4d-api/v1/authorize' \
                      --header "Content-Type: application/json"
                      -d "{\"username\":\"admin\",\"api_key\":\"{api key of your cp4d instance}\"}" \
      | jq .token
      )
      

4. Déployez l'application à partir de l'exemple de code source de référentiel. Pour plus d'informations, voir Déploiement de votre application à partir du code source du référentiel.

   1. Dans Créer une application, cliquez sur Spécifier les détails de la génération et entrez ces détails.

      • Pour la source, spécifiez:

        • Code repo URL: URL de l'échantillon de code Discovery doc-tutorial-downloads page
        • Accès à la base de données du code : None
        • Nom de la succursale master
        • Répertoire de contexte: discovery-data/webhook-enrichment-sample/slate

      • strategy: Dockerfile

      • Sortie: Entrez vos informations de registre d'images de conteneur

      • Ouvrez Variables d'environnement (facultatif) et ajoutez les variables d'environnement suivantes:

        • Définir en tant que: Reference to full secret
        • Secret: nom du secret que vous avez créé dans le projet à l'étape précédente

      Vous pouvez définir le nombre minimal d'instances sur 1.

   2. Vérifiez que le statut de l'application passe à Prêt.

5. Configurez l'enrichissement de webhook Discovery. Pour plus d'informations, voir Configuration de l'enrichissement du webhook.

6. Ingérez des documents dans Discovery et affichez les résultats.

   1. Téléchargez une page du rapport annuel à partir de Discovery doc-tutorial-downloads dans la collection.
   2. Recherchez les résultats de l'enrichissement de webhook en prévisualisant vos résultats de requête une fois le traitement du document terminé.