Migration des solutions Knowledge Studio

Utilisez les modèles personnalisés et les autres ressources que vous avez créés dans Knowledge Studio en les faisant migrer vers Discovery.

Utilisation d'un modèle tel qu'il est

Pour commencer à utiliser immédiatement votre modèle Knowledge Studio, exportez-le à partir de Knowledge Studio et importez-le dans Discovery en tant qu'enrichissement d'apprentissage automatique.

Lorsque vous importez un modèle Knowledge Studio à utiliser tel quel dans Discovery, les types d'entité de niveau racine qui ont été définis dans le modèle peuvent être reconnus lorsqu'ils apparaissent dans vos documents. Toutes les mentions de sous-types d'entité qui se produisent sont identifiées comme des mentions du type d'entité parent. Les entités de sous-type elles-mêmes ne sont pas conservées. Si vous souhaitez que le modèle continue à faire la distinction entre les différents sous-types d'une entité, vous devez effectuer des étapes supplémentaires. Pour plus d'informations, voir Conservation des informations sur les sous-types.

Vous ne pouvez pas continuer à mettre à jour un modèle que vous importez en tant qu'enrichissement ML.

Les types de modèles suivants peuvent être importés et utilisés tels quels:

Les modèles basés sur les règles créés dans Knowledge Studio qui recherchent des entités dans les documents en fonction des règles que vous définissez. (Format de fichier: .pear)
Modèles d'apprentissage automatique créés dans l' Knowledge Studio, qui comprennent les nuances linguistiques, le sens et les relations spécifiques à votre secteur d'activité (format de fichier : .zip)

Les modèles que vous pouvez ajouter dépendent de votre type de déploiement:

IBM Cloud Vous pouvez ajouter des modèles qui ont été créés avec une instance IBM Watson® Knowledge Studio hébergée dans IBM Cloud uniquement.
IBM Cloud Pak for Data Vous pouvez ajouter des modèles qui ont été créés avec une instance d'xml-ph-0000@deepl.internal, hébergée sur xml-ph-0001@deepl.internal ou xml-ph-00 IBM Software Hub Vous pouvez ajouter des modèles qui ont été créés avec une instance d' IBM Watson® Knowledge Studio, hébergée sur IBM Cloud Pak® for Data ou IBM Cloud.

Pour plus d'informations, voir Utilisation de modèles ML importés pour rechercher des termes personnalisés.

Utilisation d'un corpus comme données d'apprentissage

Discovery dispose d'un outil d'extraction d'entité que vous pouvez utiliser pour définir un système de types. L'interface utilisateur de l'extracteur d'entité est similaire à l'interface utilisateur Knowledge Studio utilisée pour annoter les documents que vous ajoutez à un corpus pour un modèle d'apprentissage automatique. Toutefois, dans Knowledge Studio, vous définissez des entités de niveau racine uniquement et non des sous-types ou des relations.

Comme alternative à l'importation d'un modèle Knowledge Studio tel qu'il est et à son application en tant qu'enrichissement, vous pouvez également importer un corpus Knowledge Studio. Lorsque vous ajoutez un corpus Knowledge Studio à l'outil d'extraction d'entité Discovery, toutes les entités de niveau racine du corpus sont représentées en tant que nouvelles entités dans l'espace de travail de l'extracteur d'entité Discovery. Les sous-types d'entité ne sont pas reconnus. Toutefois, vous pouvez effectuer des étapes supplémentaires pour conserver les informations de sous-type.

Les relations et les coréférences du modèle d'apprentissage automatique Knowledge Studio ne sont pas représentées, de même que les dictionnaires personnalisés associés au modèle.

Points à prendre en compte lors de l'importation d'un modèle ou d'un corpus:

Vous pouvez continuer à éditer le système de types lorsque vous importez le corpus. Lorsque vous importez un modèle entraîné, vous ne pouvez pas l'éditer ultérieurement dans Discovery.
Un modèle importé que vous appliquez à une collection en tant qu'enrichissement peut reconnaître les informations de sous-type d'entité, de relation et de coréférence que le modèle d'origine a été entraîné à reconnaître en plus des entités de niveau racine. Un enrichissement d'extracteur d'entité peut uniquement rechercher et étiqueter des entités.

Pour plus d'informations, voir Importation d'un corpus Knowledge Studio.

Conservation des informations de sous-type

Lorsque vous importez un modèle Knowledge Studio dans Discovery, tous les sous-types définis dans le modèle sont identifiés comme des mentions du type d'entité parent. Les entités de sous-type elles-mêmes ne sont pas conservées. Pour conserver les informations de sous-type, vous devez mettre à plat votre système de types en convertissant les sous-types d'entité en nouveaux types d'entité de niveau racine.

Suivez ces étapes uniquement si vous êtes certain que les distinctions de sous-type ajoutent une valeur significative au modèle. Dans de nombreux cas d'utilisation, l'utilisation des types d'entité de niveau racine est suffisante.

Vous ne pouvez pas utiliser cette procédure pour conserver des sous-types si l'un des documents de votre corpus a été pré-annoté avec le service Natural Language Understanding. Assurez-vous que votre système de types mis à plat ne dépasse pas le nombre autorisé de types d'entité pour votre plan. Pour plus d'informations, voir Limites de l'extracteur d'entité.

Par exemple, votre modèle peut avoir des types d'entité avec la hiérarchie suivante:

APPLIANCES
FURNITURE
  PATIO
  LIVING
  DINING

Une version mise à plat du type sytem se présente comme suit:

APPLIANCES
FURNITURE_NONE
FURNITURE_PATIO
FURNITURE_LIVING
FURNITURE_DINING

Une approche utile pour aplatir le système de types implique les modifications suivantes:

Ajoutez le libellé de type d'entité parent (FURNITURE) comme préfixe au libellé de chaque sous-type enfant pour produire une nouvelle entité de niveau racine qui préserve la relation hiérarchique dans son libellé. Par exemple, FURNITURE_PATIO, FURNITURE_LIVING et FURNITURE_DINING.
Ajoutez le mot NONE au libellé d'entité de niveau racine parent pour l'identifier en tant que parent. Par exemple, FURNITURE_NONE.
Laissez les libellés des types d'entité dont les sous-types ne sont pas modifiés. Par exemple, le libellé APPLIANCES ne change pas.

Pour conserver les informations de sous-type d'entité, procédez comme suit:

Vérifiez que l'annotation et l'entraînement du modèle Knowledge Studio sont terminés et que le modèle est prêt à être déployé.
Exportez le système de types utilisé pour annoter les documents de votre corpus à partir de Knowledge Studio en tant que fichier .json.

Suivez les étapes appropriées pour l'exportation en fonction de votre type de déploiement Knowledge Studio:
- IBM CloudTéléchargement de ressources à partir d'un autre espace de travail
- IBM Cloud Pak for DataIBM Software HubTéléchargement de ressources à partir d'un autre espace de travail

Modifiez le fichier JSON du système de types. Pour chaque sous-type, ajoutez un nouveau type d'entité de niveau racine.

Par exemple, le système de types d'origine peut contenir les types suivants:

{
  "id":"b9d6caa2-90ac-47ff-91f6-2149b8ffcf20",
  "label":"FURNITURE",
  "sireProp":{
    "mentionType":null,
    "subtypes":["PATIO","LIVING","DINING"],
    "roles":["b9d6caa2-90ac-47ff-91f6-2149b8ffcf20","93ba1f27-173f-4714-b31e-77bdd8cb9932"],
    "clazz":null,
    "color":"black",
    "hotkey":"m",
    "backGroundColor":"#00FFFF",
    "active":true,
    "roleOnly":false},
    "creationDate":1610611788484,
    "source":null,
    "modifiedDate":0,
    "typeType":null,
    "typeClass":null,
    "typeVersion":null,
    "typeDesc":null,
    "typeSuperType":null,
    "typeSuperTypeId":null,
    "typeCreateDate":null,
    "typeUpdateDate":null,
    "typeProvenance":null,
    "alchemyAPITypes":null,
    "nluAPITypes":null},

Pour convertir les sous-types en nouveaux types de niveau racine, procédez comme suit:

{
  "id":"b9d6caa2-90ac-47ff-91f6-2149b8ffcf20",
  "label":"FURNITURE_NONE",
  "sireProp":{
    "mentionType":null,
    "subtypes":null,
    "roles":["b9d6caa2-90ac-47ff-91f6-2149b8ffcf20","93ba1f27-173f-4714-b31e-77bdd8cb9932"],
    "clazz":null,
    "and so on"
    }
},
{
  "id":"b9d6caa2-90ac-47ff-91f6-2149b8ffcf20",
  "label":"FURNITURE_PATIO",
  "sireProp":{
    "mentionType":null,
    "subtypes":null,
    "roles":["b9d6caa2-90ac-47ff-91f6-2149b8ffcf20","93ba1f27-173f-4714-b31e-77bdd8cb9932"],
    "clazz":null,
    "and so on"
    }
},
{
  "id":"b9d6caa2-90ac-47ff-91f6-2149b8ffcf20",
  "label":"FURNITURE_LIVING",
  "sireProp":{
    "mentionType":null,
    "subtypes":null,
    "roles":["b9d6caa2-90ac-47ff-91f6-2149b8ffcf20","93ba1f27-173f-4714-b31e-77bdd8cb9932"],
    "clazz":null,
    "and so on"
    }
},
{
  "id":"b9d6caa2-90ac-47ff-91f6-2149b8ffcf20",
  "label":"FURNITURE_DINING",
  "sireProp":{
    "mentionType":null,
    "subtypes":null,
    "roles":["b9d6caa2-90ac-47ff-91f6-2149b8ffcf20","93ba1f27-173f-4714-b31e-77bdd8cb9932"],
    "clazz":null,
    "and so on"
    }
},

Affectez un ID unique à chaque nouveau type d'entité de niveau racine.
Exportez le corpus de votre modèle d'apprentissage automatique depuis Knowledge Studio en tant que fichier compressé.

Suivez les étapes appropriées pour l'exportation en fonction de votre type de déploiement Knowledge Studio:
- IBM CloudTéléchargement de ressources à partir d'un autre espace de travail
- IBM Cloud Pak for DataIBM Software HubTéléchargement de ressources à partir d'un autre espace de travail

Dans le corpus téléchargé, pour toutes les mentions avec un sous-type défini, mettez à jour les informations de type pour la mention afin de spécifier le nouveau type d'entité de niveau racine.

Par exemple, le système de types d'origine peut inclure la mention de sous-type PATIO :

{
  "id" : "Blogs_shopper.com_dc5cf4764d91f87575b17ac8a5268462.en-M92",
  "source" : "IMPORT",
  "properties" : {
    "SIRE_ENTITY_CLASS" : "SPC",
    "SIRE_MENTION_CLASS" : "SPC",
    "SIRE_ENTITY_LEVEL" : "NONE",
    "SIRE_ENTITY_SUBTYPE" : "PATIO",
    "SIRE_MENTION_ROLE" : "FURNITURE",
    "SIRE_MENTION_TYPE" : "NONE"
  },
  "type" : "FURNITURE",
  "begin" : 3221,
  "end" : 3234,
  "inCoref" : false
},

Remplacez la valeur de SIRE_MENTION_ROLE et de type pour la mention par le nouveau libellé d'entité de niveau racine, tel que FURNITURE_PATIO. Spécifiez NONE comme valeur SIRE_ENTITY_SUBTYPE.

{
  "id" : "Blogs_shopper.com_dc5cf4764d91f87575b17ac8a5268462.en-M92",
  "source" : "IMPORT",
  "properties" : {
    "SIRE_ENTITY_CLASS" : "SPC",
    "SIRE_MENTION_CLASS" : "SPC",
    "SIRE_ENTITY_LEVEL" : "NONE",
    "SIRE_ENTITY_SUBTYPE" : "NONE",
    "SIRE_MENTION_ROLE" : "FURNITURE_PATIO",
    "SIRE_MENTION_TYPE" : "NONE"
  },
  "type" : "FURNITURE_PATIO",
  "begin" : 3221,
  "end" : 3234,
  "inCoref" : false
},

N'oubliez pas de renommer les libellés de mention parent.

Par exemple, recherchez les mentions qui spécifient "SIRE_ENTITY_SUBTYPE" : "OTHER", puis remplacez la valeur OTHER par NONE.

Remplacez la valeur de SIRE_MENTION_ROLE et de type pour la mention par le nouveau libellé de type d'entité parent.

Par exemple, remplacez les valeurs SIRE_MENTION_ROLE et type de ces mentions FURNITURE par FURNITURE_NONE et SIRE_ENTITY_SUBTYPE par NONE.

{
  "id" : "Sports_herald.com_be99aca94a7cff5abb74476b844a11b6.en-M75",
  "source" : "IMPORT",
  "properties" : {
    "SIRE_MENTION_CLASS" : "SPC",
    "SIRE_ENTITY_LEVEL" : "NONE",
    "SIRE_ENTITY_SUBTYPE" : "NONE",
    "SIRE_ENTITY_CLASS" : "SPC",
    "SIRE_MENTION_TYPE" : "NONE",
    "SIRE_MENTION_ROLE" : "FURNITURE_NONE"
  },
  "type" : "FURNITURE_NONE",
  "begin" : 2063,
  "end" : 2071,
  "inCoref" : false
},

Ajoutez des annotations pour les relations manquantes en fonction des nouveaux types d'entité mis à plat.
Créez un espace de travail Knowledge Studio, puis téléchargez le système de types converti.

Suivez les étapes appropriées pour télécharger un système de types basé sur votre type de déploiement Knowledge Studio:
- IBM CloudAjout d'un système de types à l'espace de travail
- IBM Cloud Pak for DataIBM Software HubAjout d'un système de types à l'espace de travail
Téléchargez les documents annotés dans l'espace de travail. Conservez la structure de fichier d'origine des données exportées. Vérifiez que le fichier compressé possède le même répertoire de niveau racine que le fichier exporté d'origine, par exemple.

Suivez les étapes appropriées pour télécharger des documents en fonction de votre type de déploiement Knowledge Studio:
- IBM CloudAjout de documents à un espace de travail
- IBM Cloud Pak for DataIBM Software HubAjout de documents dans un espace de travail
Dans Knowledge Studio, cliquez sur Entraîner pour entraîner à nouveau le modèle.

Pour plus d'informations, consultez la rubrique appropriée à votre type de déploiement :
- IBM CloudFormation du modèle d'apprentissage automatique
- IBM Cloud Pak for DataIBM Software HubEntraînement du modèle d'apprentissage automatique
Vous êtes maintenant prêt à exporter le modèle à partir de Knowledge Studio et à l'importer dans Discovery pour utiliser le modèle en tant qu'enrichissement d'apprentissage automatique.

Pour plus d'informations, voir Utilisation de modèles ML importés pour rechercher des termes personnalisés.