IBM Cloud Docs
Migrando soluções do Knowledge Studio

Migrando soluções do Knowledge Studio

Use modelos customizados e outros recursos que você criou no Knowledge Studio migrando-os para Discovery.

Usando um modelo como está

Para começar a usar seu modelo Knowledge Studio imediatamente, exporte o modelo de Knowledge Studio e importe-o para Discovery como um enriquecimento de aprendizado de máquina.

Ao importar um modelo Knowledge Studio para usar como está no Discovery, os tipos de entidade de nível raiz que foram definidos no modelo podem ser reconhecidos quando eles ocorrem em seus documentos. Quaisquer menções de subtipos de entidade que ocorrerem são identificadas como menções do tipo de entidade pai As entidades de subtipo não são preservadas. Se você desejar que o modelo continue a distinguir entre diferentes subtipos de uma entidade, deverá executar etapas extras. Para obter mais informações, consulte Retendo informações de subtipo

Não é possível continuar a atualizar um modelo que você importa como um enriquecimento de ML

Os seguintes tipos de modelos podem ser importados e usados no estado em que se encontra:

  • Modelos baseados em regra criados no Knowledge Studio que localizam entidades em documentos com base em regras definidas por você. (Formato do arquivo: .pear)
  • Modelos de aprendizado de máquina criados em Knowledge Studio que entendem as nuances linguísticas, o significado e as relações específicas do seu setor (formato de arquivo: .zip)

Os modelos que podem ser incluídos dependem do tipo de implementação:

  • IBM Cloud É possível incluir modelos que foram criados com uma instância do IBM Watson® Knowledge Studio que é hospedada somente no IBM Cloud.
  • IBM Cloud Pak for DataIBM Software Hub Você pode adicionar modelos que foram criados com uma instância de IBM Watson® Knowledge Studio que está hospedada em IBM Cloud Pak® for Data ou IBM Cloud.

Para obter mais informações, consulte Usando modelos ML importados para localizar termos customizados.

Usando um corpus como dados de treinamento

O Discovery tem uma ferramenta do extrator de entidade que pode ser usada para definir um sistema de tipos A interface com o usuário do extrator de entidade é semelhante à interface com o usuário do Knowledge Studio que é usada para anotar documentos que você inclui no corpus para um modelo de aprendizado de máquina. No entanto, no Knowledge Studio, você define apenas entidades de nível raiz, não subtipos ou relacionamentos.

Como uma alternativa para importar um modelo do Knowledge Studio como está e aplicá-lo como um enriquecimento, também é possível importar um corpus do Knowledge Studio. Ao incluir um corpus do Knowledge Studio na ferramenta do extrator de entidade Discovery, quaisquer entidades de nível raiz do corpus são representadas como novas entidades na área de trabalho do extrator de entidade Discovery. Os subtipos de entidade não são reconhecidos Embora seja possível executar etapas extras para reter informações de subtipo.

As relações e correferências do modelo de aprendizado de máquina Knowledge Studio não são representadas, nem quaisquer dicionários customizados que estejam associados ao modelo.

Coisas a serem consideradas ao escolher entre importar um modelo ou importar um corpus:

  • É possível continuar a editar o sistema de tipos ao importar o corpus.. Ao importar um modelo treinado, não será possível editá-lo subsequentemente no Discovery.
  • Um modelo importado que você aplica a uma coleção como um enriquecimento pode reconhecer qualquer subtipo de entidade, relação e informações de correferência que o modelo original foi treinado para reconhecer além de entidades de nível raiz. Um enriquecimento do extrator de entidade pode localizar apenas entidades de tag.

Para obter mais informações, consulte Importando um Knowledge Studio corpus.

Retendo informações de subtipo

Ao importar um modelo Knowledge Studio para Discovery, quaisquer subtipos que foram definidos no modelo são identificados como menções do tipo de entidade pai. As entidades de subtipo não são preservadas. Para reter as informações de subtipo, você deve comprimir seu sistema de tipos convertendo subtipos de entidade em novos tipos de entidade de nível raiz.

Siga estas etapas apenas se tiver certeza de que as distinções de subtipo incluem valor significativo para o modelo. Em muitos casos de uso, o uso dos tipos de entidade de nível raiz é suficiente

Não será possível usar este procedimento para reter subtipos se qualquer um dos documentos em seu corpus tiver sido pré-anotados com o serviço Natural Language Understanding Certifique-se de que seu sistema de tipo achatado não supere o número permitido de tipos de entidade para seu plano. Para obter mais informações, consulte Limites do extrator de entidade.

Por exemplo, seu modelo pode ter tipos de entidade com a hierarquia a seguir:

APPLIANCES
FURNITURE
  PATIO
  LIVING
  DINING

Uma versão achatada do sistema de tipo é semelhante a esta:

APPLIANCES
FURNITURE_NONE
FURNITURE_PATIO
FURNITURE_LIVING
FURNITURE_DINING

Uma abordagem útil para o achatamento do sistema de tipos envolve as seguintes mudanças:

  • Inclua o rótulo de tipo de entidade pai (FURNITURE) como um prefixo no rótulo de cada subtipo filho para produzir uma nova entidade de nível raiz que preserve o relacionamento hierárquico em seu rótulo. Por exemplo, FURNITURE_PATIO, FURNITURE_LIVING e FURNITURE_DINING.
  • Anexe a palavra NONE ao rótulo da entidade de nível raiz pai para identificá-lo como o pai Por exemplo, FURNITURE_NONE.
  • Deixe os rótulos de tipos de entidade que não têm subtipos inalterados Por exemplo, o rótulo APPLIANCES não é alterado

Para reter informações de subtipo de entidade, conclua as etapas a seguir:

  1. Assegure-se de que a anotação e o treinamento do modelo Knowledge Studio estejam concluídos e que o modelo esteja pronto para ser implementado.

  2. Exporte o sistema de tipos que foi usado para anotar os documentos em seu corpus de Knowledge Studio como um arquivo .json.

    Siga as etapas apropriadas para exportar com base no tipo de implementação do Knowledge Studio:

  3. Modifique o arquivo JSON do sistema de tipos Para cada subtipo, inclua um novo tipo de entidade de nível raiz..

    Por exemplo, o sistema de tipos original pode conter os seguintes tipos:

    {
      "id":"b9d6caa2-90ac-47ff-91f6-2149b8ffcf20",
      "label":"FURNITURE",
      "sireProp":{
        "mentionType":null,
        "subtypes":["PATIO","LIVING","DINING"],
        "roles":["b9d6caa2-90ac-47ff-91f6-2149b8ffcf20","93ba1f27-173f-4714-b31e-77bdd8cb9932"],
        "clazz":null,
        "color":"black",
        "hotkey":"m",
        "backGroundColor":"#00FFFF",
        "active":true,
        "roleOnly":false},
        "creationDate":1610611788484,
        "source":null,
        "modifiedDate":0,
        "typeType":null,
        "typeClass":null,
        "typeVersion":null,
        "typeDesc":null,
        "typeSuperType":null,
        "typeSuperTypeId":null,
        "typeCreateDate":null,
        "typeUpdateDate":null,
        "typeProvenance":null,
        "alchemyAPITypes":null,
        "nluAPITypes":null},
    

    Para converter os subtipos para novos tipos de nível raiz, faça a seguinte mudança:

    {
      "id":"b9d6caa2-90ac-47ff-91f6-2149b8ffcf20",
      "label":"FURNITURE_NONE",
      "sireProp":{
        "mentionType":null,
        "subtypes":null,
        "roles":["b9d6caa2-90ac-47ff-91f6-2149b8ffcf20","93ba1f27-173f-4714-b31e-77bdd8cb9932"],
        "clazz":null,
        "and so on"
        }
    },
    {
      "id":"b9d6caa2-90ac-47ff-91f6-2149b8ffcf20",
      "label":"FURNITURE_PATIO",
      "sireProp":{
        "mentionType":null,
        "subtypes":null,
        "roles":["b9d6caa2-90ac-47ff-91f6-2149b8ffcf20","93ba1f27-173f-4714-b31e-77bdd8cb9932"],
        "clazz":null,
        "and so on"
        }
    },
    {
      "id":"b9d6caa2-90ac-47ff-91f6-2149b8ffcf20",
      "label":"FURNITURE_LIVING",
      "sireProp":{
        "mentionType":null,
        "subtypes":null,
        "roles":["b9d6caa2-90ac-47ff-91f6-2149b8ffcf20","93ba1f27-173f-4714-b31e-77bdd8cb9932"],
        "clazz":null,
        "and so on"
        }
    },
    {
      "id":"b9d6caa2-90ac-47ff-91f6-2149b8ffcf20",
      "label":"FURNITURE_DINING",
      "sireProp":{
        "mentionType":null,
        "subtypes":null,
        "roles":["b9d6caa2-90ac-47ff-91f6-2149b8ffcf20","93ba1f27-173f-4714-b31e-77bdd8cb9932"],
        "clazz":null,
        "and so on"
        }
    },
    
  4. Designe um ID exclusivo para cada novo tipo de entidade de nível raiz

  5. Exporte o corpus para seu modelo de aprendizado de máquina do Knowledge Studio como um arquivo compactado.

    Siga as etapas apropriadas para exportar com base no tipo de implementação do Knowledge Studio:

  6. No corpus transferido por download, para todas as menções com um subtipo definido, atualize as informações de tipo da menção para especificar o novo tipo de entidade de nível raiz.

    Por exemplo, o sistema de tipos original pode incluir a menção de subtipo PATIO :

    {
      "id" : "Blogs_shopper.com_dc5cf4764d91f87575b17ac8a5268462.en-M92",
      "source" : "IMPORT",
      "properties" : {
        "SIRE_ENTITY_CLASS" : "SPC",
        "SIRE_MENTION_CLASS" : "SPC",
        "SIRE_ENTITY_LEVEL" : "NONE",
        "SIRE_ENTITY_SUBTYPE" : "PATIO",
        "SIRE_MENTION_ROLE" : "FURNITURE",
        "SIRE_MENTION_TYPE" : "NONE"
      },
      "type" : "FURNITURE",
      "begin" : 3221,
      "end" : 3234,
      "inCoref" : false
    },
    

    Substitua o valor de SIRE_MENTION_ROLE e type para a menção com o novo rótulo de entidade de nível raiz, como FURNITURE_PATIO Especifique NONE como o valor SIRE_ENTITY_SUBTYPE.

    {
      "id" : "Blogs_shopper.com_dc5cf4764d91f87575b17ac8a5268462.en-M92",
      "source" : "IMPORT",
      "properties" : {
        "SIRE_ENTITY_CLASS" : "SPC",
        "SIRE_MENTION_CLASS" : "SPC",
        "SIRE_ENTITY_LEVEL" : "NONE",
        "SIRE_ENTITY_SUBTYPE" : "NONE",
        "SIRE_MENTION_ROLE" : "FURNITURE_PATIO",
        "SIRE_MENTION_TYPE" : "NONE"
      },
      "type" : "FURNITURE_PATIO",
      "begin" : 3221,
      "end" : 3234,
      "inCoref" : false
    },
    

    Não se esqueça de renomear os rótulos de menção dos pais

    Por exemplo, localize menções que especificam "SIRE_ENTITY_SUBTYPE" : "OTHER" e, em seguida, mude o valor de OTHER para NONE.

    Altere o valor de SIRE_MENTION_ROLE e type para a menção para o novo rótulo de tipo de entidade pai

    Por exemplo, mude os valores SIRE_MENTION_ROLE e type para essas menções de FURNITURE para FURNITURE_NONE e SIRE_ENTITY_SUBTYPE para NONE.

    {
      "id" : "Sports_herald.com_be99aca94a7cff5abb74476b844a11b6.en-M75",
      "source" : "IMPORT",
      "properties" : {
        "SIRE_MENTION_CLASS" : "SPC",
        "SIRE_ENTITY_LEVEL" : "NONE",
        "SIRE_ENTITY_SUBTYPE" : "NONE",
        "SIRE_ENTITY_CLASS" : "SPC",
        "SIRE_MENTION_TYPE" : "NONE",
        "SIRE_MENTION_ROLE" : "FURNITURE_NONE"
      },
      "type" : "FURNITURE_NONE",
      "begin" : 2063,
      "end" : 2071,
      "inCoref" : false
    },
    
  7. Inclua anotações para relacionamentos que estão ausentes com base nos novos tipos de entidade nivelados.

  8. Crie uma área de trabalho Knowledge Studio e, em seguida, faça upload do sistema de tipos convertido.

    Siga as etapas apropriadas para fazer upload de um sistema de tipos com base em seu tipo de implementação Knowledge Studio:

  9. Faça upload dos documentos anotados para a área de trabalho Retenha a estrutura do arquivo original dos dados exportados Assegure-se de que o arquivo compactado tenha o mesmo diretório de nível raiz do arquivo exportado original, por exemplo.

    Siga as etapas apropriadas para fazer upload de documentos com base em seu tipo de implementação do Knowledge Studio:

  10. Em Knowledge Studio, clique em Treinar para retreinar o modelo.

    Para obter mais informações, consulte o tópico apropriado para seu tipo de implantação:

  11. Agora, você está pronto para exportar o modelo do Knowledge Studio e importá-lo para o Discovery para usar o modelo como um enriquecimento de aprendizado de máquina

    Para obter mais informações, consulte Usando modelos ML importados para localizar termos customizados.