Dicas de rotulagem

Revise estas dicas antes de iniciar:

• A coleção de documentos que você rotula deve conter um conjunto de documentos representativo. Os documentos devem ter muitos e variados exemplos dos tipos de entidade que você deseja que o extrator de entidade reconheça Se a coleção selecionada quando você começou a criar o extrator de entidade não atender ao requisito, pare agora e inicie novamente com uma coleção de documentos diferente.
• Defina os tipos de entidade que são claramente diferentes uns dos outros
• O objetivo é rotular pelo menos 40 exemplos de cada tipo de entidade
• Rotule cada exemplo válido de um tipo de entidade.. Não ignore quaisquer ocorrências Para acelerar o processo, use o recurso de etiqueta em massa.

Rotulando exemplos de entidade

Rotule os termos no documento que representam exemplos dos tipos de entidade definidos. Quando terminar com um documento, alterne o status do documento de Em andamento para Concluídoe, em seguida, mova para o próximo documento

Para rotular exemplos de entidade, conclua as seguintes etapas:

1. Revise o texto do documento.. Procure exemplos de entidade a serem rotulados

   A tabela a seguir mostra alguns exemplos.

   Tipos de entidade e exemplos

   Tipo de entidade	Exemplos para rotular no documento
   cor	branco, verde, roxo
   car	conversível, SUV, sedan
   AUTO_MODEL	Explorer, Civic, Sorrento
   auto_fabricante	Ford, Honda, Kia
   roupas	camisa, blusa, skort
   instrumentos	obrigações, acções, ETFs, munis

   Se um tipo de entidade que você deseja identificar ainda não tiver sido criado, inclua o tipo de entidade No painel Tipos de entidade, clique em Criar novo. Para obter mais informações sobre como incluir tipos de entidade, consulte Definindo tipos de entidade.

2. Primeiro, clique no tipo de entidade no painel Tipos de entidade.

3. No corpo do documento, selecione a palavra ou frase que representa o exemplo de entidade..

   O termo é selecionado, e um rótulo de cor é aplicado ao termo. Os dois primeiros caracteres do nome do tipo de entidade são mostrados em maiúsculas sobrescritos dentro do limite do rótulo. O ID de 2 caracteres e a cor do rótulo ajudam a associar o exemplo ao tipo de entidade que ele representa.

   

   O texto de exemplo também é incluído no painel Tipos de Entidade Se você clicar na divisa para visualizar detalhes, poderá ver que o exemplo está listado. O texto de exemplo é salvo em letras minúsculas, independentemente da capitalização que é usada no texto original.

4. Se a rotulagem em massa estiver ativada, uma notificação será exibida para mostrar o número de ocorrências do termo que foram localizadas e rotuladas no documento atual

5. Se você desejar rotular ocorrências do termo em todos os documentos na coleta, clique em Aplicar a todos os documentos

   Ao ativar essa opção, as ocorrências do termo são rotuladas em todos os documentos na coleção, incluindo documentos que você já revisou e marcou como concluídos.

   Você é solicitado a confirmar a ação porque ela não pode ser desfeita. Se você não desejar ter que confirmar a ação toda vez que optar por aplicar a rotulagem em massa a todos os documentos, selecione Não solicitar confirmação novamente Clique em ** Executar **.

   

   Para obter mais informações, consulte Exemplos de rotulagem em massa.

6. Role pelo documento para identificar cada exemplo válido de cada tipo de entidade que você deseja que seu extrator reconheça.

   É possível procurar termos que deseja rotular como exemplos de entidade. Para obter mais informações, consulte Procurando exemplos usando palavras-chave.

   O modelo de aprendizado de máquina aprende tanto dos termos que você não rotula como os termos que você faz.

   Se você não desejar rotular um exemplo válido, o modelo aprenderá que quando o termo for usado nesse contexto, ele não será uma menção válida do tipo de entidade Em alguns casos, uma omissão é apropriada Por exemplo, alguns termos têm significados diferentes em contextos diferentes. " Você não deseja rotular o termo quando ele for usado no contexto errado No entanto, se o termo for usado no contexto certo e você não rotulá-lo, você está ensinando o modelo a ignorá-lo. Você diminui a efetividade do modelo quando seus dados de treinamento estão inconsistentes

   Depois de rotular muitos exemplos, as sugestões de exemplo de entidade são exibidas É possível aceitar ou rejeitar as sugestões de exemplo de entidade

   

   Aceitar sugestões de exemplo é outra maneira de acelerar o processo de rotulagem. Para obter mais informações, consulte Sugestões de exemplo de entidade.. Depois de aceitar uma sugestão, você pode rotular o termo em massa

7. Se você cometer um erro e rotular a palavra errada ou uma palavra foi rotulada incorretamente pelo processo de rotulagem em massa, você pode excluir a etiqueta..

   Passe o mouse sobre a palavra rotulada até que a opção Excluir este exemplo seja exibida e, em seguida, clique nela É possível optar por excluir apenas essa menção ou todas as menções no documento. Faça uma escolha e, em seguida, clique em Excluir

8. Após rotular todos os exemplos de entidade no documento atual, altere o status do documento de Em andamento para Concluído.

   Outro documento da coleção é exibido..

9. Exemplos de rótulo de seus tipos de entidade em cada documento na coleção

   A qualquer momento durante o processo de rotulagem, é possível clicar em Salvar extrator de entidade para salvar seu trabalho..

10. Se você não tiver exemplos suficientes no conjunto atual de documentos, poderá incluir mais documentos.

    No painel Lista de documentos, clique em Incluir documentos. A opção está disponível apenas quando mais documentos estão disponíveis na coleção.. Você pode adicionar até 20 documentos. Se a rotulagem em massa para todos os documentos estiver ativada, os rótulos serão aplicados aos documentos recém-incluídos automaticamente..

11. Depois de rotular exemplos em quantos documentos na coleção você deseja, clique em Salvar extrator de entidade e, em seguida, abra a página Treinar extrator.

Procurando exemplos usando palavras-chave

Usando o recurso de procura, é possível localizar exemplos de entidade em um documento e rotulá-los facilmente.. Também é possível usar a procura para localizar exemplos rotulados e exemplos não rotulados e corrigir quaisquer inconsistidades de rotulagem

Para procurar usando palavras-chave, conclua as etapas a seguir:

1. Na visualização Documentos de Rótulo, clique no ícone Localizar.

2. No campo Localizar, especifique uma palavra-chave para procurar no documento.

   Os resultados da procura do documento são exibidos quando você insere a palavra-chave.

   Para procurar os resultados da procura, é possível clicar nos ícones Próximo resultado e Resultado anterior Para escolher um rótulo para um exemplo não rotulado no resultado, clique no ícone Editar rótulo e selecione um rótulo Também é possível remover um rótulo de um exemplo já rotulado no resultado clicando no ícone Editar rótulo.

3. Para filtrar os resultados da procura, clique no ícone Mostrar opções de filtro..

   A tabela a seguir descreve as opções de filtro.

   Opções de filtro na localização

   Opção	Descrição
   All	Localizar todos os exemplos em um documento que correspondem à palavra-chave.
   Texto rotulado	Para localizar exemplos rotulados existentes em um documento que correspondam à palavra-chave
   Texto não rotulado	Para localizar exemplos não rotulados em um documento que corresponda à palavra-chave.
   Corresponder maiúsculas e minúsculas	Para localizar exemplos que correspondem à palavra-chave e a seu caso.
   Palavras inteiras	Para localizar exemplos que correspondem aos limites de palavra da palavra-chave. Por exemplo, se você especificar york como a palavra-chave, yorktown não será correspondente quando essa opção for selecionada.

Para os exemplos não rotulados nos resultados, é possível aceitar ou rejeitar uma sugestão de rótulo

Para resolver quaisquer exemplos de sobreposição, clique em Revisar sugestões e escolha uma sugestão de exemplo de entidade na caixa de diálogo Sugestões de exemplo de entidade de sobreposição.

Rotulando exemplos em massa

Para a maioria dos exemplos de entidade, a ativação do recurso de rótulo em massa é útil Você pode querer ignorá-lo se um termo tiver mais de um significado em contextos diferentes Nesse caso, avalie cada ocorrência individualmente. Lembre-se, se você ativar o recurso de rótulo em massa, será possível verificar a precisão dos rótulos que foram incluídos automaticamente e fazer correções quando necessário conforme você revisar o documento.

Após ativar o recurso de rótulo em massa, é exibida uma notificação indicando quantas ocorrências de um exemplo de entidade foram localizadas no documento atual. Na página atual, a ferramenta de rotulagem não pode acessar outros documentos para relatar quantas ocorrências existem em outros documentos da coleção. No entanto, a contagem de menções é mostrada no painel Tipos de Entidades Quando você abre pela primeira vez outros documentos, é possível verificar as contagens de menções para ver quantas menções foram rotuladas automaticamente

O recurso de rótulo em massa perdeu uma ocorrência?

Ocorrências do termo não serão rotuladas se ocorrerem na mesma frase na qual o termo já está rotulado. Por exemplo, a primeira ocorrência do termo husband não é rotulada quando o recurso de rótulo em massa é ativado para a segunda ocorrência do termo na sentença a seguir:

Sugestões de exemplo de entidade

Depois de rotular exemplos suficientes, os exemplos de tipo de entidade sugeridos são exibidos O sistema aprende com os tipos de exemplos que você rotula e aplica o que ele aprende para identificar possíveis novos exemplos. Por exemplo, após rotular red, orange, yellow, green e blue como exemplos do tipo de entidade color, o painel Sugestões de Exemplo pode mostrar indigo e violet como exemplos sugeridos para você rotular. Sugestões não são exibidas até que você rotule muitos exemplos de um tipo de entidade.

O exemplo a seguir mostra sugestões que são feitas para menções de familiares.

Você pode notar que um termo que você escolheu para rótulo em massa não está rotulado, mas é exibido como uma sugestão. Um termo é ignorado nas seguintes situações:

• O termo pode ocorrer em diferentes frases nominais em diferentes seções do documento Por exemplo, o termo father pode ocorrer nas frases nominais the kindest *father* e to her *father*.. Quando uma palavra é incluída em uma frase nominal com adjetivos, o significado pode mudar. Portanto, tais termos às vezes são sugeridos em vez de rotulados automaticamente.
• Uma palavra pode ser um exemplo válido sozinha e como parte de uma menção de várias palavras. Por exemplo, uma menção de IBM pode se referir à empresa International Business Machines, Corp. ou pode ser usada como parte do nome de um produto, como IBM Cloud Pak for Data. No entanto, uma palavra ou frase pode fazer parte de apenas um exemplo. Rótulos de exemplo não podem se sobrepor uns aos outros. Portanto, você deve escolher qual sugestão de exemplo é mais precisa. Neste exemplo, em que o termo IBM é usado como parte de um nome de produto, é mais preciso rotular a frase completa como um exemplo do tipo de entidade Product.
• O serviço pode reconhecer que um termo é um possível exemplo de mais de um tipo de entidade.. Por exemplo, a palavra top pode significar o melhor ou camisa.

Para investigar uma sugestão, clique nela para ver a palavra no contexto dentro do documento. Ver o termo no contexto ajuda a decidir se a ocorrência é um exemplo de entidade válido para você rotular.

Exportando dados rotulados para um extrator de entidade

É possível exportar os dados rotulados para um extrator de entidade do Discovery. É possível usar os dados rotulados exportados para treinar ou construir grandes modelos de linguagem (LLMs) em um serviço como Watson Studio e Natural Language Processing (NLP).

Para exportar os dados rotulados, conclua as etapas a seguir:

1. No painel Ferramentas de Aprimoramento da página Melhorar e Customizar, expanda Ensinar Conceitos de Domínioe, em seguida, clique em Extrair entidades.

2. Para o extrator de entidade do qual você deseja exportar dados rotulados, clique no ícone Ações e, em seguida, selecione Fazer download de dados rotulados.

   Um arquivo compactado é transferido por download com dados rotulados.. O arquivo compactado contém os seguintes arquivos JSON.

   • labeled_data.json: inclui o texto e rótulos. O formato de dados é baseado no formato de dados de entrada para extração de entidade no Watson Natural Language Processing. Para obter mais informações, consulte Formato de dados de entrada
   • metadata.json: Inclui metadados para a área de trabalho e dados rotulados

Solucionar problemas de treinamento

Saiba sobre possíveis mensagens de erro e como abordá-las.

Os dados de treinamento são muito grandes. "

Seus dados de treinamento contêm documento de texto grande ou muitos tipos de entidade e recursos que são necessários para processar os dados são maiores que os recursos que estão disponíveis para sua instância de serviço. Esse erro pode ocorrer mesmo quando a sua área de trabalho não exceder os limites do extrator de entidade documentada Para resolver o problema, você pode tentar uma das seguintes abordagens:

• Remova um ou mais tipos de entidade para diminuir o tamanho dos dados de treinamento.
• Remova os documentos extra grandes dos dados de treinamento Por exemplo, se um dos documentos rotulados for muito grande, mude seu status de Concluído para Em andamento para omitir dos dados de treinamento.
• Reduza o número de documentos incluídos no conjunto de treinamento. A razão de divisão padrão (70 %-23 %-7%) para os dados de treinamento usa 70% dos documentos no conjunto de treinamento.. É possível alterar a porcentagem dos documentos que são usados no conjunto de treinamento para um número menor Por exemplo, você pode alterar a proporção de divisão para 60 %-33 %-7%
• IBM Cloud Pak for DataIBM Software Hub Aumente a capacidade de sua instância de serviço implantada dimensionando os pods de serviço.

Melhorando o extrator

A tabela a seguir mostra correções sugeridas para problemas comuns.

Incluindo documentos nos dados de treinamento

Para adicionar mais documentos, conclua as etapas a seguir:

1. Abra a guia Documentos de Rótulo

2. No painel Lista de documentos, escolha Incluir documentos.

   Esse botão será desativado se nenhum outro documento estiver disponível para ser incluído no extrator de entidade da coleção atual. Para incluir mais documentos na coleção, acesse a página Atividade da coleção e, em seguida, clique no bloco Fazer upload de dados para procurar e incluir mais arquivos.

Não é possível escolher os documentos da coleção para mostrar na Lista de documentos para propósitos de rotulagem. Se houver tipos específicos de documentos que você deseja rotular, considere incluir documentos representativos em uma coleção que você possa usar para criar o extrator de entidade.

Há limites para o número de documentos que podem ser incluídos nos dados de treinamento Se seus dados de treinamento incluírem documentos com uma combinação de seções que são rotuladas e outras que não são, o sistema poderá experimentar alguns exemplos de sentenças não rotuladas. A subamostragem ajuda a equilibrar o número de exemplos positivos e negativos usados para treinamento. Equilibrar os exemplos no conjunto de treinamento melhora o desempenho do treinamento.

Saída do extrator de entidade

Quando o enriquecimento reconhece uma de suas entidades customizadas em um documento, uma entrada é incluída na seção enriched_text.entities da representação JSON do documento.. A seção contém ocorrências de entidades que são reconhecidas por seu modelo customizado juntamente com entidades que são reconhecidas pelo enriquecimento Entidades integradas. O enriquecimento integrado usa o serviço NLP do Watson para entidades de identidade que fazem parte do que ele chama de sistema de tipos Natural Language Understanding. Para obter mais informações sobre o enriquecimento de entidades integradas, consulte Entidades.

A saída JSON a seguir é produzida por um modelo customizado denominado literatura que reconhece menções de membros de família.

Monitorando o desempenho ao longo do tempo

É possível treinar novamente o modelo do extrator de entidade a qualquer momento Cada vez que você treinar o modelo, revise as pontuações de métrica de desempenho para determinar se as mudanças mais recentes aumentam ou diminuem as pontuações do modelo.

1. Para comparar uma execução de teste com outra, clique em Visualizar histórico de pontuação.

   A visualização de histórico mostra as últimas 5 execuções de treinamento

   Para reter as informações de pontuação para mais do que as 5 execuções de treinamento mais recentes, é possível exportar as métricas no formato de valor separado por vírgula e controlar as pontuações em um aplicativo separado... Clique no ícone de representação tabular e, em seguida, clique em Download como CSV.

Se uma execução de treinamento subsequente resultar em pontuações inferiores, não publique essa versão do modelo..