Descrições de correções

• Incluir dicionários

  Um dicionário contém formar superficiais de exemplo de um determinado tipo de entidade. Você pode precisar incluir um novo dicionário ou incluir mais entradas em um dicionário existente se as estatísticas de treinamento mostram que as anotações do tipo ocorrem frequentemente nos dados de treinamento. Se você souber que o tipo de entidade é a chave para o domínio e ocorre com frequência, a omissão poderá indicar que as formas superficiais associadas ao tipo que estão presentes nos dados de treinamento não estão sendo reconhecidas pelo modelo de aprendizado de máquina. Fornecer mais exemplos de forma superficial pode ajudar a resolver esse problema.

• Editar conjuntos de documentos

  Assegure-se de que você tenha os dados de treinamento geral suficientes. Para aprender, um modelo de aprendizado de máquina requer conteúdo suficiente. Planeje fornecer cerca de 300.000 palavras. (É possível executar uma ferramenta de contagem de palavras em seus documentos de origem para verificar a quantia.) Se seu conjunto de treinamento é muito pequeno, inclua documentos no corpus. Não é suficiente ter um punhado de documentos que exercem cada tipo entidade ou relacionamento importante; você deseja muitos documentos que ilustram como esses tipos são usados na literatura de domínio típico.

  • Assegure-se de que o sortimento de documentos que é usado para teste e treinamento seja semelhante. Por exemplo, não use documentos de uma origem de dados como o conjunto de dados de teste e documentos de outra origem de dados como o conjunto de dados de treinamento. As diferentes origens de dados podem representar as informações de tipo de entidade e relação de maneiras completamente diferentes. É melhor usar uma combinação de documentos de todas as origens de dados em ambos os conjuntos de dados para obter o conjunto mais abrangente de exemplos de uso disponíveis na literatura da indústria. Se as pontuações de desempenho geral para uma execução de teste diferem significativamente da execução de treinamento, isso pode ser devido a inconsistências nos conjuntos de dados usados para cada uma.
  • Não perca tempo com documentos formatados incorretamente. Os documentos de texto que você inclui no corpus devem estar no formato UTF-8. Se converteu documento de outros formatos para usar a codificação UTF-8, você pode ver marcas diacríticas e outros problemas com a normalização de caracteres. Essa formatação incorreta pode levar à representação de tokens imprecisos. Se os tokens de palavra usados para representar uma menção diferem entre os documentos, isso enfraquece o exemplo e afeta negativamente o aprendizado de máquina.

• Inclua documentos de tipo específico

  Se você tem uma baixa porcentagem de documentos que contêm um determinado tipo, isso pode significar que seu corpus não é totalmente representativo. O modelo de aprendizado de máquina precisa de muitos exemplos para aprender. Incluir mais documentos no corpus pode ajudar. Se o seu sistema de tipos e os documentos são realmente representante de um domínio, você esperaria ver que quaisquer documentos escolhidos aleatoriamente contêm um subconjunto razoável dos tipos. Embora não seja verdade em todos os casos, essa situação é um sinal para você investigar seu sistema de tipos e a qualidade dos documentos no corpus. Você poderá precisar localizar mais documentos de domínio que exerçam melhor os tipos que estão com desempenho muito fraco. Se a rechamada é baixa, geralmente é uma indicação de que você precisa incluir mais documentos.

• Anotar mais corpus

  Se o modelo de aprendizado de máquina está tendo problemas para localizar instâncias de determinados tipos, isso pode ser porque a verdade absoluta não contém exemplos suficientes do uso do tipo. Os anotadores humanos às vezes podem ser completos sobre a rotulação de menções de tipo de entidade, mas ser menos diligentes sobre a anotação de tipos de relação e correferências. Para quaisquer tipos de chave que têm uma baixa porcentagem de densidade de corpus, você pode desejar se concentrar em localizar mais anotações daqueles tipos nos documentos de origem. Mas não se preocupe demais sobre a precisão de correferência e relação se a precisão de menção estiver deficiente. As menções de relação entre entidades e correferências de entidades não podem ser precisas, a menos que as menções de entidade com as quais começar sejam precisas.

• Corrigir anotações humanas

  Verifique se seus dados de treinamento são consistente e totalmente anotados. Um modelo de aprendizado de máquina aprende de suas anotações de verdade absoluta. Por exemplo, se uma sentença contiver a frase Obama family e você rotular "Obama" como PERSON em uma sentença e "Obama family" como PEOPLE em outra sentença, a inconsistência significa que o modelo de aprendizado de máquina não pode aprender a anotação correta. Da mesma forma, se você rotular "Obama" como PERSON em uma sentença, mas não rotular o nome dele em outra sentença, o esforço de anotação ficará incompleto e o modelo de aprendizado de máquina será treinado de forma inadequada. Esse tipo de rotulação inconsistente e parcial é às vezes referido como confusão de tipo. Na maioria dos casos, apenas o ato de permitir que múltiplos anotadores humanos revisem um conjunto de sobreposição de documentos levantará ocorrências de erros relacionados à confusão de tipo. Preste atenção aos problemas que são levantados durante a resolução de conflito de documento porque eles podem fornecer insight sobre questões mais profundas com o sistema de tipos em si. Se não houver espaço para melhorar ou refinar ainda mais o sistema de tipos, talvez seja necessário atualizar as diretrizes de anotação e incluir exemplos. É possível fornecer ilustrações de erros comuns e como anotar menções corretamente sob um determinado conjunto de circunstâncias.

  Outro indicador de inconsistência de anotação é se você tem anotações suficientes, mas a densidade do corpus é baixa. A densidade pode ser afetada quando uma menção que é importante na literatura de domínio ocorre com frequência, mas está anotada como tipos diferentes em todo o conjunto de documentos.

  A baixa precisão é muitas vezes uma indicação de que você precisa melhorar a consistência de anotação. Para fazer isso, revise as diretrizes de anotação, treine melhor os anotadores humanos e assegure-se de que os anotadores humanos estejam trabalhando em conjunto e não em isolamento entre si.

  Verifique a pontuação da concordância entre anotadores. Essa pontuação, que mede o grau de concordância entre a saída de diferentes anotadores no mesmo documento, é um número de valor. Além de indicar a qualidade dos documentos de verdade absoluta que serão usados para treinar o modelo de aprendizado de máquina, essa pontuação também indica o limite superior de desempenho do modelo de aprendizado de máquina. Um modelo que é treinado nesses documentos não deve superar a melhor concordância que os humanos podem atingir. Por exemplo, se o desempenho persiste em 75 e não fica mais alto, dê uma olhada nos resultados da concordância entre anotadores. Se a pontuação da concordância entre anotadores é 80, tome ações para treinar melhor os anotadores humanos e assegure-se que os conflitos sejam resolvidos corretamente (de acordo com as diretrizes de anotação) durante a adjudicação. Se os humanos não puderem concordar sobre como algo deve ser rotulado, é improvável que um modelo de aprendizado de máquina aplique os rótulos corretos.

• Aprimorar diretrizes do anotador humano

  Diretrizes do anotador claras e abrangentes são uma parte crucial de um esforço de desenvolvimento de anotação harmonioso e bem-sucedido. Os anotadores humanos têm um trabalho difícil para fazer. Pode haver diferenças na designação de tipos de entidade e relação que são difíceis de prever até você começar a trabalhar com os documentos de domínio. As diretrizes podem fornecer uma verificação de integridade para anotadores humanos conforme eles avaliam os documentos. As diretrizes devem ser um documento ativo e mutante, especialmente no início do processo de anotação. Elas fornecem um loop de feedback chave porque um anotador humano pode capturar coisas que ele aprendeu ao anotar alguns documentos, então, conforme ele ou alguém anota mais alguns documentos, novas dicas e pegadinhas podem ser incluídos na diretriz e assim por diante. Certifique-se de incluir exemplos de decisões difíceis e suas resoluções preferenciais. A melhor maneira de determinar o que você precisa incluir nas diretrizes de anotação é revisar cuidadosamente os conflitos de documento. Exemplos reais de anotações sobre as quais pessoas reais discordaram e como elas foram resolvidas podem ser uma grande ajuda para anotadores humanos conforme eles lidam com a anotação de novos documentos.

• Atualizar o sistema de tipos

  Você pode precisar atualizar o sistema de tipos por estas razões:

  • Os documentos que compõem os dados de treinamento possuem referências a conceitos que são tipos importantes no domínio, mas não são representados em nenhum lugar no sistema de tipos. Isso sugere que você pode precisar incluir tipos que capturam os conceitos ou relacionamentos ausentes. Tenha cuidado para não tentar definir um tipo para cada conceito em um campo ou cada entidade que ocorre em documentos de domínio; o sistema de tipos deve ser limitado a somente os tipos mais fundamentais.

  • Um tipo existente está sendo usado consistentemente de modo errado por anotadores humanos. Se um tipo causar confusão consistentemente, você poderá precisar renomeá-lo ou eliminá-lo se ele for redundante.

  • Um tipo existente nunca é usado por anotadores humanos porque nunca é referenciado nos documentos. Se o uso do tipo é pouco provável na literatura desse domínio, remova-o do sistema de tipos.

  • Dois tipos são frequentemente intercambiados quando anotadores humanos anotam documentos. Considere se os dois tipos podem ser consolidados em um tipo que represente exatamente o conceito ou relacionamento. Por exemplo, se o sistema de tipos contém PERSON e PEOPLE, que são frequentemente usados de modo intercambiável, pode ser melhor usar um tipo chamado PERSONPEOPLE que abranja ambos os casos em vez de dois tipos separados.

    Tenha cuidado ao atualizar o sistema de tipos. Se você o atualizar depois que os anotadores humanos tiverem avaliado os conjuntos de documentação que estavam associados com o sistema de tipos antigo, os anotadores humanos terão que reavaliar os conjuntos de documentação. Certifique-se de que as mudanças que você precisa fazer sejam significativas o suficiente para garantir tal retrabalho.

• Investigar mais

  Se o seu sistema de tipos, o dicionário e os documentos de origem forem concluídos e a anotação humana foi executada bem, mas o modelo de aprendizado de máquina ainda for executado de modo inadequado, algo pode ter dado errado no processo de treinamento de modelo. Por exemplo, você sempre deverá ver pontuações gerais altas (acima de 95%) ao testar nos dados de treinamento.

Sintomas

Uma pontuação F1 atinge seu melhor valor em 1 e pior valor em 0. Uma pontuação F1 baixa é uma indicação de baixa precisão e baixa rechamada. O modelo de aprendizado de máquina gera anotações erradas e falha ao localizar anotações que ele deveria ter localizado.

Causas

As pontuações F1 baixas podem ocorrer por muitas razões diferentes que dependem do domínio, complexidade do sistema de tipos, adequação de documentos de treinamento, qualificações do anotador humano e outros fatores.

Resolvendo o problema

Ajuste o desempenho de seu modelo de aprendizado de máquina executando uma ou mais das etapas a seguir e, em seguida, treinando novamente seu modelo:

1. Identifique os tipos que comumente ocorrem com baixa precisão.

   Ao analisar as relações, observe a pontuação F1 do próprio tipo de relação e a pontuação F1 de cada uma das duas entidades que participam do relacionamento.

2. Identifique tipos geralmente confusos. Essas informações podem ser encontradas olhando os números que estão fora da diagonal da matriz de confusão.

3. Revise os erros nos quais o modelo de aprendizado de máquina tem alta confiança.

4. Localize padrões nos falsos negativos e falsos positivos na matriz de confusão.

5. Se certos tipos ocorrem raramente nos dados de treinamento, inclua dados de treinamento que contenham esses tipos.

   É possível determinar a frequência de ocorrência verificando as estatísticas de porcentagem (há três: % de anotações,% de densidade de corpus e % de documentos) para o tipo.

6. Se certos tipos têm pontuações F1 baixas, revise a clareza das diretrizes de anotação que se aplicam a esses tipos.

7. Inclua um dicionário para tipos que ocorrem raramente nos dados de treinamento.

Figura 1. Como resolver pontuações F1 baixas

Sintomas

Uma pontuação de precisão atinge o melhor valor em 1 e o pior em 0. Uma pontuação de baixa precisão indica que o modelo de aprendizado de máquina gerou anotações incorretas.

Causas

As pontuações de baixa precisão podem ocorrer por muitas razões diferentes que dependem do domínio, complexidade do sistema de tipos, adequação de documentos de treinamento, qualificações do anotador humano e outros fatores.

Resolvendo o problema

Ajuste o desempenho de seu modelo de aprendizado de máquina executando uma ou mais das etapas a seguir e, em seguida, recicle o seu modelo:

1. Identifique os tipos que comumente ocorrem com baixa precisão.
2. Identifique tipos geralmente confusos. Essas informações podem ser encontradas olhando os números que estão fora da diagonal da matriz de confusão.
3. Revise os erros nos quais o modelo de aprendizado de máquina tem alta confiança.
4. Localize padrões nos falsos negativos na matriz de confusão.
5. Se certos tipos têm pontuações de baixa precisão, revise a clareza das diretrizes de anotação que se aplicam a esses tipos.

Figura 2. Como resolver pontuações de baixa precisão

Sintomas

Uma pontuação de rechamada atinge o melhor valor em 1 e o pior em 0. Uma pontuação de baixa rechamada indica que o modelo de aprendizado de máquina falhou ao criar anotações que ele deveria ter criado.

Causas

As pontuações de baixa rechamada podem ocorrer por várias razões diferentes que dependem do domínio, complexidade do sistema de tipos, adequação de documentos de treinamento, qualificações do anotador humano e outros fatores.

Resolvendo o problema

Ajuste o desempenho de seu modelo de aprendizado de máquina executando uma ou mais das etapas a seguir e, em seguida, recicle o seu modelo:

1. Identifique os tipos que comumente ocorrem com baixa rechamada.
2. Identifique tipos geralmente confusos. Essas informações podem ser encontradas olhando os números que estão fora da diagonal da matriz de confusão.
3. Revise os erros nos quais o modelo de aprendizado de máquina tem alta confiança.
4. Localize padrões nos falsos positivos na matriz de confusão.
5. Se certos tipos têm pontuações de baixa rechamada, revise a clareza das diretrizes de anotação que se aplicam a esses tipos.

Figura 3. Como resolver pontuações de baixa rechamada