Escolhendo o tipo de enriquecimento certo

O diagrama a seguir ajuda você a escolher o enriquecimento certo para o seu caso de uso.

Usando enriquecimentos juntos

Você pode usar muitos enriquecimentos juntos para enfrentar vários desafios que você pode encontrar à medida que você desenvolve um aplicativo de pesquisa.

Muitas equipes começam criando um enriquecimento de dicionário. Os dicionários são uma ótima ferramenta para identificar termos importantes e marcá-los para que possam ser recuperados posteriormente. Digamos que você está construindo um aplicativo de busca que precisa extrair ingredientes das receitas. Um enriquecimento de dicionário pode reconhecer menções da maioria dos ingredientes. No entanto, o enriquecimento do dicionário pode combinar parcialmente contra termos de duas palavras. Para termos como olive oil ou mustard greens, ele pode reconhecer incorretamente apenas olive e mustard Para melhorar a precisão das buscas, é possível aumentar o enriquecimento do dicionário com um enriquecimento padrão que pode reconhecer menções de ingredientes de duas palavras. Talvez algumas receitas mencionem os códigos de coloração de alimentos no formato europeu (E104). É possível incluir um enriquecimento de expressão comum para reconhecer ocorrências de códigos com a sintaxe E1nn Finalmente, para capturar termos que nenhum outro enriquecimento pode reconhecer, é possível usar um enriquecimento de machine learning. O enriquecimento pode ser aquele que você construir em uma ferramenta externa e importar para o Discovery ou aquele que você construir em Discovery criando um extrator de entidade enriquecimento.

A entidade extrator de enriquecimento é mais sofisticada que os outros enriquecimentos. Por exemplo, um enriquecimento de dicionário reconhece apenas correspondências exatas de termos de dicionário e sinônimos que ocorrem em seus documentos. Um enriquecimento de expressão regular reconhece apenas padrões específicos. Em contraste, as ocorrências de uma entidade são reconhecidas com base no contexto em que um exemplo de entidade é mencionado em uma sentença.

Por exemplo, talvez você deseje reconhecer locais e o documento que deseja processar contém os seguintes tipos de sentenças:

• Eu vivo em Massachusetts.
• Estamos viajando de New York City para Paris na próxima semana.

Para usar um enriquecimento de dicionário para reconhecer nomes de localização com sucesso, o dicionário deve listar todos os locais possíveis. No entanto, se você usar um enriquecimento de extrator de entidade, você pode identificar quando um local é mencionado com base em como o local é referenciado em uma frase. Com frases como, "Eu vivo em x" ou "Eu sou de x" ou "Estou viajando para x" em seus dados de treinamento, o extrator da entidade pode aprender que x é uma referência a um local.

Quando for necessário escolher entre usar um dicionário ou um enriquecimento de extrator de entidade, siga estas orientações:

• Se a lista de exemplos possíveis for curta, use um dicionário.

  É mais eficiente definir um termo dicionário planet com sinônimos como Earth e Saturn do que criar uma entidade planet porque existem apenas 8 planetas em nosso sistema solar. No entanto, definir uma lista de todos os locais possíveis na Terra não é viável. Um extrator de entidade pode reconhecer mais menções de localização.

• Se a lista de exemplos possíveis for estática, use um dicionário.

  Polêmica sobre Plutão de lado, a categoria planet é um bom exemplo aqui também porque a lista de planetas em nosso sistema solar é estática. Ou talvez você queira monitorar o sentimento geral do cliente sobre seus produtos. Você precisa ser capaz de reconhecer menções de nome do produto, mas pode não precisar de especificidades. Se você tiver uma grande variedade de nomes de produtos, você pode criar uma entidade product name. À medida que novos produtos são adicionados ao seu portfólio, ou nomes de produtos mudam ao longo do tempo, você não precisa manter uma lista geral de produtos. O extrator da entidade pode continuar a reconhecer o feedback geral sobre seus produtos com base no contexto das sentenças em que os produtos são mencionados.

Incluir um recurso

Quando você adicionar um enriquecimento personalizado a um projeto ele está disponível para qualquer coleção no projeto.

Para adicionar um recurso, conclua as etapas a seguir:

1. Abra o seu projeto e vá até a página Melhorar e customizar.

2. No painel Ferramentas de Melhoramento, expanda Conceitos de domínio Teach e, em seguida, escolha o recurso que você deseja adicionar.

   Depois de criar o recurso, ele se torna um novo tipo de enriquecimento que você pode aplicar aos seus dados.

3. Especificar a coleta e o campo em que se aplica o enriquecimento.

   Você pode aplicar enriquecimentos aos campos text e html, e a campos personalizados que foram adicionados a partir de arquivos JSON ou CSV carregados ou a partir da ferramenta Smart Document Understanding (SDU). Apenas os primeiros 50.000 caracteres de um campo personalizado a partir de um arquivo JSON são enriquecidos.

   Por exemplo, se você adicionar um dicionário e optar por aplicá-lo no campo text de uma coleção, os documentos na coleção serão reprocessados. Se o termo vehicle é especificado como um sinônimo da entrada do dicionário car e ocorre no texto do documento, vehicle é marcado como uma menção ao tipo de entrada do dicionário car. Se um cliente depois procurar por car, a passagem que contém a menção vehicle está incluída nos resultados da pesquisa.

   Se o campo que você escolher vem de um arquivo JSON, depois de aplicar o enriquecimento, o tipo de dados de campo é convertido em uma matriz. O campo é convertido em uma matriz mesmo que ele contenha um valor único. Por exemplo, "field1": "Discovery" se torna "field1": ["Discovery"].

Você pode optar por aplicar enriquecimentos derivados de recursos em seus dados posteriormente. Os enriquecimentos que você adicionar a um projeto estão disponíveis para uso de qualquer coleção no projeto. Vá até a página Gerenciar coleções, escolha a coleção onde deseja aplicar o enriquecimento e, em seguida, abra a aba Enrichments. Certise-se de que o status do enriquecimento mostre que ele esteja Pronto, e em seguida aplique o enriquecimento em um campo na coleção. Enriquecimentos que você habilitar são aplicados aos documentos em ordem aleatória. Para obter mais informações, consulte Gerenciando os enriquecimentos.

No aplicativo Content Mining implementado, é possível criar um classificador ou um anotador customizado a partir de um dicionário, expressão regular, aprendizado de máquina ou arquivo PEAR e usá-lo como um enriquecimento em coleções que são armazenadas em outros tipos de projeto. Para obter mais informações, consulte Adicionando facetas.