Melhorando a relevância do resultado com o conjunto de ferramentas

Incluindo consultas e classificando a relevância dos resultados

O treinamento consiste em três partes: uma consulta de linguagem natural, os resultados da consulta e as classificações que você aplica a esses resultados.

1. Há duas maneiras de acessar a página de treinamento no conjunto de ferramentas do Discovery:
   • Para uma coleção individual, na tela Construir consultas, clique em Treinar o Watson para melhorar os resultados na parte superior direita. Não é necessário inserir uma consulta na tela Construir consultas para iniciar o treinamento.
   • A partir do painel Desempenho. Clique no ícone Visualizar métricas de dados à esquerda para abrir o painel. É solicitado que escolha uma coleção para treinar.
2. Na tela Treinar o Watson, clique em Incluir uma consulta de língua natural, por exemplo: "IBM Watson in healthcare" e inclua-a. Certifique-se de que suas consultas sejam gravadas na maneira com que seus usuários as perguntariam. Além disso, recomenda-se que as consultas de treinamento sejam escritas com alguma sobreposição de termo entre a consulta e a resposta desejada. Essa sobreposição melhora os resultados iniciais, quando a consulta de língua natural é executada. O treinamento de relevância só usa consultas de linguagem natural, portanto, não insira consultas gravadas no Discovery Query Language.
3. Para visualizar os resultados de sua consulta, clique no botão Classificar resultados ao lado dela. Se você achar que não há resultados suficientes, será possível tentar regravar a consulta ou incluir mais documentos nesta coleção por meio da tela Gerenciar dados.
4. Inicie os resultados de classificação como Relevant ou Not relevant. Quando você estiver pronto, clique em Voltar para consultas. No conjunto de ferramentas do Discovery, o Relevant tem uma pontuação de 10 e o Not relevant tem uma pontuação de 0. Se você já iniciou a classificação de resultados para esta coleção usando a API e usou uma escala de pontuação diferente, será exibido um aviso com opções para corrigir o problema. Na parte superior da tela, o Watson rastreia o status de treinamento e fornece dicas sobre o que é possível fazer para melhorar os resultados. "Incluir mais variedade em suas classificações" significa que é possível que deseje usar as classificações Relevant e Not relevant. Depois de atender aos requisitos, o treinamento inicia a atualização periodicamente. A maioria dos treinamentos leva menos de 30 minutos para ser concluída, mas é possível continuar trabalhando enquanto o treinamento está em andamento.
5. Continue incluindo resultados de consultas e de classificação.

Para retornar à tela principal Construir consultas a qualquer momento, clique em Construir consultas na parte superior esquerda. {: tip}Para retornar à tela Gerenciar dados, clique no nome da coleção na parte superior direita.

Se desejar excluir todos os dados de treinamento em sua coleção de uma vez, isso deverá ser feito por meio da API. Consulte Excluir todos os dados de treinamento para uma coleção para obter mais informações. Para obter mais informações sobre treinamento por meio da API, consulte Melhorando a relevância dos seus resultados da consulta com a API.

Testando e iterando na relevância dos resultados

Depois que você conclui os resultados de classificação e o Watson aplica o treinamento, teste para ver se os seus resultados de consulta melhoraram. Para fazer isso, execute consultas de teste que sejam relacionadas, mas não idênticas, às suas consultas de treinamento. Verifique se os resultados de suas consultas de teste melhoraram.

Se desejar melhorar ainda mais os resultados após o teste, é possível:

• Incluir mais documentos em sua coleção.
• Incluir mais consultas de treinamento.
• Classificar mais resultados, certificando-se de utilizar as classificações Relevant e Not relevant.

Para obter orientação de treinamento adicional, consulte Dicas de treinamento de relevância.

Pontuações de confiança

O Discovery retorna uma pontuação de confidence para ambos, as consultas de língua natural e aquelas gravadas no Discovery Query Language.

A pontuação confidence é retornada para coleções privadas treinadas e não treinadas (com exceção de consultas de filtro somente de coleções não treinadas). Além disso, o Discovery retorna um campo document_retrieval_strategy que indica a origem da pontuação de confidence:

• untrained
• relevancy_training, ou
• continuous_relevancy_training

O document_retrieval_strategy pode ser usado junto com a pontuação de confidence para determinar como os resultados fornecidos devem ser usados. Nos casos em que o carregamento é alto, o document_retrieval_strategy retornado pode ser untrained, mesmo que a coleção seja treinada.

A confidence pode variar de 0,0 a 1,0. Quanto maior o número, mais relevante é o documento.

A pontuação de confidence pode ser localizada nos resultados da consulta em result_metadata para cada documento. O document_retrieval_strategy é listado sob o retrieval_details.

{
  "matching_results": 4,
  "session_token": "1_2gYuWJyaWx792Ni4_DQ4C5cbnW",
  "retrieval_details" : {
    "document_retrieval_strategy" : "relevancy_training",
  },
  "results": [
    {
      "id": "eea16dfd5fe6139a25324e7481a32f89_13",
      "result_metadata": {
        "confidence": 0.5893963975910735,
        "score": 0.5006834
      }
    }
  ]
}

Para coleções treinadas, o número de confidence é calculado com base na estimativa de relevância do resultado, em comparação com o modelo treinado. As coleções treinadas calculam as pontuações de confidence somente para consultas de língua natural. Se você consultar uma coleção treinada usando o Discovery Query Language ou o modelo treinado estiver temporariamente indisponível, o número de confidence retornado terá um document_retrieval_strategy de untrained. A pontuação de confidence para um resultado com o document_retrieval_strategy de untrained é uma estimativa não supervisionada da relevância dos resultados do documento para a consulta; ela não é intercambiável com a pontuação retornada para coleções treinadas. Uma coleção treinada pode fornecer respostas melhores para consultas de língua natural do que coleções não treinadas.

Observe que a pontuação de confidence não é a mesma que a score. Recomenda-se que a score não seja usada para configurar limites absolutos, já que é um cálculo relativo. Em vez disso, recomendamos que os aplicativos sempre executem o mesmo comportamento para todos os resultados que não incluem o campo confidence. Por exemplo, um aplicativo pode mostrar todos os resultados sem o campo confidence ou ocultar todos os resultados sem o campo confidence, mas recomendamos que você não use o valor de score para mostrar alguns e ocultar outros. Como a maneira como confidence é calculada varia entre os diferentes métodos de recuperação, considere document_retrieval_strategy ao configurar um limite e revise os valores antes e depois do treinamento.

Para obter mais informações sobre a consulta, consulte Introdução à consulta.

Para obter mais informações sobre métodos de treinamento supervisionados, consulte

• Treinamento de relevância
• Continuous Relevancy Training