Análise avançada e tarefas relacionadas ao log

Apenas experiência clássica

Essas informações se aplicam à análise de qualificação de diálogo na experiência clássica. Para obter informações sobre analítica no watsonx Assistant, consulte Usar analítica para revisar seu assistente inteiro em uma visão rápida.

Saiba mais sobre notebooks e APIs que você pode usar para acessar e analisar dados de registro.

Usando blocos de notas Jupyter para análise

A IBM criou blocos de notas Jupyter que podem ser usados para analisar o comportamento ou seu assistente. Um bloco de notas do Jupyter é um ambiente baseado na web para computação interativa. É possível executar pequenas partes de código que processam seus dados e é possível visualizar imediatamente os resultados de seu cálculo.

É possível usar os blocos de notas somente com qualificações no idioma inglês.

Blocos de notas de análise

Os blocos de notas de análise estão disponíveis para:

IBM Watson® Studio
Ferramentas Python padrão

Watson Studio fornece um ambiente no qual é possível:

Escolha as ferramentas necessárias para analisar e visualizar dados.
Limpar e moldar os dados
Alimentar dados de fluxo.
Crie, treine e implemente modelos de aprendizado de máquina.

Para obter mais informações, consulte a documentação do produto

O watsonx Assistant Guia de Práticas Recomendadas de Melhoria Contínua descreve como tirar o máximo proveito desses notebooks.

Usando os blocos de notas com o Watson Studio

Os seguintes notebooks estão disponíveis:

Se você optar por usar os notebooks projetados para uso com Watson Studio, as etapas são as seguintes:

Crie uma conta Watson Studio, crie um projeto e adicione uma conta Cloud Object Storage a ele.
Na comunidade do Watson Studio, escolha um bloco de notas.

No início do processo de desenvolvimento, use o notebook Análise de habilidades de diálogo para watsonx Assistant para ajudá-lo a começar. O bloco de notas:
- Examina os termos que estão correlacionados com cada intenção em seus dados de treinamento para encontrar anomalias que possam identificar problemas a serem investigados.
- Usa um conjunto de testes cego fornecido por você para calcular o desempenho em métricas estatísticas como Accuracy, Precision, Recall e F1.
- Oferece recursos avançados que você pode usar para encontrar as causas de problemas comuns, como o motivo pelo qual algumas frases são frequentemente identificadas de forma incorreta.
Para saber mais sobre como esse notebook pode ajudá-lo a melhorar seu diálogo, leia Análise de habilidades de diálogo.
Depois de implementar uma versão do assistente e coletar dados de registro de conversas, execute o notebook **Medir o desempenho em watsonx Assistant **.
Siga as instruções passo a passo fornecidas com o notebook para analisar um subconjunto das trocas de diálogo dos registros.

Execute primeiro o bloco de notas a seguir:
- Medida: reúne métricas que se concentram na cobertura (com que frequência o assistente está confiante o suficiente para responder aos usuários) e efetividade (quando o assistente responde, se as respostas estão satisfazendo as necessidades do usuário).
Os insights são visualizados de maneiras que facilitam o entendimento de áreas para melhoria em seu assistente.
Exporte um conjunto de amostra dos logs de conversas ineficazes e, em seguida, analise-os e anote-os.

Por exemplo, indique se uma resposta está correta. Se estiver correta, marque se ela é útil. Se uma resposta estiver incorreta, identifique a causa raiz, por exemplo, a intenção ou entidade errada foi detectada ou o nó de diálogo errado foi acionado. Após identificar a causa raiz, indique qual é a opção correta.
Envie a planilha anotada para o notebook **Analise a eficácia do site watsonx Assistant **.
- Eficácia: Fornece uma análise mais profunda dos seus registros para ajudá-lo a entender as medidas que podem ser tomadas para melhorar seu assistente.
Use o caderno Análise de fluxo de diálogo para watsonx Assistant para revisar seu diálogo. O bloco de notas pode ajudá-lo a identificar os nós de diálogo nos quais os clientes mais frequentemente abandonam a conversa.

Para obter mais informações sobre como esse bloco de notas pode ajudar a analisar e avaliar o abandono, consulte Você sabe onde e por que os usuários desistem da conversa?.

Esse processo ajuda você a entender as etapas que podem ser executadas para melhorar seu assistente.

Usando os blocos de notas com ferramentas Python padrão

Se você optar por usar ferramentas Python padrão para executar os blocos de notas, será possível obter os blocos de notas do GitHub.

O watsonx Assistant Guia de Melhores Práticas de Melhoria Contínua descreve qual bloco de notas deve ser usado em cada estágio do seu processo de melhoria.

Usando a API de logs

É possível usar a API /logs para listar eventos das transcrições de conversas que ocorreram entre seus usuários e seu assistente. Para conversas criadas com a API /message v2, use o ponto de extremidade em nível de instância para listar eventos de registro em todos os espaços de trabalho e, em seguida, filtre por ID do Assistente. Para obter mais informações, consulte Referência de Consulta de Filtro

A API registra apenas as mensagens que são trocadas em conversas definidas por uma habilidade de diálogo.

O número de dias que os logs são armazenados difere pelo tipo de plano de serviço. Para obter mais informações, consulte Limites de log.

Para obter um script Python que pode ser executado para exportar registros e convertê-los para o formato CSV, baixe o arquivo export_logs_py.py do repositório watsonx Assistant Repositório GitHub).

Entendendo a terminologia:

Primeiro, revise as definições dos termos associados aos registros Watson Assistant.

Terminologia
Termo	Definição
Assistente	Um aplicativo, às vezes chamado de "bot de bate-papo", que implementa seu conteúdo Watson Assistant.
ID do Assistant	O identificador exclusivo de um assistente.
Conversa	Um conjunto de mensagens que um usuário individual envia ao seu assistente e as mensagens que o assistente envia de volta.
ID da conversa	Identificador exclusivo que é adicionado a chamadas de mensagens individuais para vincular trocas de mensagens relacionadas. Os desenvolvedores de aplicativos que usam a versão V1 da API Watson Assistant Adicionam esse valor às chamadas de mensagem em uma conversa, incluindo a ID nos metadados do objeto de contexto.
ID do cliente	Um ID exclusivo que pode ser usado para rotular os dados do cliente, de modo que eles possam ser excluídos se o cliente solicitar a remoção de seus dados.
ID de implementação	Um rótulo exclusivo que os desenvolvedores de aplicativos do Watson Assistant API V1 versão passam com cada mensagem do usuário para ajudar a identificar o ambiente de implementação que produziu a mensagem.
Instância	Sua implantação de Watson Assistant, acessível com credenciais exclusivas. Uma instância do Watson Assistant pode conter múltiplos assistentes.
Mensagem	Uma mensagem é uma única elocução enviada por um usuário ao assistente.
ID da habilidade	O identificador exclusivo de uma habilidade.
Usuário	Um usuário é qualquer pessoa que interage com seu assistente.
ID do usuário	Um rótulo exclusivo que é usado para rastrear o nível de uso do serviço de um usuário específico.

A propriedade User ID não é equivalente à propriedade Customer ID, embora ambas possam ser passadas com a mensagem. O campo ID do Usuário é usado para controlar os níveis de uso para propósitos de faturamento.. O campo ID do Cliente é usado para suportar a rotulagem e a exclusão subsequente de mensagens que estão associadas aos usuários.. O ID do cliente é usado de forma consistente em todos os serviços do Watson e é especificado no cabeçalho X-Watson-Metadata. A ID de usuário é usada exclusivamente pelo serviço Watson Assistant e é passada no objeto de contexto de cada chamada à API /message.

Associando dados da mensagem a um usuário para exclusão

Pode haver casos em que você queira remover completamente um conjunto de dados do usuário de uma instância Watson Assistant. Quando o recurso de exclusão é usado, as métricas de Visão geral não incluem essas mensagens excluídas e resultam em menos Total de conversas.

Antes de Iniciar

Para excluir mensagens para um ou mais indivíduos, é necessário primeiro associar uma mensagem a um ID de cliente exclusivo para cada indivíduo. Para especificar o ID do cliente para qualquer mensagem enviada com a API /message, inclua a propriedade X-Watson-Metadata: customer_id em seu cabeçalho. Você pode passar várias entradas de ID de cliente com pares field=value separados por ponto e vírgula, usando customer_id, como no exemplo a seguir:

curl -X POST -u "apikey:3Df... ...Y7Pc9" \
 --header \
   "Content-Type: application/json" \
   "X-Watson-Metadata: customer_id={first-customer-ID};customer_id={second-customer-ID}" \
 --data "{\"input\":{\"text\":\"hello\"}}" \
 "{url}/v2/assistants/{assistant_id}/sessions/{session_id}/message?version=2019-02-28"

em que {url} é a URL apropriada para a sua instância. Para obter mais informações, consulte URLs de Terminal

A sequência customer_id não pode incluir os caracteres ponto e vírgula (;) ou sinal de igual (=). Você é responsável por assegurar que cada parâmetro Customer ID seja exclusivo entre seus clientes.

Para obter instruções sobre como excluir mensagens que usam valores customer_id, consulte Rotulando e excluindo dados em watsonx Assistant.