对话式搜索分析

另加企业 IBM Cloud Pak for DataIBM Software Hub

概述

您可以使用助手的整体路由图来分析对话式搜索的性能。在 watsonx Assistant 主页中，转到 Analyze > Conversational search 打开会话搜索统计预览。

您可以在草稿配置中查看每条回复的平均引用次数、回答长度、回答置信度和提取率。您可以过滤对话式搜索的响应，仅显示成功的对话式搜索响应或“我不知道”。点击任何客户输入，查看该会话搜索的内联引文。

将鼠标悬停在客户输入旁边的信息图标）上，可查看根据上下文推断出的查询文本。

对于单个语句-应答对，您可以查看以下指标：

回复置信度得分是指助手的回复在处理用户对可用内容的查询或请求时正确、相关和有用的估计概率。

检索置信度得分衡量系统从数据库中检索出最相关信息以回答用户查询的确定性。这是一个估计概率，即检索到的数据是否包含准确响应用户请求所需的详细信息。

提取性是指从输入中直接得出响应的程度。这是由搜索结果中的单词序列组成的回复的比例。高分表示大部分答复直接引用了资料来源。低分表示答复是从资料来源中摘录或转述的。不过，这也可能意味着答复得不到资料来源的支持。

引用指的是对系统用于生成输出或进行预测的数据、模型或算法来源的确认。在分析页面，您可以看到与回复相关的引用次数。

回复中的字符数。

助理提供的每项回复的平均引用次数。

提供有用回复所需的平均字符数。

对于所有指标，平均值是指我们给出答复的所有问题的平均值，无论我们是否提供了答复。