准备工作

查找或创建包含您希望 Discovery 了解的各种语句示例的文档的集合。 要教授句子分类器，必须标注句子类的示例。 仅当集合包含有效的示例时，才能标注示例。 尝试查找具有许多不同句子的文档，这些句子充当要定义的每个句子类的示例。

添加句子分类器

要添加句子分类词，请完成以下步骤：

1. 打开您要创建句子分类器的项目。

   该项目必须至少有一个集合，其中包含代表您要分类的数据的文档。

2. 从“改进和定制”页面的“改进工具”面板中，展开 Teach 域概念，然后单击 语句分类器。

3. 单击新建。

4. 添加语句分类器名称和 (可选) 描述。

   此名称用作模型名称，并用作发布模型时创建的扩充项的名称。 此名称在“扩充项”页面中显示为扩充项名称，您和其他人可以在此页面中将其应用于集合。 它还显示为在其中找到语句类的文档的 JSON 表示中的模型名称。 该名称与您指定的大写和空格一起存储。

5. 选择具有代表要分类的数据的文档的集合。

6. 从文档中选择要在文档视图中显示的字段，您将在该文档视图中标注集合中的文档。

   • 文档标题 在页眉中显示为文档名称。 选择每个文档具有唯一值的字段，例如存储在 extracted_metadata.filename 字段中的文件名。
   • 文档主体 是在内容中标注语句示例的位置。 选择包含大量文档内容的字段，例如 text 字段。

7. 单击创建。

您选择的集合中的文档将显示在“标签文档”视图中。 您将标注您希望 Discovery 从此文档和集合中的其他文档识别的语句类的出现。

如果页面正文中未显示任何文本，请从现在开始创建新的语句分类器。 此时间，当您为 文档主体 字段选择值时，请确保从包含文本的已处理文档中选择一个字段。

定义语句类

通过完成以下步骤来定义语句类:

1. 单击 添加句子类。

2. 添加语句类名和可选描述。

3. 可选: 选取要用于文档中的句子类的颜色。

   您可以单击 标签颜色 选用板中的颜色，单击 更新颜色 图标以从一种颜色切换到下一种颜色。 要使用定制颜色，请指定其十六进制颜色代码 (#fff0f7)。

4. 单击创建。

5. 重复此过程以添加您希望分类器分类的所有语句类。

   如果您不确定要为句子类添加什么，那么可能有助于首先查看集合中的文档。 通过查看内容，您可以了解哪些句子具有重要意义，并寻找对此类句子进行分类的逻辑方法。

标注句子

从 标签文档 视图中，从集合中查找文档中的句子，并对其进行标签以指示其句子类。 在标记时，语句分类器会自动在后台训练模型以提供标记建议。

标注建议加快了标注文档的过程。 通过标注建议，您可以轻松查找相关示例并在上下文中进行检查，而不是浏览文档和花费时间阅读文本。

您可以通过以下方式标注句子：

• 手动标记。 有关更多信息，请参阅 手动标记。
• 在文档中查找标签。 有关更多信息，请参阅 查找文档中的标签。
• 智能标记。 有关更多信息，请参阅 智能标签。

与实体抽取器不同，对于语句分类器，没有文档状态概念，例如 未启动，正在进行和 完成。 对于实体抽取器，将文档标记为 完成 以指示它们用于训练。 对于句子分类器，仅使用标注的句子进行训练，而忽略每个文档中未标注的数据。

向训练数据添加文档

要添加更多文件，请完成以下步骤：

1. 浏览至“标签文档”视图。
2. 在“文档列表”面板中，单击 添加文档。

当集合中没有要添加到语句分类器工作空间的其他文档时，此选项不可用。 要将更多文档添加到集合，请浏览到集合的“活动”页面，然后单击 上载数据 磁贴以浏览并添加更多文档。

即使从集合中添加更多文档，所有文档也可能用于也可能不用于训练模型。 与将所有已完成文档用于训练的实体抽取器不同，句子分类器仅将标记的句子用于训练，而未标记的数据将被忽略。

不能从集合中选择要在“文档列表”面板中显示的文档以进行标记。 如果要标记特定类型的文档，请考虑创建仅包含这些文档的新集合。

训练分类器

对文档添加标签后，可以在“训练分类器”视图中查看训练数据。 训练数据用于训练语句分类器模型。

要训练分类器，请完成以下步骤：

1. 浏览至“训练分类器”视图。

2. 查看标记摘要以检查是否标记了足够的标签来训练分类器。

   要训练分类器，每个句子类必须至少有 20 个正标签和两个负标签。 否则，训练分类器 按钮将处于禁用状态，您无法开始训练。 将忽略没有正标签或负标签的语句类。

3. 查看是否要应用高级选项以进行训练。 大多数模型不需要对高级选项进行更改。

   您的句子会随机拆分为多个集合。 训练集用于训练分类器。 测试集用于测试经过训练的模型。 盲集有你在训练中看不到的保留句子。 它们用于定期生成模型的无偏评估。 缺省拆分使用标准比率进行训练。 有关更多信息，请参阅 用于训练的文档集。

4. 单击 训练分类器。

   训练分类器时，Discovery 使用训练集中的语句来构建机器学习模型。 将显示测试结果，供您在“评估分类器”视图中查看。

评估分类器

要从您创建的语句分类器模型的测试运行中查看度量值，请单击 评估分类器 选项卡。

下表描述了可用的评估指标。

1. 查看提供的有关分类器模型测试运行的度量值，以确定是否需要更多训练。

2. 通过单击 查看测试集中的训练结果来更详细地浏览测试结果。

   

   的训练结果

   将显示来自测试集的句子以及在左侧窗格上的列表中显示的实际标签和预测标签。 如果单击列表中的语句，那么该语句将显示在右侧窗格的文档视图中。

   • 实际标签是人员手动标记的示例。 它们被视为正确的标签。
   • 预测标签是句子分类器识别并标记为句子类的示例。

   根据预测标签与实际标签的匹配程度，对模型的性能进行评级。

3. 要过滤列表，请单击 过滤器 图标，然后选择 语句类 和 预测，然后单击 应用。

查看绩效细目中的培训结果

要查看性能细分的训练结果，请完成以下步骤:

1. 单击 按句子类分类的性能细目 表中的数字。

   此时将显示 复审训练结果 对话框。

2. 复审相关句子，这些句子基于您单击的数字。

将语句分类器发布为扩充项

当您认为句子分类器已就绪时，请发布句子分类器模型。 在您进行改进的几次测试运行后，如果分数未更改，那么您可以认为模型已就绪。 您可以返回以在发布模型后对其进行更新和重新训练。

要发布句子分类器，请完成以下步骤：

1. 浏览至“评估分类器”视图，然后单击 发布分类器。
2. 单击发布。
3. 点击 “应用数据”。
4. 选择集合，然后选择要应用语句分类器扩充项的文本字段。
5. 单击应用。

下载语句分类器模型

您在一个项目中创建和部署的语句分类器模型可用作可应用于同一服务实例中任何项目的集合的扩充项。

如果要从另一个服务实例使用项目中的语句分类器模型，那么可以导出或下载语句分类器模型。 要将其用于其他位置，请遵循 使用导入的 ML 模型来查找定制术语 中的步骤来创建机器学习模型。 无法继续编辑导入到另一个项目中的语句分类器。

必须对要导出的语句分类器进行完整训练。

要导出句子分类器，请完成以下步骤：

1. 使用要导出的语句分类器打开项目。

2. 从“改进和定制”页面的“改进工具”面板中，展开 Teach 域概念，然后单击 语句分类器。

3. 从 语句分类器 列表中，找到要导出的语句分类器。

4. 单击分类器的 操作 图标，然后选择 下载模型 以将模型保存到系统。

   除非已训练模型，否则 下载模型 选项不可用。

语句分类器模型保存为 .sc 文件。 您可以将其作为机器学习模型导入到另一个服务实例中的项目中，然后将其应用于集合。

下载语句分类器的标签数据

您可以从 Discovery下载或导出语句分类器的带标签数据。 可以使用导出的带标签数据在服务 (例如 Watson Studio 和 Natural Language Processing (NLP)) 上训练或构建大型语言模型 (LLM)。

要导出已标记的数据，请完成以下步骤：

1. 从“改进和定制”页面的“改进工具”面板中，展开 Teach 域概念，然后单击 语句分类器。

2. 对于要从中导出带标签数据的语句分类器，单击 操作 图标，然后选择 下载带标签数据。

   将下载带有标签数据的压缩文件。 压缩文件包含以下JSON文件。

   • labeled_data.json: 包含文本和标签。 数据格式基于 Watson Natural Language Processing 中文本分类的输入数据格式。 有关更多信息，请参阅 输入数据格式。
   • metadata.json: 包含工作空间的元数据和带标签的数据。

$ cat labeled_data.json | jq -r '.[] | [.text, .labels[]] | @csv'

    "sentence1", class-label1, class-label2
    "sentence2", class-label3
    "sentence3", ...
    ...

应用句子分类器扩充项

发布语句分类器时，指定要应用语句分类器的字段。

要在以后对不同或更多字段应用增益，请完成以下步骤：

1. 在导航面板中，单击 管理集合。

2. 单击以打开要在其中应用扩充项的集合。

3. 单击 扩充。

4. 在列表中查找语句分类器名称，然后选择要应用扩充项的字段。

   您可以选择包含文本或 HTML 的字段。

5. 单击应用更改并重新处理。

有关如何将语句分类器扩充项应用于集合的更多信息，请参阅 管理扩充项

语句分类器输出

当扩充项对文档中的某个句子进行分类时，将向文档的 JSON 表示的 enriched_text.element_classes 部分添加一个条目。 此部分包含由分类器模型分类的句子及其句子类。

句子分类器不会对置信度分数低于 0.5的句子进行分类。

以下 JSON 输出是语句分类的示例结果。

*

To retain the score information for more than the most recent 5 training runs, you can export the metrics in comma-separated value format, and track the scores in a separate application. Click the tabular representation icon ![Tabular representation icon](images/table-of-contents.svg), and then click **Download as CSV**.
{: tip}

删除语句分类器

如果语句分类器未在使用中 (例如，未将从语句分类器发布的扩充项应用于集合时)，那么可以将其删除。

例如，如果达到套餐允许的最大句子分类器数的限制，那么您可能想要删除句子分类器。

有两个不同的限制，即最大语句分类器工作空间数和最大语句分类器扩充项数。 当您浏览到“改进工具”面板时，创建句子分类器工作空间，展开 Teach 域概念，单击 句子分类器，然后单击 新建 按钮。 在发布已训练的句子分类器或上载句子分类器模型时，可以创建句子分类器扩充项。 有关限制的信息，请参阅 语句分类器限制。

请记住，限制是针对每个服务实例定义的，而不是针对每个项目定义的。 如果当前项目中没有最大数量的句子分类器，但无法创建新的句子分类器工作空间或发布经过训练的句子分类器，请检查同一服务实例中的其他项目。 可能存在可以删除的其他项目中未使用的语句分类器工作空间或扩充项。

将 API 用于语句分类器

语句分类器 API 是 Beta 功能。

您可以使用 API 将语句分类器扩充应用于文档。 通过使用 API，您可以创建句子分类器扩充项，还可以管理扩充项，例如更新和删除该扩充项。

要使用句子分类器 API，请执行以下操作：

1. 使用 API 中的 create an enrichment 方法创建语句分类器扩充项。

   有关创建扩充项的更多信息，请参阅 API 参考中的 创建扩充项。

   创建语句分类器扩充项时，必须指定用于训练语句分类器模型的带标签数据。 标注的数据必须采用以下 CSV 格式:

   "sentence1", class-label1, class-label2
   "sentence2", class-label3
   "sentence3", ...
   ...
   

   每行都是一个句子，后跟与该句子关联的零个或多个句子类标签的逗号分隔列表。

   作为最佳实践，CSV 文件中的每个句子类标签都应至少由 100 个句子表示，以实现合理质量的句子分类。 与句子类标签关联的句子被视为该句子类的正面示例。 未与句子类标签关联的句子被视为该句子类的负面示例。

   成功创建语句分类器扩充项后，浏览至“管理集合”页面，选择集合，然后打开 扩充项 选项卡。 您可以在可用扩充项列表中找到语句分类器扩充项。

   在语句分类器扩充项 状态 就绪后，可以将语句分类器扩充项应用于集合中的文档。

2. 将您创建的句子分类器扩充项应用于文档中的字段 (文本或 HTML) 以对句子进行分类。 有关应用扩充项和使用 API 管理扩充项的更多信息，请参阅 使用 API 来管理扩充项。

语句分类器限制

每个服务实例可创建的语句分类器数取决于 Discovery 套餐类型。