规划如何调整应用程序

版本之间的主要更改之一是 Discovery v2 引入项目。 一个项目由一个或多个系列组成。 使用项目的优点是一个查询可以同时针对许多集合运行。 每个集合可包含您上传的文档或从单一数据源抓取的文档，如网站、Microsoft SharePoint, 等。

调整应用程序以使用项目时要考虑的事项:

• 虽然环境概念在 v2中不存在，但数据仍组织到集合中。 在 v2中，集合分组到项目中。 在大多数情况下，您希望将单个 v1 集合迁移到单个 v2 集合。

  如果要保留应用于 v1 集合的相关性训练信息，请将集合文档添加到 v2 项目中的单个集合。

• 确定要添加到每个 v2 项目的集合数。 所有项目类型 (内容挖掘项目除外) 最多可包含 5 个集合。 为数据选择正确的项目类型。

  为了优化搜索结果，会将不同的扩充项和配置选项自动应用于添加到不同项目类型的集合。 有关更多信息，请参阅以下主题：

  • 项目描述
  • 缺省项目设置
  • 缺省查询设置

• Discovery v2 API 已更改为帐户项目和集合以及其他增强功能。 某些 API 调用已更改为支持项目级别而不是集合级别的操作，例如提交查询和运行相关性训练。 许多其他 API 方法已更改，某些 API 方法在 v2中不可用。 有关 v1 和 v2 API 方法的详细比较，请参阅 API 版本比较。

选取服务套餐

在 Plus，Enterprise和 Premium 受管套餐中进行选择，或者通过购买 Discovery Cartridge for IBM Cloud Pak for Data来选择本地安装。 请先查看每种计划类型的权益和限制，然后再进行选择。

• 有关套餐的更多信息，请参阅 Discovery 定价套餐。
• 有关工件限制的更多信息，请参阅 限制详细信息。

下表显示了通常在 v1 和 v2之间相似的受管部署的计划类型。

要获取有关当前使用的存储器，文档和集合的信息，请单击产品用户界面标题中的 环境详细信息 图标。

无法执行从 v1 套餐 (例如，轻量套餐或高级套餐) 到 v2 套餐的原地升级。 您必须创建新的 v2 套餐，然后将数据移至新的服务实例。 将数据从 v1 迁移到 v2时，可能会同时部署 v1 和 v2 实例。 请考虑在此期间使用随第一个 Plus 套餐实例提供的 30 天免费试用。

上传的数据

如果使用 API 将文档上载到 Discovery v1，那么 v2 中提供了类似的 API 以将文档上载到集合中。 您必须更新用于自动执行该过程的任何工作流程，以说明项目和集合的新安排。

如果您摄入到 Discovery v1 中的原始文档不再可用，那么可以使用查询 API 从 Discovery v1中抽取文档文本。 然后，可以将文本添加到 Discovery v2中的集合。 有关更多信息，请参阅 恢复文档。

已搜寻的数据

如果在 v1中从外部数据源搜寻数据，那么可以在 v2中继续从同一外部数据源搜寻数据。 支持所有相同的数据源。

要使用来自外部数据源的数据，必须在 v2 项目中重新创建集合，并配置如何搜寻数据源。 有关更多信息，请参阅 数据源概述。

服务需要时间和资源从外部数据源搜寻和采集文档。 一次重新创建一个连接器。 将数据重新搜寻到迁移计划调度中所花费的时间。

预构建的数据集合

以下内置数据源集合在 v2:

Watson Discovery 新闻

此预扩充数据源在 v2中未提供。 有关获取新闻数据的替代方法的更多信息，请参阅 将新闻服务与 v2配合使用。

COVID-19 套件

此预先构建的集合旨在帮助您为使用 IBM® watsonx™ Assistant 和 Discovery 构建的动态聊天机器人提供燃料，以回答客户有关 COVID-19的问题。 在 v2中，您可以构建类似的解决方案。 使用搜寻可信 Web 站点以获取 COVID-19 问题答案的集合创建 Conversational Search 项目类型。

保留文档标识

当您从产品用户界面上载文档或使用 添加文档 API 方法添加文档时，会将文档标识分配给添加到 v2 集合的文档。

如果要使用依赖于这些唯一标识的进程，那么您可能希望在 v2 中保留 v1 文档的标识。 例如，应用程序的回归测试可以通过检查文档标识来验证是否返回了特定文档。 相关性训练使用文档标识来跟踪训练运行之间的文档。 如果文档标识在 v1 和 v2 实例之间相同，那么这些流程更易于调整。 否则，必须将用于 Discovery v1 实例的进程重新映射到在将其添加到 Discovery v2 实例之后分配给文档的标识。

如果在将文档添加到 v1 服务实例时指定了自己的文档标识，那么可以使用 更新文档 方法而不是 添加文档 方法来保留这些标识。 使用更新方法，您可以在将文档标识添加到 v2 集合时将其分配给该文档。 有关更多信息，请参阅 更新文档。

如果数据存储在 JSON 文件中，那么原始文档中的数组将生成一个文档标识，并在该文档标识后面追加一个数字。 例如，original_id_n。 要保留不带数字后缀的原始文档标识，请除去 JSON 文件中的数组。 例如，将 [ {"name": "value"} ] 更改为 {"name": "value"}。

如果 v1 文档具有系统生成的标识，那么您可以提交空的 搜索查询 以检索文档及其标识的列表。 然后，在将每个文档添加到 v2中的新集合时，可以将相同的标识分配给该文档。

恢复文档

在某些情况下，摄入到 Discovery V1 中的原始文档不再可用。 您可以使用 Discovery v1 实例从文档中检索信息。Discovery 创建它所摄入的每个文档的文本副本。 副本仅为文本，因此 HTML，PDF 或其他非文本格式的任何文档都将转换为纯文本版本。

您只能使用此方法来恢复集合中的前 10,000 个文档。 有关恢复超过 10,000 个文档的方法的更多信息，请参阅 从集合中恢复超过 10,000 个文档。

要将文档信息从 v1 传输到 v2，请完成以下步骤:

1. 通过使用 API 提交空查询，从 v1 中抽取文档。

   例如，GET {url}/v1/environments/{environment_id}/collections/{collection_id}/query?q=。

   API 将返回结果。 matching_results 字段指定结果总数。 结果对象返回匹配的文档。 每个文档都作为单独的 JSON 对象返回。 缺省情况下，最多返回 10 个文档。

   {
     "matching_results": 34,
     "session_token": "nnn",
     "results": [
       {"{result objects}":"{maximum of 10 by default}"}
     ]
   }
   

2. 您可以使用 count 和 offset 参数来页面浏览查询结果并保存所有文档。

   例如，要一次获取 100 个文档，可以将 count 设置为 100，将 offset 设置为 0 并提交查询。

   GET {url}/v1/environments/{environment_id}/collections/{collection_id}/query?q=&count=100&offset=0
   

   接下来，您可以再次将计数设置为 100，但这次将偏移量设置为 100 以获取接下来的 100 个文档。

   GET {url}/v1/environments/{environment_id}/collections/{collection_id}/query?q=&count=100&offset=100`
   

   重复此过程，将偏移量增加 100，直到检索所有文档为止。

3. 准备要摄入到 v2中的导出文档。

   从 Discovery v1 获取的每个生成的 JSON 文件都包含从原始文档中抽取的数据，例如文本，HTML 和其他字段。 如果定制元数据在上载到 v1时与文档相关联，那么它也存在于 JSON 文件中。 此外，该文件包含由 v1 分析生成的多个字段。 仅保留此数据的子集作为添加到 Discovery v2的文档的一部分。

   以下提示可帮助您决定要保留的字段:

   • 在 Discovery v2中包含 text 字段或任何其他具有文本内容的字段。
   • 包含存储在文档中的任何定制元数据。 此元数据通常特定于使用 Discovery 并用于过滤搜索中的文档的应用程序。 例如，metadata.customer_id。
   • 请勿包含来自 Discovery v1的扩充项。 例如，enriched_text.entities。Discovery v2 生成其自己的扩充项。
   • 排除由 Discovery 生成的字段，除非这些字段由应用程序使用并且包含对于文档的 v1 版本唯一的信息。 在这种情况下，请重命名该字段，以便在将文档采集到 Discovery v2时不会将其替换。 例如，extracted_metadata.publicationdate 是在摄入文档时由 Discovery 生成的字段。 您可能希望保留 v1 中的 metadata.parent_document_id 信息，以了解最初如何从单个源文档生成子文档。
   • 避免使用具有保留字段名称的字段。 有关更多信息，请参阅 如何处理字段。

4. 将每个已编辑的 v1 JSON 文档摄入到 Discovery v2 实例中。 可以在 Discovery v2中维护 Discovery v1 文档标识。 有关如何保留文档标识的更多信息，请参阅 保留文档标识。

从集合中恢复超过 10,000 个文档

一个查询最多只能返回 10,000 个文档。 但是，如果要从集合中恢复超过 10,000 个文档，那么需要一种方法将这些文档分隔为非重叠子组。 每个子组应包含少于 10,000 个可由查询返回的文档。 然后，可以通过结果进行分页以检索文档。

结果的分页限制为查询返回的最多 10,000 个文档。 具体而言，count 和 offset 分页参数的组合使用不得超过 10,000 个文档。

将文档分隔为非重叠子组的一种方法是利用存在于每个文档中且包含唯一值的字段。 例如，SHA-1 字段包含原始源文件的散列，并格式化为十六进制字符串值。 可以使用字段的第一个字符作为将集合划分为子组的方法。 因为 SHA-1 包含十六进制值，所以第一个字符最多可以有 16 个可能的值 (0-9 或 a-f)。 如果按 first_char_of (SHA-1) == 0 进行过滤，那么它可能返回整个集合的大约 1/16。 然后，可以循环使用每个可能的 16 个值，以获取其余文档。 如果其中一个子组中未返回最佳文档数，那么可以使用 SHA-1 字段的前 2 个字符将集合划分为 256 个子组。

更新应用程序处理查询结果的方式

由于 v1 和 v2 查询之间的查询结果文档语法之间存在以下差异，因此可能需要更新应用程序显示查询结果的方式:

• 在实体扩充级别，v2:

  • 消歧
  • 情感
  • 观点

  词性 扩充项将自动应用于 v2中大多数项目类型中的文档，但扩充项生成的索引字段不会显示在文档的 JSON 表示中。

  

  *

• v2 包含提及项，而不是 v1中的 count 和 relevance。

  提及项中的每个条目都对应于文档文本中出现的实体。 在以下示例中，找到了 7 个实例。 对于每次出现的情况，将显示置信度分数和提及项文本的偏移量。 当结果显示在用户界面中时，您可以使用偏移量来突出显示文档文本中的提及项。

  

• 查询响应的 JSON 结构在 v2中略微重新排列。

• v2 查询响应中不包含重复数据删除信息。

• 在 v2中，enriched_text 是数组而不是对象。

• 在 Discovery v2中，使用实体 v2 扩充项。 v2 中的实体类型名称以标题大小写指定，而不是所有大写字母。 如果使用指定实体名称的查询或聚集，那么必须更改大写。 例如，将 PERSON 更改为 Person。

• 在 v1 和 v2之间的采集期间，将以不同方式转换添加到集合的 JSON 文件中的字段。 如果应用程序处理这些结果，那么可能需要进行调整。

  您可以在 API 的 更新集合 方法中指定 normalizations 和 conversions 对象，以移动或合并 JSON 字段。

  如何处理 JSON 源字段

  原始 JSON 字段内容	v1 表示	v2 表示	注释
  "field": null	"field": null	不适用	v1 保留空值。v2 将完全跳过空字段。
  "field": ""	"field": ""	不适用	v1 保留空文本值。v2 将完全跳过空文本字段。
  "field": "value2"	"field": "value2"	"field": "value2"	没什么区别
  "field": []	"field": []	不适用	v1 保留空数组。v2 完全跳过包含空数组的字段。
  "field": [ "value4" ]	"field": [ "value4" ]	"field": "value4"	v1 保留单例数组。v2 将单项数组转换为仅值; 它不会存储为数组的一部分。
  "field": [ 1, 2, 3 ]	"field": [ 1, 2, 3 ]	"field": [ 1, 2, 3 ]	没什么区别
  "field": [ "v6", "v7", "v8" ]	"field": [ "v6", "v7", "v8"]	"field": [ "v6", "v7", "v8"]	没什么区别