何時使用相關性訓練

相關性訓練是選用的。 測試搜尋結果的品質。 如果查詢結果符合您的需求，就不需要進一步的訓練。

訓練可改善查詢回應中所傳回文件的相關性。 它不會改善每個文件所傳回的段落或回答。 如果您使用段落擷取，且測試結果傳回良好文件，但文件中的錯誤段落，則相關性訓練將無法提供協助。

如需何時使用相關性訓練的相關資訊，請閱讀 Medium 上的 Relevancy training for time-sensitive users 部落格文章。

如何處理欄位

當您從產品使用者介面訓練專案時，一律會從文件的 text 欄位取得結果。 如果您的文件沒有 text 欄位，請改用 API 來訓練專案。 如果您上傳的 CSV 檔沒有名稱為 text的直欄，或上傳的 JSON 檔沒有名稱為 text的物件，或您使用「智慧型文件理解」工具來定義具有其他名稱的欄位，而這些名稱現在會儲存文件的大部分內容，則您的文件可能沒有 text 欄位。

當您從 API 訓練專案時，會從所有根層次欄位取得結果，並將它們全部視為具有相等顯著性。 與「探索查詢語言」查詢不同，使用自然語言查詢時，您無法指定您所關心的文件中的哪些欄位，或提供給每一個欄位的重要性。 當您使用範例來教導 Discovery 時，服務會為您提供每個欄位的加權。

探索會建置模型，為每個根層次欄位指派不同的加權給術語、二元圖和跳格圖相符項，並根據所有其他文件欄位的相符項來平衡它們。 有了足夠的範例，Discovery 可以傳回更好的答案，因為它知道通常儲存最佳答案的位置。

相關性訓練無法用來為巢狀欄位提供更多加權。 巢狀欄位會分組並指派一個整體評分。 無論您訓練多少，「探索」絕不會提供巢狀欄位比根層次欄位更多的加權。 如需巢狀欄位的相關資訊，請參閱 常見問題。

訓練專案

用來訓練相關性模型的訓練資料包括下列部分:

• 代表使用者可能提交之查詢的自然語言查詢
• 服務所傳回的查詢結果
• 您套用至結果的評等，指出結果是 relevant 還是 not relevant

若要將相關性訓練套用至專案，請完成下列步驟:

1. 移至 改善及自訂 頁面。 在改善工具畫面上，選取改善相關性，然後選取相關性訓練。

2. 在 Enter a question to train（輸入要訓練的問題 ）欄位中輸入自然語言查詢。

   不要在查詢中包含問號。 請使用與使用者相同的措辭。 例如，IBM Watson in healthcare。 撰寫包含目標回答中所提及的部分術語的查詢。 評估自然語言查詢時，術語重疊會改善起始結果。

3. 按一下 Add+。

4. 按一下 分級結果。

5. 在顯示結果之後，請評量每一個結果，然後選取 相關 或 不相關(在給定結果品質下適用的選項)。

   在 Discovery 使用者介面中，當您將文件標示為 Relevant 時，服務會將 10 的相關性評分套用至結果，並將它標示為 Not relevant 時 0 的評分。 當您透過 Discovery 使用者介面套用相關性訓練時，只能指派兩個評分值 0 和 10。

   在 Discovery API 中，您可以指派 0 與最多 100 之間的每一個整數之間的相關性評分值。 在同一專案中，您無法將在 Discovery 使用者介面中建立的訓練範例 ( 0 和 10 的評分) 與使用 0 和 10 以外的信任評分層次建立的範例混合。 如果您透過 API 使用任何自訂評分比例，則必須繼續透過 API 套用所有訓練。 您無法在 Discovery 使用者介面中編輯透過 API 套用的訓練範例，除非它們只使用 0 和 10 的兩個評分。

   如果結果顯示訊息「此文件沒有可用的內容預覽」，則表示傳回的文件不包含 text 欄位，或其 text 欄位是空的。 如果集合中沒有任何文件具有 text 欄位，請使用 API 來訓練專案，而不是從產品使用者介面來訓練專案。

6. 完成後，按一下返回查詢。

7. 繼續新增查詢並對其進行評級。

   當您評估結果時，會顯示您的進度。 請檢查您的進度，以查看何時有足夠的評等資訊可符合訓練臨界值需求。 您的進度分為下列作業:

   • 新增更多查詢
   • 對更多結果評級
   • 為評級引入更多差異

   您必須評估至少 50 個唯一查詢 (可能更多)，視資料的複雜性而定。 您無法新增超過 10,000 個訓練查詢。

8. 達到臨界值後，您可以繼續新增查詢和評等結果。 輸入您認為使用者將詢問的所有查詢。

   若要刪除訓練查詢，請按一下 刪除 圖示。 若要一次刪除集合中的所有訓練查詢，請使用 API。 如需詳細資訊，請參閱 刪除訓練查詢。

如果有兩個以上使用者嘗試同時訓練相同的查詢，則其中一個使用者所提交的評等會改寫其他使用者。

測試及反覆運算結果的相關性

當您完成分級結果並完成訓練時，請測試以查看查詢結果是否更好。 為此，請執行與訓練查詢相關（但不完全相同）的測試自然語言查詢。 檢閱結果。

如果您想要在測試之後繼續改善結果，您可以:

• 將更多文件新增至集合。
• 新增更多訓練查詢。
• 評比更多結果，並確保同時使用 Relevant 和 Not relevant 評比。

信賴度評分

Discovery 會傳回已訓練集合的自然語言查詢的 confidence 評分。 此 confidence 得分與未經訓練的集合所傳回的 confidence 得分不可互換。

confidence 評分範圍可以從 0.0 到 1.0。 數字越大，結果相關性越高。

confidence 評分可以在查詢結果中每個文件的 result_metadata 下找到。 此數字是根據結果相對於已訓練模型的估計相關性來計算的。

{
  "matching_results": 4,
  "retrieval_details": {
    "document_retrieval_strategy": "trained"
  },
  "results": [
    {
	  "id": "eea16dfd5fe6139a25324e7481a32f89_13",
	  "result_metadata": {
	    "confidence": 0.08793
	  }
    }
  ]
}

可以在 document_retrieval_strategy 下找到 retrieval_details。 如果您使用 Discovery 查詢語言來查詢已訓練的資料集、或已訓練的模型暫時失效，document_retrieval_strategy untrained。

如需查詢專案的相關資訊，請參閱 查詢概觀。

相關性訓練限制

下列限制適用於相關性訓練模型:

• 每個專案一個模型
• 每個模型 10,000 個查詢
• 針對 Enterprise 及 Premium 方案，每個服務實例 40 個模型; 針對 Plus 方案實例，每個服務實例 20 個模型

執行最佳訓練階段作業

下列範例說明如何針對專案中的相關性訓練，以最佳方式執行階段作業。

假設您將 100 個訓練查詢新增至新專案，並且 Discovery 在一個訓練階段作業中執行 100 個查詢以建立排序器模型。 稍後，如果您新增其他 20 個查詢，則模型會開始重新訓練，且 Discovery 總共執行 120 個查詢。 不過，若要新增最後 20 個查詢，如果您先新增 10 個查詢，等待一小時左右，然後新增接下來 10 個查詢，則 Discovery 會訓練模型兩次。 在此情況下，第一個訓練階段作業會執行 110 個查詢，第二個訓練階段作業會執行 120 個查詢。 這種新增查詢的方式 (散置在時間間隙之間) 會導致 Discovery所執行的訓練階段作業數及查詢總數增加。

相反地，若要最小化訓練階段作業數目，您可以使用「更新訓練查詢 API」。 API 方法會一次更新一個專案下多個集合的訓練資料。 如需相關資訊，請參閱 API 參考資料中的 更新訓練查詢。

若要減少 Discovery上的處理負載，您應該在專案中的所有集合都已完成處理文件之後，透過相關性訓練來建立或更新排序器模型。 此外，在排序器模型訓練處理程序期間，您應該具有低查詢活動，以便並行要求的限制不會超出。

改善相關性的其他方法

如果您偏好使用 Discovery API 來訓練 Discovery，請參閱 API 參考資料。

您也可以使用 API 來新增策展。 「策展」是測試版特性，您可以用來教導 Discovery 每次提交特定查詢時都會傳回特定文件。 如需相關資訊，請參閱 策劃。

新增自訂非索引字清單也可以改善自然語言查詢結果的相關性。 如需相關資訊，請參閱 識別要忽略的單字。

瞭解相關性訓練

有關專案訓練的常見問題解答。

解譯相關性訓練錯誤和警告

下列清單提供一些常見錯誤和警告訊息的說明。