此文件適用於 IBM Watson® Knowledge Studio on IBM Cloud®。若要查看舊版 Knowledge Studio on IBM Marketplace 的文件，請按一下此鏈結。

改善機器學習模型

在判斷其中模型有問題的區域之後，請採取以下步驟來改善其效能。

建立模型版本

在建立機器學習模型之後，您可以取得 Snapshot，以保留現行資源的備份版本，以防您要在未來的反覆運算中還原這些資源。

關於此作業

F1 分數提供模型品質的指示。如果模型效能結果良好，則在變更任何資源之前，您可能想要儲存元件的版本。如果您所做的變更導致品質較差，則可以回復為您所儲存的版本。

您最多可有 10 個工作區版本。如果達到該限制，請刪除較舊的版本或不再需要的版本，然後再建立新版本。

建立新版本時，會擷取下列資源：

類型系統
語料庫
基準
機器學習模型
機器學習模型評估結果

排除下列資源：

註釋作業，因為它們是暫時設計的作業，只用於判定基準
字典，因為字典可以很大，且系統會以不同方式管理各種類型的字典

程序

若要建立及還原機器學習模型版本，請執行下列動作：

以 Knowledge Studio 管理者或專案經理身分登入，並選取您的工作區。
選取機器學習模型 > 效能。即會顯示關於現行版本（標示為 1.0 版）的效能統計資料。
建立目前文件集和注解器集的快照；此動作會建立模型的新版本，並保留用來建立模型的工件的複本。按一下 Machine Learning Model > Versions，然後按一下 Create Version。 1.0 版中的資源已凍結，且標示為 1.1 版的新版本會變成現行版本。對於您建立的每一個新版本，次要版本號碼會遞增，例如 1.0 變成 1.1，然後變成 1.2。
視需要修訂工作區資源、重新訓練，並重新評估模型。
如果效能結果符合您的要求，且您想要在進行未來變更之前儲存新版本，請建立另一個版本。視需要繼續修訂資源並重新訓練模型，為您要保留的每一個反覆運算建立新的版本。
如果效能結果更差，且您想先回復到舊版，再進一步測試，請執行下列動作：
- 開啟資產 > 字典頁面，然後下載您要在還原模型中重複使用的任何字典。
- 按一下機器學習模型 > 版本，然後針對您要還原的版本，按一下提升。您提升的版本會變成現行版本，且版本號碼會變更為 2.0。提升版本時，主要版本號碼會遞增，且次要版本號碼會變成 0，例如，1.1 變成 2.0。
- 開啟字典頁面，並上傳您所下載的字典。
- 如果新版本的測試需要對基準進行變更，請開啟機器學習模型 > 註釋頁面。按一下註釋作業標籤，然後建立新的註釋作業。

在不失去人工註釋的情況下修改類型系統

您可能需要在訓練模型時根據效能統計資料進行修改。但是，一般而言，在開始大規模的註釋作業之前，您希望類型系統儘可能接近最終類型系統。如果您在註釋人員開始其工作之後變更類型系統，則他們必須重新造訪已註釋的文件。他們必須評量類型系統變更的適用性。

關於此作業

此處理程序會將現行類型系統、基準編輯器鍵盤快速鍵及色彩設定延伸至作業中的所有文件集。

程序

若要在不失去註釋人員所執行之工作的情況下修改類型系統，請執行下列動作：

變更類型系統。例如，您可以新增或移除實體類型或關係類型。
決定是否要將變更延伸至現有人工註釋作業。
開啟機器學習模型 > 註釋頁面，然後按一下註釋作業標籤。開啟要更新的每個作業，然後按一下套用類型系統更新。

如果您已從類型系統移除實體類型或關係類型，則在文件中，所有出現的類型都會以灰色強調顯示。機器學習模型會忽略這些無效類型。它們不會阻止您提交及核准文件集。
向註釋人員提供類型系統中所變更內容的詳細資料。
要求註釋人員更新其文件，以反映類型系統中的變更。例如，如果您新增了實體類型或關係類型，則他們必須檢閱其文件，並適當的進行註釋。

如果作業包含已完成的文件，則在文件回復為可編輯狀態之前，註釋人員都無法變更那些文件來評量類型系統變更。若要變成可編輯，請要求註釋人員提交文件集，這樣您就可以拒絕它們。

相關概念：

類型系統

文件集管理

使用正確的資料集，在適當的時間測試及訓練模型。

建立機器學習模型時，必須將您新增至系統的文件配置給下列系統層次資料集：

訓練集

已透過預先註釋或由註釋人員（用來訓練模型）註釋的一組文件。訓練集的目標是教導機器學習模型有關正確註釋，其中包括透過未註釋的文字來教導模型。
測試集

這是一組已註釋的文件，用來測試已經過訓練的模型。在對測試集執行測試之後，請對結果執行詳細的診斷目的錯誤分析。關閉分析可協助您尋找現行模型中可處理的弱點。
盲目集

一組擱置的已註釋文件，用來在進行數次測試反覆運算且已有改善之後定期測試系統。為避免降低正確性（例如，只根據已知文件中的註釋進行變更），盲目資料應該是參與建立模型之使用者先前未檢視的資料。所報告的結果應該只來自在盲目資料上執行的測試。在對盲目集執行測試之後，只查看最高階分數，例如整體提及項目及關係 F1 分數。您不想要太深入暸解效能的詳細資料，或它可能會影響您選擇要對模型所做的改善。

Knowledge Studio 的目標在於讓大型團隊可以合作建置模型。因此，它假設模型由包括一組註釋人員的團隊產生，以及由建置及測試模型的個人或群組產生，並對其進行改善。由於此假設，將應用程式配置為將單一文件集中的文件分組按比例平均推送至測試集、訓練集及盲目集。不過，如果您的團隊沒有隔離（舉例而言，如果執行人工註釋的人員也正在詳細檢閱模型測試結果），則您可能需要將文件配置變更為這些集合，以更明確區隔在每一個集合中使用的文件。

為何需要盲目集？

因為您使用測試資料來詳細評量正確性，所以可以在一段時間之後知道文件及其特性。例如，您開始知道文件中的哪些實體類型、關係類型及文字類型是機器學習模型最能瞭解的類型，而哪些則不是。此資訊很重要，因為它可協助您專注在做出正確的改善 - 例如，修正類型系統、補充訓練資料來填補差距，或新增字典。反覆使用測試文件來改善模型時，這些文件可能開始間接影響模型訓練。這就是「盲目」集很重要的原因。

如何控制將哪些文件配置給哪個集合？

當您建立機器學習模型時，您必須指定要分配到訓練集、測試集或盲集的文件集比例。Knowledge Studio 會自動將 70/23/7 的比例套用到您用來建立機器學習模型的文件集。您可以變更這些值。

若要將人工註釋的文件集新增至訓練集，請指定 100/0/0 分類比例。
在使用文件集進行訓練之後，您可以用它來進行測試。若只要使用測試用的文件集，請指定 0/100/0 分類比例。
只將從未用於訓練或測試的文件集新增至盲目集。若要這樣做，請為文件集指定 0/0/100 的分類比例。

計劃在進行幾次反覆運算之後停止使用盲目集。您越是使用盲目集，它就會變得越不「盲目」。您的測試資料也是一樣。不是捨棄文件集，而是您可以移轉它們，以提供新的用途。請遵循下列移轉流程：

blind --> test --> train

當文件集移轉時，您可以新增未看過的新文件集作為盲目資料，以及作為測試資料。但是，請務必保留一個方法來評估各模型版本的正確性。建立基準線的一種方法是在新的文件集上執行舊版模型。您可以根據此執行結果與在那些相同文件集上執行較新模型的結果進行基本比較。