此文件適用於 IBM Watson® Knowledge Studio on IBM Cloud®。 若要查看舊版 Knowledge Studio on IBM Marketplace 的文件，請按一下此鏈結。

註釋設定

瞭解該產業及其語言的使用者必須註釋文件。

執行下列作業，讓註釋人員能夠存取工作區：

  • 邀請主題專家至您所使用的 Knowledge Studio 實例。

  • 關聯註釋人員與一個以上您希望他們註釋的註釋集。

  • 建立作業，以指派註釋人員註釋集合中的文件。

    在您明確指派作業給註釋人員之後，他們才能在登入 Knowledge Studio 時看到您的工作區。

您的使用者（註釋人員）需要熟悉註釋文件，其中包含如何註釋文件的詳細資訊。

模型生命週期

您使用 Knowledge Studio 建立的模型是可以插入自然語言處理程序 (NLP) 管線的軟體元件。

使用 Knowledge Studio，您可以建立、評估及改善新領域的模型。 模型會將註釋（meta 資料）新增至出現在自然語言內容中的文字。 註釋可在您的領域內容中識別感興趣實體的提及項目、其間的關係以及提及項目如何互相參照相同的實體，應用程式可使用註釋來自動分析及處理文字。 應用程式使用者可從這個分析層次中受益，因為他們可以擷取意義、探索見解，以及在自然語言上下文中取得答案。

建立模型是一個反覆運算的多步驟處理程序，包含數個階段：知識管理、產生基準、開發模型、評估模型以及部署運行環境。

端對端領域改寫

下圖彙總模型開發的這五個階段之間的互動，以及每一個階段中發生的一般活動。

模型開發的五個階段以及每個階段所發生的活動的摘要。 圖 2. 模型開發的五個階段以及每個階段所發生的活動的摘要。

知識管理

此階段（在 Knowledge Studio 外部）是指選取、收集、保留及維護特定領域相關內容的處理程序。 管理會將值新增至資料；它會將資料轉換成受信任的資訊和知識。

產生基準

此階段是指使用 Knowledge Studio 工具以及最佳作法來產生已審核資料的集合，其可用來將 Watson 解決方案套用至特定領域。 這個已審核資料（稱為基準 或黃金標準文件）的正確性很重要，因為基準不正確會造成根據該基準的應用程式也不正確。

教導 Watson 新領域的基本部分，就是向其提供您領域內容中感興趣實體的相關知識、其間的關係以及實體如何互相參照。 收集此知識包括下列活動：

  • 讓領域主題專家建立下列資源，或識別您領域中可重複使用或修改的現有資源：

    • 註釋準則及範例，可協助註釋人員瞭解您領域內容中的單字和段落的註釋方式。
    • 類型系統，用於定義特定領域的類型（物件）及特性（資料分類），這些可透過文字分析在您的領域內容中探索到。 類型系統控制註釋人員可以新增至文件的註釋類型。
    • 在您領域內容中要視為相等詞彙的詞彙字典。

  • 建立代表您領域內容之文件的語料庫。

  • 根據您新增至 Knowledge Studio 工作區的字典，預先註釋文件。 建立機器學習模型之後，您可以使用此模型來預先註釋您新增至語料庫的新文件。 預先註釋是在機器學習模型可用之前，在可能的範圍內先用機器註釋文件的程序。 預先註釋僅需要驗證機器註釋的正確性，即可取代部分人工註釋的建立作業，因此可以減少人工註釋的勞動力。

  • 將文件分給註釋人員，然後註釋人員會使用 IBM Watson® Knowledge Studio 基準編輯器工具，以手動的方式將註釋新增至小型的文件集。

  • 比較人工註釋結果並解決衝突。 在此階段中，需要裁定來確保已正確並一致註釋的文件會提升成基準，而它們可用來訓練及測試機器學習模型。

模型開發

此階段是指使用 Knowledge Studio 工具來建立模型。 建立基準之後，人工註釋結果可用來訓練演算法，以自動新增註釋至大型文件集合，例如，包括數百萬份文件的集合。

模型評估

此階段是指使用 Knowledge Studio 工具來調整模型及改善效能。 針對基準文件的測試集來評估模型所產生的結果。 正確性分析 會識別註釋錯誤的原因。 空餘空間分析 可協助您評量需要聚焦的錯誤，以及如何修正模型可以產生最大的影響。 調整可以反覆進行，以改善效能，直到達到令人滿意的正確性程度為止。

模型部署

此階段是指匯出可讓模型在機器學習運行環境中執行的元件，以及讓模型可供其他 Watson 認知應用程式存取。 例如，您可以部署機器學習模型，以供 IBM Watson® Natural Language Understanding 服務或 IBM Watson® Discovery 服務使用，或匯出要在 IBM Watson Explorer 中使用的模型。

建立註釋作業

在註釋人員可以開始新增註釋至文件之前，註釋程序管理員必須先建立一個註釋作業。

管理者和專案經理可以直接註釋基準文件集。 請參閱直接註釋文件集。

關於此作業

註釋作業指定要註釋的文件。 若要比較註釋人員的執行成效，以及查看註釋人員套用註釋準則的一致程度，您必須在此作業中至少包含兩位註釋人員。 此外，某些百分比的文件必須在您新增至作業的所有註釋集中發生（您可以在建立註釋集時指定重疊百分比）。

重要

  • 註釋作業是一個暫存概念，存在的目的是要容許註釋人員在隔離的空間中註釋文字。 它也會確保只有已核准的註釋才會提升成基準。
  • 一個作用中作業一次可以內含一個註釋集。 若要將某作業中的註釋集新增至其他作業，您必須先刪除該註釋集作用所在的作業。
  • 如果您刪除註釋人員的使用者帳戶，也會影響他們的註釋。 會刪除文件中已指派給該使用者但未提升成基準的所有註釋。
  • 如果類型系統或基準編輯器設定在您建立人工註釋作業之後有所變更，您必須決定是否要將變更延伸至作業中。 類型系統變更會影響註釋；註釋人員可能需要檢閱及更新他們的文件。
  • 如果字典變更，變更不會反映在現行的註釋作業中。 若要將資源變更套用至基準，您必須建立新的註釋作業。
  • 每個工作區最多可以有 256 個註釋作業。

程序

若要建立註釋作業，請執行下列動作：

  1. 以 Knowledge Studio 管理者身分登入，並選取您的工作區。

  2. 選取機器學習模型 > 註釋頁面，然後按一下註釋作業標籤。

  3. 按一下新增作業。

  4. 指定敘述性的作業名稱，然後選取作業必須完成的日期。

  5. 如果沒有註釋集可用，請按一下建立註釋集。

    1. 對於基本集，請選取要劃分為註釋集的文件集或註釋集。

    2. 對於重疊值，請指定您要包含在每一個註釋集裡的文件百分比。 除非兩個以上的註釋人員註釋相同的文件，否則無法計算註釋人員內部協議分數。 例如，如果您針對包含 30 個文件的語料庫指定了 20% 的重疊值，且您將語料庫分成 3 個文件集，則所有註釋人員都會註釋 6 個文件 (20%) 。 剩餘的 24 個文件將分給 3 位註釋人員（每人 8 個文件）。 因此，每一位註釋人員都會收到 14 個文件來註釋 (6+8)。

    您計劃用來訓練機器學習模型的註釋集必須至少包含 10 個已註釋文件。

    1. 從註釋人員清單中選取使用者名稱。

    2. 命名註釋集。

      在工作區進行時評估註釋人員工作的最佳作法是，建立註釋集名稱來識別指派給該註釋集的註釋人員。 建立註釋集之後，就無法變更註釋集名稱。

      註釋集名稱的大小上限為 256 個字元。

    3. 按一下產生。

  6. 即會在可用集顯示可用的註釋集清單，以及指派給它們的註釋人員名稱。 若要將可用集新增至註釋作業，請按一下新增至作業。

  7. 確定要包含在作業中的所有註釋集都顯示在選取的集下，然後按一下儲存以建立作業。

下一步

在建立作業之後，您可以回到機器學習模型 > 註釋頁面上的註釋作業標籤，以檢視每一位註釋人員的進度。 同時，您也可以完成下列作業：

  • 請檢查在註釋集之間重疊的核准文件，以解決註釋衝突。
  • 開啟作業以將註釋集新增至其中。 請確定您新增的註釋集，包含了與原始註釋集裡文件重疊的文件。

從主要導覽的設定標籤中，您可以指定下列資訊：

  • 在基準編輯器中，指定使用顏色和鍵盤快速鍵的喜好設定。
  • 指定註釋人員內部協議臨界值，然後開啟作業以查看多位註釋人員標記相同文件的一致程度。
  • 指定 URL，將您的註釋準則連接至基準編輯器。

配置基準編輯器喜好設定

專案經理可以在基準編輯器中，指定使用顏色和鍵盤快速鍵的喜好設定。

程序

若要指定使用基準編輯器的視覺化喜好設定，請執行下列動作：

  1. 以 Knowledge Studio 管理者身分登入，並選取您的工作區。

  2. 從左側導覽中，選取設定 > 文件註釋設定。

  3. 選取實體類型或關係類型標籤。

  4. 選取您要變更的實體類型或關係類型，然後按一下編輯鍵盤快速鍵及顏色。 對於每一種類型，您可以定義：

    • 鍵盤捷徑，這表示使用者可以輸入 <key>，將類型標籤套用到反白文字上。 例如，如果您定義 o 作為 ORGANIZATION 的鍵盤快速鍵，則使用者可選取文字，然後按 o 鍵，將 ORGANIZATION 實體類型套用至強調顯示的文字。 如果您指定大寫字母，則使用者必須按 Shift+<key>。
    • 文字顏色。 請確定文字顏色與背景顏色成對比，以在該文字被標示之後仍看得見。
    • 背景顏色。 這是在您註釋實體之後，套用至實體的標籤顏色。

    註釋文件時，註釋人員可以使用鍵盤快速鍵來快速新增註釋。 註釋標籤及文字顏色可協助註釋人員在新增註釋至文件之後，立即辨識類型。

    • 如果有您不想要註釋人員指派給提及項目的實體或關係類型，您可以將它們隱藏在基準編輯器中，這會縮短並簡化使用者所看到的類型選項清單。 若要這樣做，請取消選取此類型的作用中勾選框。

    當您指派新的快速鍵及顏色時，可以預覽變更。

  5. 您也可以變更預設選擇強調顯示顏色。 高亮度色彩是在註釋人員選取文字之後，顯示在該文字周圍的邊框顏色。 預設顏色是淺藍色，但您可以在選擇強調顯示標籤上變更此顏色，以更容易識別所選取文字的界限。

設定 IAA 臨界值

為協助您決定要接受還是拒絕已註釋的文件集，您可以指定註釋人員內部協議臨界值。 臨界值可協助您對照系統所計算的 IAA 分數，來比較註釋人員內部協議的表現好壞。

關於此作業

若要比較註釋人員註釋相同文件的差異度，請指定評估臨界值。 如果某位註釋人員所做的註釋不同於另一位註釋人員所做的註釋，導致該差異造成了低分數，這表示註釋人員並不同意。 不同意的情形需要進行調查並解決。

程序

若要設定註釋人員內部協議臨界值，請執行下列動作：

  1. 以 Knowledge Studio 管理者身分登入，並選取您的工作區。
  2. 選取設定 > IAA 設定標籤。
  3. 指定介於 0 和 1 之間的值（例如 .5 或 .8），然後按一下儲存。

連接至註釋準則

建立專案的註釋準則之後，您可以配置 Knowledge Studio 來連接它們。 為了協助選擇要套用的正確註釋，註釋人員可以在註釋文件時檢閱準則。 如果管理者在解決重疊文件中的註釋衝突時需要協助，也可以檢閱準則。

程序

若要將基準編輯器及裁定工具連接至您的註釋準則，請執行下列動作：

  1. 以 Knowledge Studio 管理者身分登入，並選取您的工作區。
  2. 選取設定 > 註釋準則標籤。
  3. 指定在其中管理準則的 URL。
  4. 按一下儲存。 系統即會將基準編輯器及裁定工具連接至您的註釋準則。 視您建立準則時授與使用者的存取權而定，註釋人員及工作區管理者可能可以在開啟這些準則（例如，若要新增說明及範例）之後予以更新。

註釋準則

對於如何記載準則的方法並沒有規定的格式，但重點是這些準則包括詳細範例。 註釋人員需要瞭解哪個實體類型要套用至提供上下文的提及項目，以及瞭解給定的一對提及項目的有效關係類型。 得自您領域內容的範例通常是傳送正確註釋選項的最佳方式。

註釋準則不是靜態的。 隨著專案的發展，您可能會發現在準則中未正確擷取的提及項目及關係實例。 而且，您可能會發現以不同方式解譯準則的多位註釋人員之間，有不一致的情形發生。 藉由在出現狀況時更新準則，您可以協助改善註釋隨時間變化的正確性及一致性。

在文件可視為基準之前，必須針對註釋相同文件的不同註釋人員，解決其註釋差異之間的任何衝突。 討論造成混淆的原因是解決衝突的重要方式，可以協助註釋人員從錯誤中學習。 改善並釐清準則有助於減少衝突數，並協助確保已正確且一致註釋的文件提升成基準。

為協助您管理準則，您可能想要將有可能變成長文件的準則分成多個部分，例如，用於註釋實體的準則、用於註釋關係的準則以及用於註釋提及項目互相參照方式的準則。 您在某個區域中所做的變更必須以您在另一個區域所做的變更進行評估與協調。 例如，如果您新增實體類型，請檢閱用於註釋關係類型的準則，並指定新實體類型與其他實體類型之間的關係。

註釋準則範例

大部分的註釋準則都需要大量的詳細資料及範例，以確保註釋人員一致地註釋文字。

這裡呈現的範例是針對包含交通事故報告的小型領域所建立的簡單準則。

作業目標

  • 身為專案成員，請熟悉手動註釋及機器學習模型修正的反覆運算程序。
  • 使用基準編輯器來註釋汽車領域的文件，並使用註釋來訓練機器學習模型。 視需要註釋實體類型、關係類型並且互相參照實體。

準則表示法

  • 方括弧 [ ] 當註釋的引文少於整個引文時，指出要註釋的範圍。

    視情況包含否定，例如，[no injuries]ACCIDENT_OUTCOME。 類型系統未使用實體類別來代表否定。

實體類型

類型系統不使用實體子類型或角色，也不使用提及項目類型或類別。

實體類型 準則 範例
ACCIDENT_OUTCOME 意外事故的結果。 同時適用於人類（例如，死亡）與汽車（例如，凹陷）。 可以包括「拖運」及「展開安全氣囊」作為損壞嚴重性指標，以及「運送至醫院」（但非殯儀館）作為受傷嚴重性指標。 可以包括否定狀況。 「[人員傷亡]」、「[受傷]」、「持續[全損]」、「[無人受傷]」、「因[致殘損壞而被][拖走]」、[「未被拖走]」、「安全氣囊[未展開]」（安全氣囊本身必須是 PART_OF_CAR，透過 sufferedFrom 與此 ACCIDENT_OUTCOME 關聯），以及嚴重程度的關聯跡象。
CONDITION 天氣或道路狀況；現場的一部分，可能影響意外事故的可能性，而且可能每天都會變更，但是與汽車或駕駛員無關。

可能是駕駛員錯誤或機械故障，且必須看似有問題。 應該排除 STRUCTURE。		 「乾燥」、「下雨」、「施工」、「交通繁忙」、「白天」，但不包括「草地」或「醉酒」。

爆胎」、「矯正過度」（如轉向）、「睡著了」、「喝醉了」、「[沒有協商好] [彎]道」、「[偏離]車道」或路肩，但不包括「企圖超車」，除非此語句伴有「沒有足夠空間」或類似語句，也不包括「偏離道路」，因為「偏離道路」屬於事故。
INCIDENT 碰撞的實際提及項目，或者明顯不適當且可能有破壞性的汽車移動（例如，越野），或一些其他損壞事故（例如，火燒車）。

不要彼此互相參照不一樣的移動，即使它們之間的關聯性很強，例如，"impacted"、"pushed rearward" 以及 "came to final rest"。

從範圍中排除 STRUCTURE；例如，「[停]在[溝渠]結構中」或「與[護欄]結構[保持接觸]」。
MANUFACTURER 製造車輛的公司 Toyota、Mazda、General Motors
MODEL 特定類型的汽車，由特定製造商所製造。 排除 "LX" 或 "SE" 之類的所有額外詞彙/內裝系列指標（例如，對於詞組 "Xterra SE" 僅註釋 "Xterra"）。 Camry
MODEL_YEAR 型號年份，為汽車名稱的一部分。 '99、2001
PART_OF_CAR 車輛的零件（內部或外部），不論是否特別與事故有關。 不列出這類零件的功能。 包括零件在汽車的位置指示，或者只是指出汽車的某部分，而非特定零件。

可為複數。 可以包括車輛中的位置規範，例如“[駕駛員安全氣囊]”、“[RF門]”（即右前）、“[RR] 乘客”、“[LF和RF安全氣囊]”、“[第一排被動/自動約束裝置]”、“具有EDR功能的[安全系統]”。

包括拖曳艇、坦克等等（除了半拖車之外），其具有不同的年份/型號/製造商。		 斷面、前面、輪胎、方向盤、安全氣囊等等。
PERSON 報告中所描述在事故現場中的任何人（可能是駕駛員或車輛的乘客/佔有者、行人或目擊者）。

不要註解形容詞，所以不要註解「a [69-year-old] drove」，但要註解「a 69-year-old [male] drove」。 可以是複數，例如「LR 和 RF [乘員]」。

>如果沒有「動物」實體類型，請使用「人」（PERSON）來標記涉及或造成碰撞的野生動物，因為它們的移動能力使它們更像是「人」（PERSON）而不是「結構」（STRUCTURE）。

注意：「副駕駛座安全氣囊」是一個 PART_OF_CAR；它並不表示有人在場。
STRUCTURE 在道路上、道路附近或屬於道路的建築物。 包括可能與事故配置相關的特定道路形容詞；省略其他形容詞。 [雙車道、雙向道路]、[左側車道]、東向車[道]、2 呎[溝渠]、[右側車道線]、[出口坡道]、[電線杆]、[樹]、陡峭下坡[路堤]
VEHICLE MODEL、MANUFACTURER 及 MODEL_YEAR 以外的任何車輛參照。 可為複數，在這種情況下，互相參照不太可能，也沒有部分群組關係。 「[卡車]」、「[汽車]」、" [V1] 's"

關係類型

類型系統使用關係類型，但不使用關係類別或關係的其他屬性。 否定不是由關係類別來編碼的，而是由提述的外延來編碼的，例如，[沒有 occupantsPERSON] 被[送進醫院ACCIDENT_OUTCOME]，這兩個提述由關係類型 sufferedFrom 連結。

第一個提及項目的可能實體類型 關係類型 第二次提及的可能等級類型
車輛、型號、製造商 2 hasProperty MANUFACTURER、MODEL、MODEL_YEAR
PERSON occupantOf 車輛、型號、製造商、年份 1，汽車零件、結構
人、汽車零件、結構、車輛、型號、製造商、型號年份 1 sufferedFrom ACCIDENT_OUTCOME
VEHICLE driveUnder CONDITION、ACCIDENT_CAUSE
PART_OF_CAR locatedOn 車輛、型號、製造商、型號_年份 1
ACCIDENT_OUTCOME outcomeOf INCIDENT
INCIDENT causedBy CONDITION、ACCIDENT_CAUSE (提醒：需要因果關係的文字證據)
INCIDENT impactPoint 被撞或牽涉在事故中的 PERSON、PART_OF_Car、STRUCTURE、VEVHICLE、MANUFACTURER、MODEL 或 MODEL_YEAR 1。

STRUCTURE 的 impactPoint 不包括僅指定不涉及該 STRUCTURE 的撞擊位置，因此它不適用於兩車在[十字路口]相撞的 STRUCTURE，但適用於撞上[堤防]的 STRUCTURE。

表格附註

  1. 表示法 VEHICLE/MODEL/MANUFACTURER/MODEL_YEAR 參照車輛的提及項目。 最後三個分別適用於有下列類似文字的案例："the Accord"、"the Honda"，或可能很少的 "the '99"。 四個實體類型依照優先順序排序，因此，在 "the driver of the '99 Honda Accord" 中，關係為駕駛員（作為 PERSON）occupantOf Accord（作為 MODEL），在此情況下，Accord 與 Honda 及 '99 都有 hasProperty 關係。
  2. 只有在 MODEL 及 MANUFACTURER 顯示為名詞（參照車輛）時，才能作為 hasProperty 的第一個引數。 MODEL 可以與 MANUFACTURER 及 MODEL_YEAR 有 hasProperty 關係，就像 "the '99 Honda Accord drove" 一樣。 MANUFACTURER 只能與 MODEL_YEAR 有 hasProperty 關係，就像 "the '99 Honda drove" 一樣。