修正方法の説明

• 辞書を追加する

  1 つの辞書には、ある 1 つのエンティティー・タイプの表層形の例が含まれます。 トレーニング統計情報で、トレーニング・データに当該タイプのアノテーションがあまり出現しないことが示されている場合、新しい辞書を追加するか、または、既存の辞書に項目をさらに追加することが必要であると考えられます。 当該エンティティー・タイプが対象分野にとって重要であり、頻繁に出現することが分かっている場合、この脱落は、そのタイプと関連付けられた表層形が、トレーニング・データ内に存在する が、機械学習モデルによって認識されていないことを示している可能性があります。 もっと多くの表層形の例を提供することがこの問題が解決に役立つことがあります。

• 文書セットを編集する

  総合的なトレーニング・データが十分にあることを確認してください。 機械学習モデルは、学習するために十分なコンテンツを必要とします。 約30万語を提供することを目標としています。 （単語数を確認するために、ソース文書に対して単語数ツールを実行できます。） トレーニング・セットが小さすぎる場合、コーパスに文書を追加してください。 重要な各エンティティー・タイプまたは関係を訓練するために少数の文書を用意するだけでは不十分です。そういったタイプが対象分野の典型的な文献でどのように使用されているのかを説明する多数の文書があるようにしてください。

  • テストとトレーニングに使用されているのが、似たような文書の取り合わせであることを確認してください。 例えば、あるデータ・ソースからの文書をテスト・データ・セットとして使用し、別のデータ・ソースからの文書をトレーニング・データ・セットとして使用することはしないでください。 データ・ソースが異なると、エンティティーおよび関係タイプの情報を表す方法がまったく異なる場合があります。 対象の業界の文献から入手可能な使用例の集合を最も包括的なものにするには、両方のデータ・セット内のすべてのデータ・ソースからの文書の組み合わせを使用するのが最良です。 テスト実行での全体的なパフォーマンス・スコアがトレーニング実行とは大きく異なっている場合、それぞれに使用されたデータ・セット間に不整合があることが原因である可能性があります。
  • フォーマットが正しくない文書に時間を浪費しないでください。 コーパスに追加するテキスト文書は UTF-8 形式でなければなりません。 文書を別の形式から変換して UTF-8 エンコード方式を使用するようにした場合は、発音符または文字正規化に関するその他の問題が発生することがあります。 このような誤った形式は、不正確なトークン表現につながる可能性があります。 同じメンションを表す単語トークンが文書間で異なっている場合、その例は弱くなり、機械学習に悪影響を及ぼします。

• タイプ固有の文書を追加する

  ある特定のタイプを含む文書の割合が低い場合、コーパスが完全には代表的でないことを意味している可能性があります。 機械学習モデルは、学習するために多くの例を必要とします。 さらに多くの文書をコーパスに追加することが役立つ可能性があります。 タイプ・システムおよび文書が本当に分野を代表するものであれば、ランダムに選択された文書にタイプの妥当なサブセットが含まれるはずです。 すべてのケースに当てはまるわけではありませんが、この状態は、タイプ・システムと、コーパス内の文書の質を調査したほうがいいというシグナルです。 スコアの期待値が下回るタイプをもっと適切に表す分野文書をさらに見つけることが必要かもしれません。 低いリコールは、多くの場合、さらに文書を追加する必要があることを示しています。

• コーパスにさらにアノテーションを付ける

  機械学習モデルが特定タイプのインスタンスを見つけるのに問題がある場合、それらのタイプの使用例がグランド・トゥルースに十分に含まれていないことが原因である可能性があります。 ヒューマン・アノテーターがエンティティー・タイプ・メンションのラベル付けを徹底して行う一方、関係タイプおよび照応のアノテーション付けにはそれほど熱心でないことがあります。 コーパス密度のパーセンテージが低い主要なタイプがある場合、ソース文書内でそれらのタイプのアノテーションをもっと見つけることに集中する必要があるかもしれません。 ただし、メンションの正確度が足りなくても、照応および関係の正確度について過度に心配する必要はありません。 エンティティー間の関係メンションと、エンティティーの照応は、まずエンティティー・メンションが正確でなければ、正確であることはできません。

• ヒューマン・アノテーションを修正する

  トレーニング・データに整合性があり、完全にアノテーションが付けられているかどうかを確認してください。 機械学習モデルは、グランド・トゥルースのアノテーションから学習します。 例えば、センテンスに Obama family という句が含まれていて、あるセンテンスでは "Obama" に PERSON とラベル付けし、別のセンテンスでは "Obama family" に PEOPLE とラベル付けした場合、この不整合は、機械学習モデルが正しいアノテーションを学習できないことを意味します。 同様に、あるセンテンスで "Obama" に PERSON とラベル付けし、別のセンテンスではこの名前に何もラベル付けしない場合、アノテーション作業は不完全であり、機械学習モデルは正しくトレーニングされないことになります。 この種の不整合および部分的なラベル付けは、タイプ・コンフュージョン と呼ばれることもあります。 ほとんどの場合、重複する文書セットを複数のヒューマン・アノテーターにレビューしてもらうだけで、タイプ・コンフュージョンに関連して発生している誤りを明らかにすることができます。 文書の競合解決中に表面化する問題からは、タイプ・システム自体に関するより深い問題についての洞察が得られることがあるため、そういった問題には注意を払ってください。 タイプ・システムをさらに改善または詳細化する余地がない場合、アノテーション・ガイドラインを更新し、例を含めることが必要かもしれません。 よくある誤りを示したり、特定の状況下で適切にメンションにアノテーションを付ける方法を示したりできます。

  アノテーションの不整合を示す別の指標は、十分なアノテーションがあるが、コーパス密度が低い場合です。 ある重要なメンションが分野の文献に頻繁に出現するが、そのメンションに文書セット中でさまざまなタイプとしてアノテーションが付けられる場合、密度に影響する可能性があります。

  低い精度は、多くの場合、アノテーションの整合性を向上させる必要があることを示しています。 これを行うには、アノテーション・ガイドラインをレビューし、ヒューマン・アノテーターをもっと訓練し、ヒューマン・アノテーターたちが互いに独立して作業するのではなく協力して作業するようにします。

  アノテーター間合意スコアを確認してください。 このスコアは、同じ文書に対する異なるアノテーターの出力がどの程度一致しているのかを測定するものであり、貴重な数値です。 このスコアは、機械学習モデルのトレーニングに使用されるグランド・トゥルース文書の品質を示すだけでなく、機械学習モデルのパフォーマンスの上限も示します。 これらの文書でトレーニングされるモデルが、人間が達成できる最高の一致を上回る成果を達成できることはほとんどありません。 例えば、パフォーマンスが 75 でとどまったまま向上しない場合は、アノテーター間一致結果を調べてください。 アノテーター間合意スコアが 80 の場合、ヒューマン・アノテーターをもっとよく訓練するための処置を実施し、裁定中に競合が (アノテーション・ガイドラインに従って) 確実に正しく解決されるようにしてください。 何かにラベルをどのように付けるべきかについて複数の人たちで意見が一致しない場合、機械学習モデルが正しいラベルを適用する可能性はほとんどありません。

• ヒューマン・アノテーター・ガイドラインを改善する

  明解で包括的なアノテーター・ガイドラインは、調和的で成功したアノテーション開発を実現するのに欠かせないパーツです。 ヒューマン・アノテーターの仕事はかなり大変なものです。 エンティティー・タイプおよび関係タイプの割り当てでは、対象分野の文書に対する処理を始めるまでは予期するのが難しい微妙な意味合いがある場合があります。 ガイドラインは、ヒューマン・アノテーターが文書を評価する際に正当性を確認する手段になります。 ガイドラインは、特にアノテーション・プロセスの初期には、生きた文書として随時変更されるべきです。 ガイドラインは重要なフィードバック・ループを提供します。つまり、ヒューマン・アノテーターはいくつかの文書にアノテーションを付けている間に学んだことを取り込むことができ、次に、同じアノテーターまたは他のアノテーターがさらにいくつかの文書にアノテーションを付けるときに新しいヒントや気付きをガイドラインに追加でき、さらに同じように続いていきます。 決定が難しい場合の例とそれに対して推奨される解決策を必ず含めるようにしてください。 アノテーション・ガイドラインに何を追加する必要があるのかを判断する最良の方法は、文書の競合を慎重に検討することです。 実際の人々が合意しなかったアノテーションの実例、それらがどのように解決されたのかは、ヒューマン・アノテーターが新しい文書のアノテーション付けに取り組むときに大きな助けになります。

• タイプ・システムを更新する

  以下の理由で、タイプ・システムの更新が必要になることがあります。

  • トレーニング・データを構成する文書内に、対象分野における重要なタイプであるが、タイプ・システム内のどこにも表現されていない概念への参照がある。 これは、欠落している概念または関係をキャプチャーするタイプを追加する必要があるかもしれないことを示唆しています。 あるフィールドの概念のすべて、または、ある分野の文書に出現するエンティティーのすべてに対してタイプを定義しようとしないように注意してください。 最も基礎的なタイプのみにタイプ・システムを限定するべきです。

  • ヒューマン・アノテーターが一貫して誤用している既存のタイプがある。 ある特定のタイプで一貫して誤解が起こっている場合、それを名前変更するか、冗長な場合は削除する必要がある可能性があります。

  • 文書内でまったく参照されていないためにヒューマン・アノテーターによって使用されたことのない既存のタイプがある。 そのタイプがこの分野の文献でずっと使用されそうにない場合は、タイプ・システムから削除してください。

  • ヒューマン・アノテーターが文書にアノテーションを付けるときに、2 つのタイプがしばしば取り違えられる。 その 2 つのタイプを、概念または関係を正確に表現する 1 つのタイプに統合できないか検討してください。 例えば、タイプ・システムに、取り違えられることの多い PERSON と PEOPLE の両方が含まれている場合、別々の 2 つのタイプの代わりに、両方のケースをカバーする PERSONPEOPLE という名前の 1 つのタイプを使用することが最良であるかもしれません。

    タイプ・システムを更新するときには、注意してください。 古いタイプ・システムと関連付けられた文書セットをヒューマン・アノテーターが評価した後でタイプ・システムが更新されると、ヒューマン・アノテーターはそれらの文書セットの評価をやり直さなくてはなりません。 行う必要のある変更は、そういったやり直し作業に十分に見合うものであることを確認してください。

• さらに調査する

  タイプ・システム、辞書、およびソース文書がすべて揃っていて、ヒューマン・アノテーションも良好だが、機械学習モデルのパフォーマンスが良くないままの場合は、モデル・トレーニング・プロセスで何かが誤っていた可能性があります。 例えば、トレーニング・データでのテスト時には、全部のスコアが常に高い (95% を超える) 必要があります。

症状

F1 スコアの最高の値は 1、最悪の値は 0 である。 F1スコアが低いことは、精度が低いこととリコールが低いことの両方を示しています。 機械学習モデルは、誤ったアノテーションを生成し、検出するべきアノテーションを検出できていません。

原因

F1 スコアが低くなる理由はさまざまであり、対象分野、タイプ・システムの複雑さ、トレーニング文書の適切さ、ヒューマン・アノテーターのスキル、およびその他の要因によって異なります。

問題の解決

以下のステップのうち 1 つ以上を実行した後でモデルをリトレーニングすることによって、機械学習モデルのパフォーマンスを調整してください。

1. よく出現して正確度が低いタイプを特定します。

   関係を分析するときには、関係タイプ自体の F1 スコアと、その関係に参加する 2 つのエンティティーそれぞれの F1 スコアの両方を見てください。

2. よく混同されているタイプを特定します。 この情報を見つけるには、コンフュージョン・マトリックスの非対角にある数値を調べます。

3. 機械学習モデルの信頼性が高いところでの誤りをレビューします。

4. コンフュージョン・マトリックスのフォールス・ネガティブおよびフォールス・ポジティブのパターンを見つけます。

5. 特定のタイプがトレーニング・データに出現する頻度が低い場合、それらのタイプを含んでいるトレーニング・データを追加します。

   出現頻度は、そのタイプに関するパーセンテージ統計情報 (アノテーションの % 、コーパス密度の % 、および文書の % の 3 つ) を確認することによって判別できます。

6. 特定のタイプの F1 スコアが低い場合、それらのタイプに適用されるアノテーション・ガイドラインをレビューし、明確化します。

7. トレーニング・データに出現する頻度が低いタイプに関する辞書を追加します。

図1. 低いF1スコアの解決方法

症状

精度スコアは、1が最良値であり、0が最悪値です。 低い精度スコアは、機械学習モデルが誤った注釈を生成したことを示します。

原因

精度スコアが低くなる理由はさまざまであり、対象分野、タイプ・システムの複雑さ、トレーニング文書の適切さ、ヒューマン・アノテーターのスキル、およびその他の要因によって異なります。

問題の解決

以下のステップのうち 1 つ以上を実行してからモデルをリトレーニングすることによって、機械学習モデルのパフォーマンスを調整してください。

1. よく出現して精度が低いタイプを特定します。
2. よく混同されているタイプを特定します。 この情報を見つけるには、コンフュージョン・マトリックスの非対角にある数値を調べます。
3. 機械学習モデルの信頼性が高いところでの誤りをレビューします。
4. コンフュージョン・マトリックスのフォールス・ネガティブのパターンを見つけます。
5. 特定のタイプの精度スコアが低い場合、それらのタイプに適用されるアノテーション・ガイドラインをレビューし、明確化します。

図 2. 低精度スコアの解決方法

症状

リコール・スコアは、1が最良値であり、0が最悪値です。 低いリコール・スコアは、機械学習モデルが作成すべき注釈の作成に失敗したことを示します。

原因

リコール・スコアが低くなる理由はさまざまであり、対象分野、タイプ・システムの複雑さ、トレーニング文書の適切さ、ヒューマン・アノテーターのスキル、およびその他の要因によって異なります。

問題の解決

以下のステップのうち 1 つ以上を実行してからモデルをリトレーニングすることによって、機械学習モデルのパフォーマンスを調整してください。

1. よく出現してリコールが低いタイプを特定します。
2. よく混同されているタイプを特定します。 この情報を見つけるには、コンフュージョン・マトリックスの非対角にある数値を調べます。
3. 機械学習モデルの信頼性が高いところでの誤りをレビューします。
4. コンフュージョン・マトリックスのフォールス・ポジティブのパターンを見つけます。
5. 特定のタイプのリコール・スコアが低い場合、それらのタイプに適用されるアノテーション・ガイドラインをレビューし、明確化します。

図 3. 低いリコール・スコアの解決方法