ラベル付けのヒント

始める前に、以下のヒントを確認してください。

• ラベルを付ける文書コレクションには、代表的な文書セットが含まれている必要があります。 文書には、エンティティー抽出に認識させるエンティティー・タイプのさまざまな例が多数含まれている必要があります。 エンティティー抽出の作成を開始したときに選択したコレクションが要件を満たしていない場合は、ここで停止して、別の文書コレクションでやり直してください。
• 明確に区別されるエンティティー・タイプを定義します。
• 各エンティティー・タイプの少なくとも 40 個の例にラベルを付けることを目的としています。
• エンティティー・タイプのすべての有効な例にラベルを付けます。 どのオカレンスもスキップしません。 プロセスを高速化するには、バルク・ラベル機能を使用します。

対象のラベル付けの例

定義したエンティティー・タイプの例を表す、文書内の用語にラベルを付けます。 1 つのドキュメントの処理が完了したら、ドキュメントの状況を 「進行中」 から *「完了」*に切り替えて、次のドキュメントに進みます。

エンティティー例にラベルを付けるには、以下のステップを実行します。

1. 文書のテキストを確認します。 ラベルを付ける対象の例を探します。

   以下の表にいくつかの例を示します。

   エンティティー・タイプと例

   エンティティー・タイプ	文書内のラベル付けの例
   color	白、緑、紫
   自動車	コンバーチブル、SUV、セダン
   自動モデル	エクスプローラー、シビック、ソレント
   自動メーカー	フォード (起亜自動車)
   clothing	シャツ、ブラウス、スコート
   計器	債券、株式、ETF、munis

   識別するエンティティー・タイプがまだ作成されていない場合は、そのエンティティー・タイプを追加します。 「エンティティー・タイプ」 パネルで、 「新規作成」 をクリックします。 エンティティー・タイプの追加について詳しくは、 エンティティー・タイプの定義 を参照してください。

2. 最初に、 「エンティティー・タイプ」 パネルからエンティティー・タイプをクリックします。

3. 文書本文で、エンティティーの例を表す単語または句を選択します。

   用語が選択され、用語に色ラベルが適用されます。 エンティティー・タイプ名の最初の 2 文字は、ラベル境界内に大文字の上付き文字で表示されます。 2 文字の ID とラベルの色の両方を使用して、例を表すエンティティー・タイプに関連付けることができます。

   

   この例のテキストは、 「エンティティー・タイプ」 パネルにも追加されます。 シェブロンをクリックして詳細を表示すると、例がリストされていることが分かります。 サンプル・テキストは、元のテキストで使用されている大文字化に関係なく、小文字で保存されます。

4. 一括ラベル付けが有効になっている場合、現在の文書で検出され、ラベル付けされた用語の出現回数を示す通知が表示されます。

5. コレクション内のすべての文書にある用語の出現箇所にラベルを付ける場合は、 「すべての文書に適用」 をクリックします。

   このオプションを有効にすると、コレクション内のすべての文書 (既にレビュー済みで完了のマークが付けられている文書を含む) で用語の出現箇所にラベルが付けられます。

   元に戻すことができないため、アクションの確認を求められます。 すべてのドキュメントに一括ラベル付けを適用することを選択するたびにアクションを確認する必要がない場合は、 「確認を要求しない (Do not ask for confirmation again)」 を選択します。 **「実行 (Run)」**をクリックします。

   

   詳しくは、 一括でのラベル付けの例 を参照してください。

6. 文書をスクロールして、抽出プログラムに認識させるすべてのエンティティー・タイプのすべての有効な例にラベルを付けます。

   エンティティーの例としてラベル付けする用語を検索できます。 詳しくは、 キーワードを使用した例の検索 を参照してください。

   機械学習モデルは、実行する用語としてラベル付けされていない用語からも同じように学習します。

   有効な例のラベル付けを怠ると、モデルは、その用語がそのコンテキストで使用されるときに、エンティティー・タイプの有効な言及ではないことを認識します。 場合によっては、省略することが適切です。 例えば、用語によっては、コンテキストによって異なる意味を持つものがあります。 間違ったコンテキストで使用されている用語にラベルを付けることは望ましくありません。 ただし、用語が正しいコンテキストで使用されていて、ラベルが付けられていない場合は、その用語を無視するようにモデルに教えることになります。 トレーニング・データに不整合があると、モデルの有効性が低下します。

   多数の例にラベルを付けると、エンティティー例の提案が表示されます。 エンティティーの例の提案を受け入れることも拒否することもできます。

   

   提案の例を受け入れることは、ラベル付けプロセスを高速化するもう 1 つの方法です。 詳しくは、 エンティティーの例の提案 を参照してください。 提案に同意した後、用語に一括ラベルを付けることができます。

7. 誤って誤った単語にラベルを付けたり、バルク・ラベル付けプロセスによって誤って単語にラベルを付けたりした場合は、そのラベルを削除できます。

   ラベル付きの単語の上にカーソルを移動して、 「この例を削除 (Delete this example)」 オプションが表示されたら、それをクリックします。 このメンションのみを削除するか、文書内のすべてのメンションを削除するかを選択できます。 選択を行い、 「削除」 をクリックします。

8. 現在の文書内のすべてのエンティティの例にラベルを付けた後、文書ステータスを [進行中] から [完了] に変更します。

   コレクションの別の文書が表示されます。

9. コレクション内の各文書内のエンティティー・タイプの例にラベルを付けます。

   ラベル付けプロセス中はいつでも、 「Save entity extractor」 をクリックして作業を保存できます。

10. 現在の文書セットに十分な数の例がない場合は、さらに文書を追加できます。

    「文書リスト」 パネルで、 「文書の追加」 をクリックします。 このオプションは、コレクション内でさらに多くの文書が使用可能な場合にのみ使用できます。 最大20件の書類を追加できます。 すべてのドキュメントの一括ラベル付けが有効になっている場合、ラベルは新しく追加されたドキュメントに自動的に適用されます。

11. コレクション内の必要な数の文書の例にラベルを付けた後、 「Save entity extractor」 をクリックし、 「Train extractor」 ページを開きます。

キーワードを使用した例の検索

検索機能を使用すると、文書内のエンティティー例を見つけ、それらに簡単にラベルを付けることができます。 また、検索を使用して、ラベル付けされた例とラベル付けされていない例を見つけ、ラベル付けの不整合を修正することもできます。

キーワードを使用して検索するには、以下のステップを実行します。

1. [文書にラベルを付ける] ビューで、 [検索] アイコンをクリックします。

2. 「 検索 」フィールドに、文書内で検索するキーワードを指定します。

   キーワードを入力すると、文書からの検索結果が表示されます。

   検索結果を参照するには、 「次の結果」 アイコンと 「前の結果」 アイコンをクリックします。 結果内のラベル付けされていない例のラベルを選択するには、 「ラベルの編集」 アイコンをクリックし、ラベルを選択します。 「ラベルの編集」 アイコンをクリックして、結果内の既にラベルが付けられている例からラベルを削除することもできます。

3. 検索結果をフィルタリングするには、 「フィルター・オプションの表示」 アイコンをクリックします。

   以下の表は、フィルターオプションについて説明しています。

   検索でのフィルター・オプション

   オプション	説明
   すべて	キーワードに一致する文書内のすべての例を検索します。
   ラベル付きテキスト	キーワードと一致する、文書内のラベル付きの既存の例を検索します。
   ラベルなしテキスト	キーワードと一致する文書内のラベルなしの例を検索します。
   大文字と小文字を区別	キーワードとその大/小文字の両方に一致する例を検索します。
   完全一致	キーワードのワード境界に一致する例を見つけます。 例えば、キーワードとして york を指定した場合、このオプションを選択すると、 yorktown は一致しません。

結果内のラベル付けされていない例については、ラベル提案を受け入れるか拒否することができます。

重複する例を解決するには、 「提案の確認」 をクリックし、 「重複するエンティティーの例の提案」 ダイアログ・ボックスからエンティティーの例の提案を選択します。

一括でのラベル付けの例

ほとんどのエンティティー例では、バルク・ラベル機能を有効にすると便利です。 異なるコンテキストで用語に複数の意味がある場合は、スキップすることをお勧めします。 その場合は、各オカレンスを個別に評価してください。 バルク・ラベル機能を有効にすると、自動的に追加されたラベルの正確度を確認し、必要に応じて文書の確認時に修正を行うことができます。

バルク・ラベル機能を有効にすると、現在の文書で見つかったエンティティー例の出現回数を示す通知が表示されます。 ラベル付けツールは、現在のページから他の文書にアクセスして、コレクションの他の文書に存在する出現回数を報告することができません。 ただし、メンション・カウントは 「エンティティー・タイプ」 パネルに表示されます。 最初に他の文書を開いたときに、メンション・カウントを調べて、自動的にラベル付けされたメンションの数を確認できます。

バルク・ラベル機能でオカレンスが欠落していましたか?

用語の出現箇所は、その用語が既にラベル付けされているのと同じ句に出現する場合はラベル付けされません。 例えば、次の文で用語の 2 番目の出現に対してバルク・ラベル機能がオンになっている場合、用語 husband の最初の出現にはラベルが付けられません。

エンティティーの例の提案

十分な数の例にラベルを付けると、推奨されるエンティティー・タイプの例が表示されます。 システムは、ラベル付けされた例のタイプから学習し、学習内容を適用して潜在的な新しい例を識別します。 例えば、 color エンティティー・タイプの例として red、 orange、 yellow、 green、および blue にラベルを付けた後、 「Example suggestions」 パネルに、ラベル付けの推奨例として indigo と violet が表示される場合があります。 候補は、エンティティー・タイプの多くの例にラベルを付けるまで表示されません。

以下の例は、ファミリー・メンバーのメンションに対して行われる提案を示しています。

一括ラベル付けの対象として選択した用語はラベル付けされず、代わりに提案として表示されることがあります。 以下の状況では、用語はスキップされます。

• この用語は、文書のさまざまなセクション内のさまざまな名詞句に出現する可能性があります。 例えば、 father という用語は、名詞句 the kindest *father* および to her *father* に出現する可能性があります。 形容詞のある名詞句に単語が含まれている場合、意味が変わる可能性があります。 そのため、そのような用語は、自動的にラベル付けされるのではなく、推奨されることがあります。
• 単語は、単独で、複数の単語による言及の一部として、有効な例である可能性があります。 たとえば、IBM という記述は、*International Business Machines, Corp.*という会社を指しているかもしれませんし、IBM Cloud Pak for Data のように製品名の一部として使われているかもしれません。 ただし、単語または句は 1 つの例にのみ含めることができます。 ラベルの例を重ね合わせることはできません。 したがって、どの提案例が最も正確であるかを選択する必要があります。 この例では、IBMという用語が製品名の一部として使われているので、Product エンティティ・タイプの例として完全なフレーズをラベル付けする方がより正確です。
• サービスは、1 つの用語が複数のエンティティー・タイプの可能な例であることを認識する場合があります。 例えば、 top という語は、 最良の ことを意味する場合と、 シャツを意味する場合があります。

提案をさらに調査するには、その提案をクリックして、文書内のコンテキスト内の単語を表示します。 コンテキスト内で用語を参照すると、その出現箇所がラベル付けのための有効なエンティティー例であるかどうかを判断するのに役立ちます。

エンティティー抽出のラベル付きデータのエクスポート

エンティティー抽出のラベル付きデータを Discoveryからエクスポートできます。 エクスポートされたラベル付きデータは、 Watson Studio や自然言語処理 (NLP) などのサービスでの大規模言語モデル (LLM) のトレーニングまたは構築に使用できます。

ラベル付けされたデータをエクスポートするには、以下の手順に従います

1. 「改善とカスタマイズ (Improve and customize)」 ページの 「改善ツール (Improvement tools)」 パネルで、 *「各ドメインの概念 (Teach domain concepts)」*を展開し、 *「エンティティーの抽出 (Extract entities)」*をクリックします。

2. ラベル付きデータのエクスポート元のエンティティー抽出について、 「アクション」 アイコンをクリックし、 「ラベル付きデータのダウンロード」 を選択します。

   ラベル付きデータを含む圧縮ファイルがダウンロードされます。 圧縮ファイルには、以下のJSONファイルが含まれています。

   • labeled_data.json: テキストとラベルを含みます。 データ・フォーマットは、 Watson Natural Language Processing でのエンティティー抽出の入力データ・フォーマットに基づいています。 詳しくは、 入力データ・フォーマットを参照してください。
   • metadata.json: ワークスペースのメタデータとラベル付きデータが含まれます。

トレーニングの問題のトラブルシューティング

考えられるエラー・メッセージとその対処方法について説明します。

トレーニング・データが大きすぎます

トレーニング・データに大容量のテキスト文書が含まれているか、データの処理に必要な多数のエンティティー・タイプおよびリソースが、サービス・インスタンスで使用可能なリソースよりも大きくなっています。 このエラーは、ワークスペースが文書化されたエンティティー抽出の制限を超えていない場合でも発生する可能性があります。 この問題を解決するには、以下のいずれかの方法をお試しください

• 1 つ以上のエンティティー・タイプを削除して、トレーニング・データのサイズを小さくします。
• トレーニング・データから余分な大きな文書を削除してください。 例えば、ラベル付き文書の 1 つが非常に大きい場合、その状況を 「完了」 から 「進行中」 に変更して、トレーニング・データから除外します。
• トレーニング・セットに含まれる文書の数を減らしてください。 トレーニング・データのデフォルトの分割率 (70 %-23 %-7%) では、トレーニング・セット内の文書の 70% が使用されます。 トレーニング・セットで使用される文書のパーセンテージを、より小さい数に変更できます。 例えば、分割率を 60 %-33 %-7% に変更できます。
• IBM Cloud Pak for DataIBM Software Hub サービスポッドをスケールアップすることで、デプロイ済みのサービスインスタンスの容量を増やします。

抽出プログラムの改善

以下の表に、一般的な問題に対する推奨される修正を示します。

トレーニング・データへの文書の追加

さらに書類を追加するには、以下の手順に従ってください

1. 「文書のラベル付け」 タブを開きます。

2. 「文書リスト」 パネルから、 「文書の追加」 を選択します。

   現在のコレクションからエンティティー抽出に追加できる文書が他にない場合、このボタンは無効になります。 コレクションにさらに文書を追加するには、コレクションの 「アクティビティー」 ページに移動して、 「データのアップロード」 タイルをクリックし、ファイルを参照して追加します。

ラベル付けの目的でコレクションから文書を選択して 文書リスト に表示することはできません。 ラベル付けする特定のタイプの文書がある場合は、エンティティー抽出プログラムの作成に使用できるコレクションに代表的な文書を追加することを検討してください。

トレーニング・データに含めることができる文書の数には制限があります。 ラベル付きのセクションとラベルなしのセクションの組み合わせを含む文書がトレーニング・データに含まれている場合、システムは、ラベルなしのセンテンスからいくつかの例をサンプリングする可能性があります。 サブサンプリングは、トレーニングに使用される正の例と負の例の数のバランスを取るのに役立ちます。 トレーニング・セット内の例のバランスを取ると、トレーニングのパフォーマンスが向上します。

エンティティー抽出の出力

エンリッチが文書内のカスタム・エンティティーの 1 つを認識すると、文書の JSON 表現の enriched_text.entities セクションに項目が追加されます。 このセクションには、カスタム・モデルによって認識されるエンティティーのオカレンスと、組み込みのエンティティー・エンリッチメントによって認識されるエンティティーが含まれます。 組み込みエンリッチメントは、 Watson NLP サービスを使用して、 Natural Language Understanding タイプ・システムの一部であるエンティティーを識別します。 組み込みエンティティー・エンリッチメントについて詳しくは、 エンティティー を参照してください。

以下の JSON 出力は、ファミリー・メンバーのメンションを認識する 文献 という名前のカスタム・モデルによって生成されます。

一定期間にわたるパフォーマンスのモニター

エンティティー抽出プログラム・モデルはいつでもリトレーニングできます。 モデルをトレーニングするたびに、パフォーマンス・メトリック・スコアを確認して、最新の変更によってモデルのスコアが増加または減少するかどうかを判別します。

1. テスト実行を別のテスト実行と比較するには、 「スコア履歴の表示」 をクリックします。

   履歴ビューには、過去 5 回のトレーニング実行が表示されます。

   最近の 5 回を超えるトレーニング実行のスコア情報を保持するには、メトリックをコンマ区切り値形式でエクスポートし、別のアプリケーションでスコアを追跡します。 表形式の表示アイコン をクリックし、 「CSV 形式でダウンロード」 をクリックします。

後続のトレーニング実行でスコアが低くなる場合は、そのバージョンのモデルを公開しないでください。