開始前に

Discovery で学習させたいさまざまな文の例を含む文書を含むコレクションを検索または作成します。 センテンス分類子に学習させるには、センテンス・クラスの例にラベルを付ける必要があります。 コレクションに有効な例が含まれている場合にのみ、例にラベルを付けることができます。 定義するすべてのセンテンス・クラスの例として機能する、多数の異なるセンテンスを持つ文書を検索してください。

センテンス分類器の追加

文分類子を追加するには、以下の手順に従います

1. 文分類器を作成したいプロジェクトを開きます。

   プロジェクトには、分類するデータを代表する文書を含むコレクションが少なくとも 1 つ必要です。

2. 「改善とカスタマイズ (Improve and customize)」 ページの 「改善ツール (Improvement tools)」 パネルで、 「Teach domain concepts」 を展開し、 「Sentence classifiers」 をクリックします。

3. **「新規」**をクリックします。

4. 文の分類子名を追加し、オプションで説明を追加します。

   この名前は、モデル名、およびモデルの公開時に作成されるエンリッチメントの名前として使用されます。 この名前は、自分と他のユーザーがコレクションに適用できる 「エンリッチメント (Enrichments)」 ページにエンリッチメント名として表示されます。 また、センテンス・クラスが検出された文書の JSON 表現でモデル名としても表示されます。 名前は、指定した大文字とスペースで保管されます。

5. 分類するデータを代表する文書を含むコレクションを選択します。

6. コレクションから文書にラベルを付ける文書ビューに表示するフィールドを文書から選択します。

   • 「文書タイトル」 は、文書名としてページ・ヘッダーに表示されます。 extracted_metadata.filename フィールドに格納されているファイル名など、文書ごとに固有の値を持つフィールドを選択します。
   • 「Document body」 は、コンテンツ内の文の例にラベルを付ける場所です。 文書コンテンツの大部分を含むフィールド ( text フィールドなど) を選択します。

7. 「作成」 をクリックします。

選択したコレクションの文書が 「Label documents」 ビューに表示されます。 Discovery がこの文書やコレクション内の他の文書から認識する文クラスの出現箇所にラベルを付けます。

ページの本文にテキストが表示されない場合は、新しいセンテンス分類子を作成して最初からやり直してください。 今回は、 「文書本文」 フィールドの値を選択するときに、処理された文書の中からテキストを含むフィールドを必ず選択してください。

センテンス・クラスの定義

以下のステップを実行して、センテンス・クラスを定義します。

1. 「文クラスの追加」 をクリックします。

2. センテンス・クラス名とオプションの説明を追加します。

3. オプション: 文書内のセンテンス・クラスに使用する色を選択します。

   「ラベルの色」 パレットから色をクリックし、 「色の更新」 アイコンをクリックして、ある色から次の色にタブで移動できます。 カスタム・カラーを使用するには、その 16 進数のカラー・コード (#fff0f7) を指定します。

4. 「作成」 をクリックします。

5. このプロセスを繰り返して、分類器で分類するすべてのセンテンス・クラスを追加します。

   センテンス・クラスに何を追加すればよいか分からない場合は、最初にコレクション内の文書を確認するのに役立つ可能性があります。 内容を確認することにより、重要な意味を持つセンテンスを感じ取ることができ、そのようなセンテンスを分類するための論理的な方法を探すことができます。

文のラベル付け

「文書のラベル付け」 ビューで、コレクションから文書内の文を検索し、それらの文クラスを示すラベルを付けます。 ラベル付け中に、センテンス分類器は、ラベル付けの提案を示すためにバックグラウンドでモデルを自動的にトレーニングします。

ラベル付けの提案により、文書のラベル付けのプロセスが高速化されます。 文書を調べ、テキストの読み取りに時間を費やすのではなく、ラベル付けの提案により、関連する例を簡単に見つけてコンテキスト内で調べることができます。

文章にラベルを付けるには、以下の方法があります

• 手動ラベル付け。 詳しくは、 手動ラベル付け を参照してください。
• 文書内検索のラベル付け。 詳しくは、 文書内検索のラベル付け を参照してください。
• スマート・ラベル付け。 詳しくは、 スマート・ラベル付け を参照してください。

エンティティー抽出とは異なり、文分類子には、 「開始されていません」、 「進行中」、 「完了」 などの文書状況の概念はありません。 エンティティー抽出プログラムの場合、文書がトレーニングに使用されることを示すために、文書に 「完了」 のマークを付けます。 センテンス分類器の場合、トレーニングにはラベル付きセンテンスのみが使用され、各文書内のラベルなしデータは無視されます。

トレーニング・データへの文書の追加

さらに書類を追加するには、以下の手順に従ってください

1. 「文書のラベル付け」 ビューにナビゲートします。
2. 「文書リスト」 パネルで、 「文書の追加」 をクリックします。

このオプションは、文の分類子ワークスペースに追加する他の文書がコレクションにない場合には使用できません。 コレクションにさらに文書を追加するには、コレクションの 「アクティビティー」 ページにナビゲートし、 「データのアップロード」 タイルをクリックして、さらに文書を参照して追加します。

コレクションからさらに文書を追加した場合でも、すべての文書がモデルのトレーニングに使用されることもあれば、使用されないこともあります。 完成したすべての文書がトレーニングに使用されるエンティティー抽出プログラムとは異なり、センテンス分類子はトレーニングにラベル付きセンテンスのみを使用し、ラベルなしデータは無視されます。

ラベル付けのために 「文書リスト」 パネルに表示する文書をコレクションから選択することはできません。 特定のタイプの文書にラベルを付ける必要がある場合は、それらの文書のみを含む新しいコレクションを作成することを検討してください。

分類子のトレーニング

文書にラベルを付けた後、 「トレーニング分類器」 ビューでトレーニング・データを確認できます。 トレーニング・データは、センテンス分類器モデルをトレーニングするために使用されます。

分類器をトレーニングするには、以下の手順に従います

1. 「トレーニング分類器」 ビューにナビゲートします。

2. ラベル付けの要約を確認して、分類子をトレーニングするために十分なラベルが付けられているかどうかを確認します。

   分類子をトレーニングするには、各センテンス・クラスに少なくとも 20 の正のラベルと 2 つの負のラベルが必要です。 そうしないと、 「分類器のトレーニング」 ボタンが無効になり、トレーニングを開始できません。 正のラベルまたは負のラベルを持たないセンテンス・クラスは無視されます。

3. トレーニングに拡張オプションを適用するかどうかを確認します。 ほとんどのモデルでは、拡張オプションを変更する必要はありません。

   文はランダムにセットに分割されます。 トレーニング・セットは、分類子のトレーニングに使用されます。 テストセットは、学習後のモデルをテストするために使用されます。 ブラインド・セットには、トレーニング中には表示されない予約済みの文があります。 これらは、モデルの不偏評価を定期的に生成するために使用されます。 デフォルトの分割では、トレーニングに標準比率が使用されます。 詳しくは、 トレーニング用の文書セット を参照してください。

4. 「分類器のトレーニング」 をクリックします。

   分類器のトレーニング時に、 Discovery は、トレーニング・セットの文を使用して機械学習モデルを作成します。 テストの結果が表示され、 「分類器の評価」 ビューで確認できます。

分類器の評価

作成したセンテンス分類器モデルのテスト実行からのメトリックを確認するには、 「分類器の評価」 タブをクリックします。

以下の表では、利用可能な評価指標について説明します。

1. 分類モデルのテスト実行に関して提供されるメトリックを確認して、さらにトレーニングが必要かどうかを判別します。

2. 「テスト・セット内のトレーニング結果の確認 (Review training results in test set)」 をクリックして、テスト結果をさらに詳細に探索します。

   

   テスト・セットのセンテンスが表示され、左側のリストに実際のラベルと予測されたラベルが表示されます。 リスト内の文をクリックすると、その文が右ペインの文書ビューに表示されます。

   • 実際のラベルは、担当者が手動でラベルを付けた例です。 これらは正しいラベルと見なされます。
   • 予測ラベルは、センテンス分類器がセンテンス・クラスとして識別およびラベル付けした例です。

   モデルのパフォーマンスは、予測されたラベルが実際のラベルとどの程度一致しているかに基づいて評価されます。

3. リストをフィルタリングするには、 「フィルター」 アイコンをクリックし、 「センテンス・クラス」 と 「予測」 を選択してから、 「適用」 をクリックします。

パフォーマンスの内訳からのトレーニング結果の確認

パフォーマンスの内訳からトレーニング結果を確認するには、以下のステップを実行します。

1. 「センテンス・クラス別のパフォーマンス明細 (Performance breakdown by sentence class)」 テーブル内の数値をクリックします。

   「トレーニング結果の確認」 ダイアログ・ボックスが表示されます。

2. クリックした数に基づいて、関連する文を確認します。

エンリッチメントとしてのセンテンス分類器の公開

センテンス分類器の準備ができたら、センテンス分類器モデルを公開します。 改善を行う複数のテスト実行後にスコアが変わらない場合は、モデルの準備ができていると考えることができます。 モデルを公開した後に、更新およびリトレーニングに戻ることができます。

文分類器を公開するには、以下の手順に従います

1. 「分類器の評価」 ビューにナビゲートし、 「分類器の公開」 をクリックします。
2. 「公開」 をクリックします。
3. データを適用するをクリックします。
4. コレクションを選択し、センテンス分類器エンリッチメントを適用するテキスト・フィールドを選択します。
5. **「適用」**をクリックします。

センテンス分類器モデルのダウンロード

1 つのプロジェクトで作成してデプロイするセンテンス分類子モデルは、同じサービス・インスタンス内の任意のプロジェクトからコレクションに適用できるエンリッチメントとして使用できます。

別のサービス・インスタンスからのプロジェクトでセンテンス分類器モデルを使用する場合は、センテンス分類器モデルをエクスポートまたはダウンロードできます。 他の場所で使用するには、 インポートされた ML モデルを使用したカスタム項目の検索 の機械学習モデルを作成する手順に従います。 別のプロジェクトにインポートしたセンテンス分類器の編集を続行することはできません。

エクスポートする文の分類子は、完全にトレーニングされている必要があります。

文分類器をエクスポートするには、以下の手順に従います

1. エクスポートするセンテンス分類子を持つプロジェクトを開きます。

2. 「改善とカスタマイズ (Improve and customize)」 ページの 「改善ツール (Improvement tools)」 パネルで、 *「Teach domain concepts」*を展開し、 「Sentence classifiers」 をクリックします。

3. 「センテンス分類器」 リストから、エクスポートするセンテンス分類器を見つけます。

4. 分類器の 「アクション」 アイコンをクリックし、 「モデルのダウンロード」 を選択してモデルをシステムに保存します。

   「モデルのダウンロード」 オプションは、モデルがトレーニングされていない限り使用できません。

センテンス分類器モデルは .sc ファイルとして保存されます。 これを別のサービス・インスタンス内のプロジェクトに機械学習モデルとしてインポートし、コレクションに適用することができます。

センテンス分類子のラベル付きデータのダウンロード

センテンス分類器のラベル付きデータは、 Discoveryからダウンロードまたはエクスポートできます。 エクスポートされたラベル付きデータを使用して、 Watson Studio や Natural Language Processing (NLP) などのサービスで大規模な言語モデル (LLM) をトレーニングまたは作成できます。

ラベル付けされたデータをエクスポートするには、以下の手順に従います

1. 「改善とカスタマイズ (Improve and customize)」 ページの 「改善ツール (Improvement tools)」 パネルで、 *「Teach domain concepts」*を展開し、 「Sentence classifiers」 をクリックします。

2. ラベル付きデータのエクスポート元のセンテンス分類器で、 「アクション」 アイコンをクリックし、 「ラベル付きデータのダウンロード」 を選択します。

   ラベル付きデータを含む圧縮ファイルがダウンロードされます。 圧縮ファイルには、以下のJSONファイルが含まれています。

   • labeled_data.json: テキストとラベルが含まれます。 データ・フォーマットは、 Watson Natural Language Processing でのテキスト分類のための入力データ・フォーマットに基づいています。 詳しくは、 入力データ・フォーマットを参照してください。
   • metadata.json: ワークスペースおよびラベル付きデータのメタデータが含まれます。

$ cat labeled_data.json | jq -r '.[] | [.text, .labels[]] | @csv'

    "sentence1", class-label1, class-label2
    "sentence2", class-label3
    "sentence3", ...
    ...

センテンス分類器エンリッチメントの適用

センテンス分類子を公開するときに、センテンス分類子を適用するフィールドを指定します。

エンリッチメントを後で別のフィールドまたは複数のフィールドに適用するには、以下の手順を実行する：

1. ナビゲーション・パネルで、 「コレクションの管理」 をクリックします。

2. クリックして、エンリッチメントを適用するコレクションを開きます。

3. 「エンリッチメント」 をクリックします。

4. リストでセンテンス分類子名を見つけて、エンリッチメントを適用するフィールドを選択します。

   テキストまたは HTML のいずれかを含むフィールドを選択できます。

5. **「変更を適用して再処理 (Apply changes and reprocess)」**をクリックします。

センテンス分類器エンリッチメントをコレクションに適用する方法について詳しくは、 エンリッチメントの管理 を参照してください。

センテンス分類器の出力

エンリッチメントが文書内のいずれかのセンテンスを分類すると、文書の JSON 表現の enriched_text.element_classes セクションに項目が追加されます。 このセクションには、分類器モデルによって分類されたセンテンスと、それらのセンテンス・クラスが含まれています。

センテンス分類器では、信頼度スコアが 0.5より低いセンテンスは分類されません。

以下の JSON 出力は、センテンス分類の結果の例です。

*

To retain the score information for more than the most recent 5 training runs, you can export the metrics in comma-separated value format, and track the scores in a separate application. Click the tabular representation icon ![Tabular representation icon](images/table-of-contents.svg), and then click **Download as CSV**.
{: tip}

センテンス分類器の削除

センテンス分類子からパブリッシュされたエンリッチメントがコレクションに適用されていない場合など、使用されていないセンテンス分類子を削除できます。

例えば、プランで許可されているセンテンス分類子の最大数の制限に達した場合に、センテンス分類子を削除することができます。

センテンス分類子ワークスペースの最大数とセンテンス分類子エンリッチメントの最大数の 2 つの異なる制限があります。 「改善ツール」 パネルにナビゲートし、 *「Teach domain concepts」*を展開し、 「センテンス分類器」 をクリックしてから、 「新規」 ボタンをクリックして、センテンス分類器ワークスペースを作成します。 トレーニングされたセンテンス分類器を公開するか、センテンス分類器モデルをアップロードするときに、センテンス分類器エンリッチメントを作成します。 制限について詳しくは、 センテンス分類器の制限 を参照してください。

制限は、プロジェクトごとではなく、サービス・インスタンスごとに定義されることに注意してください。 現行プロジェクト内に最大数のセンテンス分類子がないが、新しいセンテンス分類子ワークスペースを作成したり、トレーニング済みのセンテンス分類子を公開したりできない場合は、同じサービス・インスタンス内の他のプロジェクトを確認してください。 削除可能な他のプロジェクトで使用されていないセンテンス分類ワークスペースまたはエンリッチメントがある可能性があります。

センテンス分類子のための API の使用

センテンス分類子 API はベータ機能です。

文書にセンテンス分類器エンリッチメントを適用するための API を使用できます。 API を使用して、センテンス分類器エンリッチメントを作成したり、エンリッチメントの更新や削除などのエンリッチメントを管理したりすることができます。

文型分類器のAPIを使うには、次のようにします：

1. API の create an enrichment メソッドを使用して、センテンス分類器エンリッチメントを作成します。

   エンリッチメントの作成について詳しくは、API リファレンスの エンリッチメントの作成 を参照してください。

   センテンス分類器エンリッチメントの作成時に、センテンス分類器モデルをトレーニングするためのラベル付きデータを指定する必要があります。 ラベル付きデータは、以下の CSV 形式でなければなりません。

   "sentence1", class-label1, class-label2
   "sentence2", class-label3
   "sentence3", ...
   ...
   

   各行は、センテンスの後に、そのセンテンスに関連付けられているゼロ個以上のセンテンス・クラス・ラベルのコンマ区切りリストが続くセンテンスです。

   ベスト・プラクティスとして、CSV ファイル内の各センテンス・クラス・ラベルは、適切な品質のセンテンス分類を実現するために、少なくとも 100 センテンスで表す必要があります。 センテンス・クラス・ラベルに関連付けられたセンテンスは、そのセンテンス・クラスの正の例と見なされます。 センテンス・クラス・ラベルに関連付けられていないセンテンスは、そのセンテンス・クラスの負の例と見なされます。

   センテンス分類器エンリッチメントが正常に作成されたら、 「コレクションの管理 (Manage collections)」 ページにナビゲートし、コレクションを選択してから、 「エンリッチメント (Enrichments)」 タブを開きます。 センテンス分類器エンリッチメントは、使用可能なエンリッチメントのリストにあります。

   センテンス分類器エンリッチメントの 「状況」 の準備ができたら、センテンス分類器エンリッチメントをコレクション内の文書に適用できます。

2. 作成したセンテンス分類器エンリッチメントを文書内のフィールド (テキストまたは HTML) に適用して、センテンスを分類します。 API を使用したエンリッチメントの適用と管理について詳しくは、 API を使用したエンリッチメントの管理 を参照してください。

センテンス分類器の制限

サービスインスタンスごとに作成できる文分類子の数は、 Discovery のプランタイプによって異なります。