照会結果を簡潔にするための文書の分割

検索機能が照会結果で返すより簡潔な情報を見つけることができるように、文書を分割します。

文書を分割する利点について詳しくは、 Medium.comにある「 Using IBM Watson Discoverys New Document Segmentation Feature 」のブログ投稿を参照してください。

分割できるのは、ユーザーがトレーニングした Smart Document Understanding モデルが適用されている文書のみです。

文書を分割すると、元の文書はセグメントに分割されます。 各セグメントには、より均一な情報セットが含まれています。 文書内のコンテンツをセグメント化されたグループに分割することにより、より細分化されたレベルでデータのエンリッチと索引付けを行うことができます。

文書の分割方法を制御するには、改ページ・マーカーとして使用するフィールド ( subtitle や question など) を指定します。 改ページ・オプションには、ユーザーがトレーニングした Smart Document Understanding (SDU) モデルを文書に適用するときに作成されるフィールドが取り込まれます。 詳しくは、 Smart Document Understanding の使用 を参照してください。 事前トレーニングされた Smart Document Understanding モデルによって生成されたフィールドを使用して文書を分割することはできません。

文書が再処理されると、文書は最初から最後まで評価されます。 改ページ・マーカー・フィールドが発生するたびに、元の文書が分割され、新しいセグメントが作成されます。 分割は、元の文書が複数のセグメントに分割されるまで、各マーカー・フィールドで継続されます。

始める前に、改ページ・マーカーとして使用するフィールドを決定します。

• デフォルトで索引付けされている任意のフィールドを使用できます。 選択項目を確認するには、 「索引付けするフィールド」 リストを確認します。 Type 値を持つフィールドは、索引に保管されます。
• 文書あたりのセグメント数は 1,000 に制限されています。 セグメント番号 999 が作成されると、残りの文書コンテンツはセグメント 1,000 内に保管されます。
• PDF 文書および Microsoft Word 文書からのメタデータ、およびカスタム・メタデータが抽出され、各セグメントとともに索引に組み込まれます。

繰り返しセクションが含まれている文書 (各商品エントリーの説明と仕様のセクションがあるカタログなど) には注意してください。 細分度が高すぎるレベルで文書を分割すると、仕様の詳細が含まれているセクションなどのサブセクションと、その文書が属する製品との関連付けを解除できます。

コレクション内の文書を分割するには、以下の手順を実行します。

1. ナビゲーション・パネルから 「コレクションの管理」 をクリックし、コレクションをクリックして開きます。

2. 「フィールドの管理」 ページを開きます。

   識別されたフィールドのリストが表示されます。

3. 「ドキュメントを分割してクエリ結果を改善する 」セクションから 、「ドキュメントを分割」 をクリックします。

4. 「フィールドの選択」 ドロップダウンから、改ページ・マーカーとして使用するフィールドを選択します。

   選択できるリストには、識別されたすべてのフィールドのサブセットが含まれます。

5. **「変更を適用して再処理 (Apply changes and reprocess)」**をクリックします。

「アクティビティー」 ページから分割プロセスの状況を確認できます。

メタデータ・フィールドには、親文書 ID が含まれます。 元の文書の各結果セグメントには、異なる情報を含めることができます。 例えば、サブタイトル・フィールドに基づいて文書を分割した場合、最初のセグメントにはタイトル・フィールドのみが含まれます。 次のセグメントには、サブタイトルとテキスト・フィールドを含めることができます。 3 番目のフィールドには、サブタイトル・フィールド、テキスト・フィールド、およびフッター・フィールドが含まれる場合があります。