インポートされた ML モデルを使用してカスタム項目を検索
ルールまたはコンテキストを使用してエンティティーを認識し、タグ付けするカスタム Machine Learning モデルを使用します。
独自のタイプ・システムを定義するために使用できる IBM ツールを使用して作成した Machine Learning モデルを追加します。
追加できるモデルのタイプは、デプロイメントによって異なります。
-
IBM Cloud Pak for DataIBM Software Hub Watson Explorer Studio モデル、または のインスタンス( または でホストされている)で作成されたモデルを追加できます。 Content Analytics IBM Watson® Knowledge Studio IBM Cloud Pak® for Data IBM Cloud 4.6.2 リリースから、 Discovery の別のインスタンスで作成され、そこからエクスポートされたカスタムエンティティ抽出モデルを追加することもできます。
-
IBM Cloud IBM Cloud でホストされている IBM Watson® Knowledge Studio インスタンスで作成されたモデルのみを追加できます。
IBM Cloud Pak for Data上の Knowledge Studio で作成された Knowledge Studio モデルを使用するには、グランド・トゥルースを Knowledge Studioの IBM Cloud インスタンスにマイグレーションしてから、モデルをリトレーニングします。
以下の種類のモデルがサポートされています
- 定義されたルールに基づいて文書内のエンティティーを検索する、Knowledge Studio で作成したルール・ベースのモデル。 (ファイル形式: .pear)
- Knowledge Studio で作成された、お客様の業界特有の言語的なニュアンス、意味、関係性を理解する機械学習モデル(ファイル形式:.zip)
- Discoveryで作成およびエクスポートされるカスタム・エンティティー抽出プログラム。 (ファイル形式: .ent)
- Discoveryで作成およびエクスポートされる文分類器。 (ファイル・フォーマット: .sc)
- IBM Cloud Pak for DataIBM Software Hub Watson Explorer Studioで作成されたカスタムUIMAテキスト分析モデル。 Content Analytics (ファイル形式: .pear)
インストールされているデプロイメントから、 4.6.2 リリースでエンティティー抽出モデルをインポートするためのサポートが追加されました。
ディスカバリーでは、 Knowledge Studio モデルによって定義されているエンティティー・サブタイプを識別できません。
Machine Learning モデルを追加するには、以下の手順に従ってください
-
モデルを作成し、作成に使用するツールからエクスポートします。
詳しくは、以下の資料を参照してください。
-
Knowledge Studio for IBM Cloud Pak® for Data
-
Knowledge Studio for IBM Cloud
-
Watson Explorer Content Analytics Studio
Watson Explorer Content Analytics Studio からモデルを UIMA PEAR ファイルとしてエクスポートする必要があります。 詳しくは、 Lexical Analysis Streams で使用するためのカスタム PEAR ファイルの作成を参照してください。
-
-
「改善ツール」 パネルの 「各ドメインの概念 (Teach domain concepts)」 セクションで、 「機械学習モデルのインポート (Import machine learning models)」 をクリックします。
-
モデルの名前を指定してから、モデルの定義に使用された言語を選択します。
-
「アップロード」 をクリックして、前にエクスポートしたファイルを参照します。
-
「作成」 をクリックします。
-
モデルのエンリッチメントを適用するコレクションとフィールドを選択し、 「適用」 をクリックします。
モデルが大きすぎて製品のユーザー・インターフェースからアップロードできない場合は、API の 「エンリッチの作成」 メソッドを使用してファイルをインポートできます。
ルール・ベース・モデルの例
例えば、機械学習モデルがフィールドの強化策として適用されると、 Knowledge Studio ルールベースのモデルで指定されたそのフィールド内のすべてのエンティティタイプが抽出されます。 モデルが person、 surname、および job title などのエンティティー・タイプを認識する場合、それらは文書内で認識され、タグ付けされます。
出力では、 entities 配列内の enriched_{field_name} 配列の Machine Learning エンリッチメントによって抽出された情報。 この例では、エンリッチ用に選択されているフィールドは text です。
{
"enriched_text": [
{
"entities": [
{
"path": ".wksrule.entities.PERSON",
"text": "George Washington",
"type": "PERSON"
},
{
"path": ".wksrule.entities.GIVENNAME",
"text": "George",
"type": "GIVENNAME"
},
{
"path": ".wksrule.entities.SURNAME",
"text": "Washington",
"type": "SURNAME"
},
{
"path": ".wksrule.entities.POSITION",
"text": "politician",
"type": "POSITION"
},
{
"path": ".wksrule.entities.POSITION",
"text": "soldier",
"type": "POSITION"
},
{
"path": ".wksrule.entities.JOBTITLE",
"text": "President of the United States",
"type": "JOBTITLE"
}
],
"text": [
"George Washington (February 22, 1732‚ December 14, 1799) was an American politician and soldier who served as the first President of the United States from 1789 to 1797 and was one of the Founding Fathers of the United States."
]
}
]
}
結果として、誰かが API を使用 して Discovery 照会言語照会を送信し、 enriched_{field_name}.entities.type:jobtitle エンリッチメントのオカレンスを検索すると、個人の役職を説明するパッセージが返されます。
機械学習モデルの例
この例では、Machine Learning モデルは、 person、 oranization、 date などのエンティティー・タイプと、エンティティー間の関係に関する情報を抽出します。 このMLモデルがフィールドに適用されると、機械学習を使用して、文書内で言及されている言語的なニュアンス、意味、関係性を理解します。
出力では、 entities 配列および relations 配列内の enriched_{field_name} 配列の Machine Learning エンリッチメントによって抽出された情報。 この例では、エンリッチ用に選択されているフィールドは text です。
{
"enriched_text": [
{
"entities": [
{
"count": 1,
"text": "Democratic Party",
"type": "ORGANIZATION"
},
{
"count": 1,
"text": "March 15, 1767",
"type": "DATE"
},
{
"count": 1,
"text": "President",
"type": "POSITION"
},
{
"count": 1,
"text": "Andrew Jackson",
"type": "PERSON"
}
],
"relations": [
{
"sentence": "Andrew Jackson (March 15, 1767‚ June 8, 1845) was an American soldier and statesman who served as the seventh President of the United States from 1829 to 1837 and was the founder of the Democratic Party."
}
]
}
]
}
機械学習モデルの制限
サービスインスタンスごとに作成できる Machine Learning (ML)モデルの数は、 Discovery プランの種類によって異なります。
| プラン | サービス・インスタンスごとの ML モデル |
|---|---|
| Cloud Pak for Data | Unlimited |
| プレミアム | 10 |
| エンタープライズ | 10 |
| プラス (試用版を含む) | 3 |
各 Knowledge Studio 機械学習モデルについて、検出可能なエンティティーの最大数は 50 です。
拡張ルール・モデル
拡張ルール・モデルを追加して、 IBM Watson® Knowledge Studio の拡張ルール・エディターから作成およびエクスポートされたテキスト抽出モデルをコレクションに適用します。
適切な Knowledge Studio デプロイメントを使用してモデルを作成する必要があります。
-
IBM Cloud Pak for DataIBM Software Hub 以下の場所から作成およびエクスポートされたモデルを追加できます
- 4.5 リリースより前の IBM Cloud Pak® for Data デプロイメントでビルドされた IBM Watson® Knowledge Studio 。
- IBM Cloud でホストされている IBM Watson® Knowledge Studio
- センター・フォー・オープン・ソース・データ & AI Technologies のコントリビューターによって構築された NLP エディター
-
IBM Cloud IBM Cloud でホストされている IBM Watson® Knowledge Studio インスタンスで作成されたモデルのみを追加できます。
Knowledge Studio からの削除
Knowledge Studio でベータ版の Advanced Rules Editor を使用してモデルを作成するためのサポートが終了しました。 サポート終了日より前に Knowledge Studio からエクスポートされたルール・モデルは、引き続き Discoveryで使用できます。
サポート終了日は、デプロイメント・タイプによって異なります。
- IBM Cloud 2022 年 6 月 30 日
- IBM Cloud Pak for Data IBM Cloud Pak for Data release 4.5.1 on 3 August 2022.
IBM Cloud Knowledge Studio Advanced Rules Editor で生成されるモデルを使用する代わりに、パターン・エンリッチメントを追加 してルールを定義することができます。
既存のモデルの追加
拡張ルール・モデルを追加するには、以下のステップを実行します。
-
モデルを作成し、モデル・リソースを含む ZIP ファイルをエクスポートします。
モデルのエクスポート方法について詳しくは、ご使用のモデル・ソースの説明を参照してください。
-
「改善ツール」 パネルの 「Teach domain concepts」 セクションから、 「Advanced rules model」 を選択します。
-
「アップロード」 をクリックします。
-
モデルの名前を指定してから、モデルの定義に使用された言語を選択します。
-
結果フィールドの名前を指定します。これは、このエンリッチメントの出力が保管される索引内のフィールドです。
-
「アップロード」 をクリックして、前にエクスポートした ZIP ファイルを参照します。
-
「作成」 をクリックします。
-
モデルのエンリッチメントを適用するコレクションとフィールドを選択し、 「適用」 をクリックします。
高度なルールの出力フォーマット
Knowledge Studio は、アノテーション照会言語 (AQL) を使用して、拡張ルール・モデルでルールを定義します。 各モデルは、1 つ以上のビューによって定義されます。 各ビューは、複数のデータ・レコードを含むリレーショナル・データ構造です。 各レコードは、ビューのスキーマによって定義される列の値で構成されます。 カスタムであるためにさまざまなスキーマを持つこれらのモデルの表現を容易にするために、統一された JSON 出力スキーマが使用されます。
- 各 JSON オブジェクトは、アノテーション照会言語 (AQL) ビューを表します。
- JSON オブジェクト内の名前と値のペアは、ビュー内の属性の名前と値を表します。
- AQLビュー内のタプルは、ビュー内の各タプルに対応するJSONオブジェクトの配列として表現されます。
以下の表は、AQLデータタイプがJSON構文でどのように表現されるかを説明しています。
| AQL データ型 | JSON 構文 | JSON の例 |
|---|---|---|
| 整数 | 数値 | 5 |
| Float | 数値 | 4.13 |
| ブール | boolean | true |
| テキスト | ストリング | "some string" |
| スパン | {"text": String, "location": {"begin": Integer, "end": Integer}} という形式のオブジェクト |
{ "text": "Jane", location": {"begin": 5, "end": 9} } |
| 特殊なケース: NULL 値 | null | null |
| 整数のリスト | 数値の配列 | [ 1, 2, 3, 4, 5] |
| 浮動小数点のリスト | 数値の配列 | [ 4.13, 4.5 ] |
| ブール値のリスト | ブール値の配列 | [ true, true, false] |
| テキストのリスト | ストリング値の配列 | [ "some string", "another string" ] |
| スパンのリスト | {"text":String, "location": {"begin": Integer, "end": Integer}} の形式のオブジェクトの配列 |
[{ "text":"Jane", "location": {"begin": 5, "end": 9} }, { "text":"...", "location": {"begin": 15, "end": 40} }] |
| 特殊なケース: 空のリスト | エレメント数が 0 の配列 | [ ] |
拡張ルール・モデルの制限
サービスインスタンスごとに定義できる高度なルールモデルの数は、 Discovery のプランタイプによって異なります。
| プラン | サービス・インスタンスごとの拡張ルール・モデル |
|---|---|
| Cloud Pak for Data | Unlimited |
| プレミアム | 3 |
| エンタープライズ | 3 |
| プラス (試用版を含む) | 1 |