汎用言語モデルについて

汎用言語モデルを使用するアシスタントは、開始点として複数の言語の共通言語特性と共通言語ルールのセットを適用します。 その後、ユーザーが追加したトレーニング・データから学習します。

汎用言語分類はアシスタントごとに 1 つの言語に適応できます。 これは、単一アシスタント内で複数言語をサポートするために使用することはできません。 ただし、あるアシスタントでは、ある言語 (ロシア語など) をサポートし、別のアシスタントでは、別の言語 (ヒンディ語など) をサポートするように、汎用言語モデルを使用することは可能です。 重要なのは、ターゲット言語に十分なトレーニング例またはインテント・ユーザー例を追加して、その言語の固有の構文規則および文法規則についてモデルに学習させることです。

ユニバーサル言語モデルは、既存のモデルが不十分なほど独特であり、かつ、モデルが利用できない言語で会話を生成したい場合に利用します。

会話フローを設計するための通常のステップに従って、スキルでサポートする言語について汎用言語モデルを学習します。 これは、ユニバーサル・モデルが作成されるターゲット言語で作成されたトレーニング・データを追加することによって行われます。

汎用言語モデルでの機能サポートについて詳しくは、「サポートされる言語」を参照してください。

統合に関する考慮事項

統合については、以下のヒントに留意してください。

• Web チャット: Web チャットには、ターゲット言語を反映するようにカスタマイズできるハードコーディングされたストリングがいくつかあります。 詳しくは、 Web チャットでのグローバル・オーディエンスのサポート を参照してください。
• 電話との統合： ユニバーサル言語モデルを使用するアシスタントを展開する場合は、使用する言語を理解できるカスタムのSpeechサービス言語モデルに接続する必要があります。 サポートされる言語モデルについて詳しくは、 Speech to Text および Text to Speech の資料を参照してください。
• 検索統合: 単一言語を専門とするアシスタントを作成する場合は、必ずその言語で作成されたデータ・コレクションにそのアシスタントをつなげてください。 Discoveryでサポートされる言語について詳しくは、 言語サポートを参照してください。

サポートされる言語

IBM® watsonx™ Assistant 言語ごとに、個々の機能に対するサポートの度合いが異なります。 次の言語での会話をサポートするために特別に設計された分類モデルがあります

• watsonx Assistant が対応していない言語（ロシア語など）での会話に対応したい場合は、ユニバーサルを使用してください。

アシスタント言語の変更

アシスタントの作成後は、その言語を変更できません。

アクセント付き文字の処理

会話の場面では、 watsonx Assistant サービスでユーザーがアクセントを使用するかどうかは、場合によります。 このため、インテント検出とエンティティー認識で、アクセントありとアクセントなしの両方のバージョンの単語が同じものとして処理されることがあります。

ただし、スペイン語などの一部の言語では、一部のアクセントによってエンティティーの意味が変更される可能性があります。 　このため、エンティティーの検出では、元のエンティティーに暗黙的にアクセントがある場合でも、アシスタントは同じエンティティーのアクセントなしのバージョンに一致させることができます。ただし、信頼度スコアは少し低くなります。

例えば、アクセントありの「barrió」という単語は動詞「barrer」(拭く) の過去形に相当しますが、アシスタントは「barrio」(近所) という単語にも一致させることができます。ただし、信頼度は少し低くなります。

このシステムは、完全一致したエンティティに最高の信頼スコアを提供します。 例えば、 barrió がトレーニングセットに含まれている場合、 barrio は検出されません。また、 barrio がトレーニングセットに含まれている場合、 barrió は検出されません。

システムのトレーニングには、正しい文字とアクセントを使用する必要があります。 例えば、 barrió を応答として期待している場合は、 barrió をトレーニングセットに入力します。

アクセント記号ではありませんが、スペイン語の文字 ñ と n を使用する単語にも同じことが当てはまります。例えば、「uña」と「una」などです。 この場合、 ñ という文字は、アクセント付きの n ではなく、スペイン語独自の文字です。

翻訳のためのマルチリンガル・ダウンロードの使用

CSV 形式の言語データ・ファイルのダウンロードを有効にして、トレーニング例とアシスタント応答を他の言語に翻訳し、他のアシスタントで使用することができます。

各 CSV ファイルには、機械翻訳サービスまたはヒューマン・トランスレーション・サービスで使用できる translatable_string データが含まれています。

各 CSV ファイルには、 watsonx Assistant が別のアシスタントでソース・アシスタントを再作成するために使用できる id、 resource_type、および locator のデータも含まれています。 この情報を編集する必要はありません。

多言語パッケージを正常にダウンロードするには、アシスタントのアクションスキルとダイアログスキルの翻訳エントリーの合計数が400000以下である必要があります。 データ分離プランと IBM® watsonx™ Assistant のオンプレミス環境では、エンタープライズで上限をより高い値に設定することができます。 高い値を設定すると、大規模なアシスタントをサポートするために追加のリソース割り当てが必要になります。

翻訳エントリーの制限値をより高い値に設定するには 、 IBM サポートセンター までお問い合わせください

マルチリンガル・プロセスの概要は以下のとおりです。

• マルチリンガル・ダウンロードを有効にする: ソース・アシスタントで、マルチリンガル・ダウンロードを有効にします。
• コンテンツの翻訳: 翻訳サービスで CSV ファイルを使用します。
• 言語固有のアシスタントへのアップロード: 別の言語の宛先アシスタントで、CSV ファイルを使用して、翻訳されたトレーニングと応答をアップロードします。

コンテンツ言語サポート

これらの言語は、アクション、ダイアログ、および検索統合のコンテンツでサポートされます。

コンテンツ・サポートの詳細

言語	アクション	ダイアログ	検索統合
英語 (en)
アラビア語 (ar)
中国語 (簡体字) (zh-cn)
中国語（繁体字）（ zh-tw ）
チェコ語 (cs)
オランダ語 (nl)
フランス語 (fr)
ドイツ語 (de)
イタリア語 (it)
日本語 (ja)
韓国語 (ko)
ポルトガル語（ブラジル） ( pt-br )
スペイン語 (es)
ユニバーサル ( xx )

watsonx Assistant サービスは、前述のように複数の言語をサポートしますが、ユーザー・インターフェース自体 (説明やラベルなど) は英語です。 サポートされるすべての言語は、英語のインターフェースを通じて入力してトレーニングできます。

GB18030 準拠: GB18030 は、中国語市場で使用される拡張コード・ページを指定した中国語規格です。 このコードページ規格はソフトウェア業界にとって重要です。なぜなら、中国国家情報技術標準化技術委員会は、2001年9月1日以降に中国市場向けにリリースされるソフトウェアアプリケーションはすべて、 GB18030 に対応させることを義務付けているからです。 watsonx Assistant サービスはこのエンコードをサポートしており、GB18030 に準拠していることが認定されています。

ダイアログ言語サポート

これらのダイアログ機能の場合、言語サポートは言語によって異なります。

• インテント機能のサポート
• ユーザー入力処理サポート
• エンティティー機能のサポート

インテント機能のサポート

インテント機能のサポート詳細

言語	コンテンツ・カタログ	Algorithm バージョン
英語 (en)
アラビア語 (ar)	( Covid-19を除く)
中国語 (簡体字) (zh-cn)
中国語（繁体字）（ zh-tw ）
チェコ語 (cs)
オランダ語 (nl)
フランス語 (fr)
ドイツ語 (de)	( Covid-19を除く)
イタリア語 (it)	( Covid-19を除く)
日本語 (ja)	( Covid-19を除く)
韓国語 (ko)
ポルトガル語（ブラジル） ( pt-br )
スペイン語 (es)
ユニバーサル ( xx )

ユーザー入力処理サポート

ユーザー入力処理のサポート詳細

言語	辞書ベースのエンティティー・サポート	ファジー・マッチング(ミススペル)	ファジー・マッチング(ステミング)	ファジー・マッチング(部分一致)	自動修正
英語 (en)
アラビア語 (ar)
中国語 (簡体字) (zh-cn)
中国語（繁体字）（ zh-tw ）
チェコ語 (cs)
オランダ語 (nl)
フランス語 (fr)					ベータ
ドイツ語 (de)
イタリア語 (it)
日本語 (ja)
韓国語 (ko)
ポルトガル語（ブラジル） ( pt-br )
スペイン語 (es)
ユニバーサル ( xx )

エンティティー・フィーチャー・サポート

エンティティー機能のサポート詳細

言語	コンテキスト・エンティティー	システム・エンティティー
英語 (en)
アラビア語 (ar)
中国語 (簡体字) (zh-cn)
中国語（繁体字）（ zh-tw ）
チェコ語 (cs)
オランダ語 (nl)
フランス語 (fr)	ベータ
ドイツ語 (de)
イタリア語 (it)
日本語 (ja)
韓国語 (ko)
ポルトガル語（ブラジル） ( pt-br )
スペイン語 (es)
ユニバーサル ( xx )