汎用言語モデルについて

汎用言語モデルを使用するアシスタントは、開始点として複数の言語の共通言語特性と共通言語ルールのセットを適用します。 その後、ユーザーが追加したトレーニング・データから学習します。

汎用言語分類はアシスタントごとに 1 つの言語に適応できます。 これは、単一アシスタント内で複数言語をサポートするために使用することはできません。 ただし、あるアシスタントでは、ある言語 (ロシア語など) をサポートし、別のアシスタントでは、別の言語 (ヒンディ語など) をサポートするように、汎用言語モデルを使用することは可能です。 重要なのは、ターゲット言語に十分なトレーニング例またはインテント・ユーザー例を追加して、その言語の固有の構文規則および文法規則についてモデルに学習させることです。

ユニバーサル言語モデルは、モデルが利用できない言語で会話を作成したい場合、また、既存のモデルでは不十分なほどユニークな場合に使用します。

会話フローを設計するための通常のステップに従って、スキルでサポートする言語について汎用言語モデルを学習します。 これは、ユニバーサル・モデルが作成されるターゲット言語で作成されたトレーニング・データを追加することによって行われます。

汎用言語モデルでの機能サポートについて詳しくは、「サポートされる言語」を参照してください。

統合に関する考慮事項

統合については、以下のヒントに留意してください。

• Web チャット: Web チャットには、ターゲット言語を反映するようにカスタマイズできるハードコーディングされたストリングがいくつかあります。 詳しくは、 Web チャットでのグローバル・オーディエンスのサポート を参照してください。
• 電話の統合 ：ユニバーサル言語モデルを使用するアシスタントを導入したい場合は、使用している言語を理解できるカスタムSpeechサービス言語モデルに接続する必要があります。 サポートされる言語モデルについて詳しくは、 Speech to Text および Text to Speech の資料を参照してください。
• 検索統合: 単一言語を専門とするアシスタントを作成する場合は、必ずその言語で作成されたデータ・コレクションにそのアシスタントをつなげてください。 Discoveryでサポートされる言語について詳しくは、 言語サポートを参照してください。

サポートされる言語

IBM® watsonx™ Assistant は、言語ごとに程度の差はあれ、個々の機能をサポートしている。 以下の言語の会話をサポートするために特別に設計された分類モデルがある：

*ロシア語など、 watsonx Assistant に専用モデルがない言語での会話をサポートしたい場合は、Universal を使用します。

アシスタント言語の変更

アシスタントの作成後は、その言語を変更できません。

アクセント付き文字の処理

会話の場では、ユーザーは watsonx Assistant サービスでアクセントを使うかもしれないし、使わないかもしれない。 このため、インテント検出とエンティティー認識で、アクセントありとアクセントなしの両方のバージョンの単語が同じものとして処理されることがあります。

ただし、スペイン語などの一部の言語では、一部のアクセントによってエンティティーの意味が変更される可能性があります。 　このため、エンティティーの検出では、元のエンティティーに暗黙的にアクセントがある場合でも、アシスタントは同じエンティティーのアクセントなしのバージョンに一致させることができます。ただし、信頼度スコアは少し低くなります。

例えば、アクセントありの「barrió」という単語は動詞「barrer」(拭く) の過去形に相当しますが、アシスタントは「barrio」(近所) という単語にも一致させることができます。ただし、信頼度は少し低くなります。

このシステムは、完全一致するエンティティの信頼度スコアが最も高い。 例えば、 barrió がトレーニングセットに含まれている場合、 barrio は検出されない。また、 barrio がトレーニングセットに含まれている場合、 barrió は検出されない。

システムのトレーニングには、正しい文字とアクセントを使用する必要があります。 例えば、レスポンスとして barrió を期待しているなら、 barrió をトレーニングセットに入れる。

アクセント記号ではありませんが、「ウニャ」対「ウナ」のように、スペイン語の「 ñ 」対「 n 」を使用する単語にも同じことが当てはまります。 この場合、 ñ はアクセント付きの n ではなく、スペイン語固有の文字である。

翻訳のためのマルチリンガル・ダウンロードの使用

CSV 形式の言語データ・ファイルのダウンロードを有効にして、トレーニング例とアシスタント応答を他の言語に翻訳し、他のアシスタントで使用することができます。

各 CSV ファイルには、機械翻訳サービスまたはヒューマン・トランスレーション・サービスで使用できる translatable_string データが含まれています。

各 CSV ファイルには、 watsonx Assistant が別のアシスタントでソース・アシスタントを再作成するために使用できる id、 resource_type、および locator のデータも含まれています。 この情報を編集する必要はありません。

多言語パッケージをダウンロードする前に、 Understanding extension matchingを 参照してください。

多言語パッケージを正常にダウンロードするには、アシスタントのアクションスキルとダイアログスキルの翻訳エントリーの合計数が400000以下である必要があります。 データ分離プランと IBM® watsonx™ Assistant のオンプレミス環境では、エンタープライズで上限をより高い値に設定することができます。 高い値を設定すると、大規模なアシスタントをサポートするために追加のリソース割り当てが必要になります。

翻訳エントリーの制限値をより高い値に設定するには 、 IBM サポートセンター までお問い合わせください

マルチリンガル・プロセスの概要は以下のとおりです。

• マルチリンガル・ダウンロードを有効にする: ソース・アシスタントで、マルチリンガル・ダウンロードを有効にします。
• コンテンツの翻訳: 翻訳サービスで CSV ファイルを使用します。
• 言語固有のアシスタントへのアップロード: 別の言語の宛先アシスタントで、CSV ファイルを使用して、翻訳されたトレーニングと応答をアップロードします。

コンテンツ言語サポート

これらの言語は、アクション、ダイアログ、および検索統合のコンテンツでサポートされます。

コンテンツ・サポートの詳細

言語	アクション	ダイアログ	検索統合
英語 (en)
アラビア語 (ar)
中国語 (簡体字) (zh-cn)
中国語 (繁体字) (zh-tw)
チェコ語 (cs)
オランダ語 (nl)
フランス語 (fr)
ドイツ語 (de)
イタリア語 (it)
日本語 (ja)
韓国語 (ko)
ポルトガル語 (ブラジル) (pt-br)
スペイン語 (es)
ユニバーサル (xx)

watsonx Assistant サービスは前述のように多言語に対応しているが、ユーザーインターフェイス自体（説明やラベルなど）は英語である。 サポートされるすべての言語は、英語のインターフェースを通じて入力してトレーニングできます。

GB18030 準拠: GB18030 は、中国語市場で使用される拡張コード・ページを指定した中国語規格です。 中国国家情報技術標準化技術委員会は、2001年9月1日以降に中国市場向けにリリースされるソフトウェア・アプリケーションはすべて、 GB18030 に対応することを義務付けているため、このコードページ規格はソフトウェア業界にとって重要である。 watsonx Assistant サービスはこのエンコードをサポートしており、GB18030 に準拠していることが認定されています。

ダイアログ言語サポート

これらのダイアログ機能の場合、言語サポートは言語によって異なります。

• インテント機能のサポート
• ユーザー入力処理サポート
• エンティティー機能のサポート

インテント機能のサポート

インテント機能のサポート詳細

言語	コンテンツ・カタログ	Algorithm バージョン
英語 (en)
アラビア語 (ar)	( Covid-19を除く)
中国語 (簡体字) (zh-cn)
中国語 (繁体字) (zh-tw)
チェコ語 (cs)
オランダ語 (nl)
フランス語 (fr)
ドイツ語 (de)	( Covid-19を除く)
イタリア語 (it)	( Covid-19を除く)
日本語 (ja)	( Covid-19を除く)
韓国語 (ko)
ポルトガル語 (ブラジル) (pt-br)
スペイン語 (es)
ユニバーサル (xx)

ユーザー入力処理サポート

ユーザー入力処理のサポート詳細

言語	辞書ベースのエンティティー・サポート	ファジー・マッチング(ミススペル)	ファジー・マッチング(ステミング)	ファジー・マッチング(部分一致)	自動修正
英語 (en)
アラビア語 (ar)
中国語 (簡体字) (zh-cn)
中国語 (繁体字) (zh-tw)
チェコ語 (cs)
オランダ語 (nl)
フランス語 (fr)					ベータ
ドイツ語 (de)
イタリア語 (it)
日本語 (ja)
韓国語 (ko)
ポルトガル語 (ブラジル) (pt-br)
スペイン語 (es)
ユニバーサル (xx)

エンティティー・フィーチャー・サポート

エンティティー機能のサポート詳細

言語	コンテキスト・エンティティー	システム・エンティティー
英語 (en)
アラビア語 (ar)
中国語 (簡体字) (zh-cn)
中国語 (繁体字) (zh-tw)
チェコ語 (cs)
オランダ語 (nl)
フランス語 (fr)	ベータ
ドイツ語 (de)
イタリア語 (it)
日本語 (ja)
韓国語 (ko)
ポルトガル語 (ブラジル) (pt-br)
スペイン語 (es)
ユニバーサル (xx)