ダイアログ・スキルの向上

クラシック・エクスペリエンスのみ

この情報は、クラシック・エクスペリエンスのダイアログ・スキル分析に適用されます。 watsonx Assistantでの分析について詳しくは、 分析を使用したアシスタント全体の概要の確認 を参照してください。

アナリティクスページでは、ユーザーと配置されたアシスタントとの会話の履歴を確認できます。 この履歴を利用して、アシスタントがユーザーの要求を理解してそれらの要求に応える方法を改善できます。

このダイアログ・スキルを使用するアシスタントと顧客の間の個々のメッセージのリストを開くには、ナビゲーション・バーの**「ユーザーの会話 (User conversations)」**を選択します。

**「ユーザーの会話 (User conversations)」**ページを開くと、デフォルトの表示では、最後の日にアシスタントに送信された入力が最新の結果を先頭にしてリストされます。 該当メッセージで使用された上位インテント (#intent) と認識されたエンティティー (@entity) の値およびメッセージ・テキストが表示されます。 意図が認識されない場合、表示される値は 「無関係」 となります。 エンティティーが認識されない場合、または指定されなかった場合、表示される値は *「エンティティーが見つかりません」*です。

「ユーザーの会話 (User conversations)」ページには、顧客とアシスタントの間のメッセージの総数が表示されます。 メッセージとは、ユーザーがアシスタントに送信する単一の発話です。 会話は一般に複数のメッセージで構成されます。 したがって、**「ユーザーの会話 (User conversations)」ページの結果の数は、「概要」**ページに表示される会話の数とは異なります。

ログの制限

メッセージが保持される期間は、お客様のサービスプランによって異なります

ログの制限
プラン メッセージの保存
データ分離機能を備えたエンタープライズ 過去 90 日間
Enterprise 過去 30 日間
プレミアム (レガシー) 過去 90 日間
プラス 過去 30 日間
トライアル 過去 30 日間
ライト 過去 7 日間

メッセージのフィルタリング

メッセージは、「ユーザーのステートメントを検索 (Search user statements)」、「インテント (Intents)」、「エンティティー (Entities)」、および*「過去 n 日 (Last n days)」*でフィルタリングできます。

ユーザー・ステートメントの検索 (Search user statements)-検索バーに単語を入力してユーザーの入力を検索しますが、アシスタントの応答は検索しません。

インテント- メニューを選択し、入力フィールドにインテントを入力するか、表示されたリストから選択します。 複数のインテントを選択できます。選択したインテントのいずれかを使用して結果をフィルタリングします 。「無関係」 も選択肢に含まれます。

エンティティ- メニューを選択し、入力フィールドにエンティティ名を入力するか、表示されたリストから選択します。 エンティティーは複数選択できます。その場合、結果は、選択したエンティティーのいずれかによってフィルタリングされます。 意図とエンティティでフィルタリングすると、両方の値を持つメッセージが検索結果に含まれます。 また、結果を*「エンティティー不検出 (No entities found)」*でフィルタリングすることもできます。

それぞれのメッセージを表示する

ユーザー入力のエントリについては、 [会話を開く] をクリックすると、ユーザー入力とアシスタントがそれに対して行った応答を、会話全体の文脈の中で確認できます。

各会話に表示されている時間は、お使いのブラウザのタイムゾーンを反映しています。 同じ会話ログをAPIコールで確認した場合に表示されるタイムスタンプとは、この時間が異なる場合があります。APIログコールは常に協定世界時で表示されます。

次に、選択したメッセージに対して1つまたは複数の分類を表示するかどうかを選択できます。

スキルのスペル・チェック機能が有効になっている場合は、修正されたユーザー発話が自動修正アイコンで強調表示されます。 修正された用語には下線が引かれます。 下線の引かれた用語の上にカーソルを移動すると、ユーザーの元の入力が表示されます。

アシスタント間での改善

ダイアログ・スキルの作成は反復プロセスです。 スキルを向上させている間は 、「試してみる」パネルを使用して、テスト入力においてアシスタントが正しいインテントとエンティティを認識していることを確認し、必要に応じて修正を加えることができます。

「ユーザーの会話 (User conversations)」ページから、スキルをデプロイするために使用したアシスタントとユーザーの間の実際の対話を分析できます。 これらの対話に基づいて、修正を加えることで、インテントとエンティティーがダイアログ・スキルによって認識される精度を高めることができます。 ユーザー がどのような質問をするのか、どのようなランダムなメッセージを送信する可能性があるのかを正確に把握することは困難です。そのため、対話スキルを向上させるには、実際の会話を頻繁に分析することが重要です。

複数のアシスタントを含むインスタンスの場合、あるアシスタントのダイアログスキルからメッセージデータを使用して、同じインスタンス内の別のアシスタントが使用するダイアログスキルを改善することが有用である場合があります。

例えば、 HelpDeskという名前のインスタンスがあるとします。 HelpDesk インスタンスには、実動アシスタントと開発アシスタントの両方が含まれているとします。 開発アシスタントのダイアログスキルで作業を行う場合、生産アシスタントメッセージのログを使用して、開発アシスタントのダイアログスキルを向上させることができます。

プロダクションアシスタントに送信されたメッセージのデータを使用している場合でも、開発アシスタントのダイアログスキル内で編集した内容は、開発アシスタントのダイアログスキルにのみ影響します。

同様に、同一スキルの複数のバージョンを作成する場合は、1 つのバージョンのメッセージ・データを使用して、別のバージョンのトレーニング・データを改善することもできます。

他のサービス・インスタンスで作成されたアシスタントのログ・データにアクセスすることはできません。

データ・ソースの選別

データ・ソース という語は、お客様とアシスタントまたは (ダイアログ・スキルをデプロイするために使用された) カスタム・アプリケーションの間の会話を集めて作成されたログを指します。

「分析 (Analytics)」 ページを開くと、ユーザーと現在のダイアログ・スキルの対話によって生成されたメトリックが表示されます。 お客様が使用するために現在のスキルがデプロイされていない場合、メトリックは表示されません。

別のアシスタントまたはカスタムアプリケーションに追加されたダイアログスキルまたはスキルバージョンから、顧客とやり取りしたメッセージデータをメトリクスに追加するには、以下の手順を実行します

  1. **「データ・ソース (Data source)」**フィールドをクリックして、使用する可能性のあるログ・データが含まれたアシスタントのリストを表示します。

    このリストには、展開済みで、お客様がアクセス可能なアシスタントが含まれています。 また、他のデプロイメントのリストを表示することも選択できます。 その他のタイプのデプロイメントについて詳しくは、「デプロイメント ID の表示 (Show deployment IDs)」の説明を参照してください。

  2. データ・ソースを選択します。

選択したデータ・ソースの統計情報が表示されます。

リストにはスキルバージョンは含まれていないことに注意してください。 特定のスキル・バージョンに関連付けられたデータを取得するには、特定のスキル・バージョンがデプロイ済みアシスタントによって使用された時間フレームを知っている必要があります。 アシスタントをデータソースとして選択し、適切な日付でメトリクスをフィルタリングすると、スキルバージョンを使用している間のみにアシスタントによって生成されたログデータを確認できます。

*「デプロイメント ID の表示 (Show deployment IDs)」*の説明

古い v1 ランタイムAPIを使用するアプリケーションは、 /message APIを使用して送信する各メッセージにデプロイメントIDを指定する必要があります。 この ID によって、呼び出し元となったデプロイ済みアプリケーションが識別されます。 「分析 (Analytics)」ページでは、このデプロイメント ID を使用して、特定の実動アプリケーションに関連付けられたログを取得して表示できます。

v2 を使用するアシスタントまたはカスタムアプリの場合、 /message の呼び出しごとにアシスタントが自動的にアシスタントIDを含めるため、デプロイメントIDを使用せずに、アシスタント名でデータソースを選択することができます。

デプロイIDを追加するには、 v1 ユーザーは、 コンテキストのメタデータ内にデプロイプロパティを含めます。次の例を参照してください

"context" : {
  "metadata" : {
       "deployment": "HelpDesk-Production"
  }
}

データ分離計画を立てている企業の場合、 IBMにインスタンスの構成を依頼することで、異なるインスタンスにまたがるデプロイ済みアプリケーションのログデータにアクセスできるようになります。 各インスタンスv1 を使用し、 /message コールごとにデプロイメントIDを指定する必要があります。 (インスタンスが v2 の API を使用している場合、複数の異なるインスタンスのログ・データを取得することはできません。)

ログの共有を有効にした場合、現行インスタンスに対する管理者サービス・アクセス権限を持つユーザーのみがログを表示できます。　 このユーザーは、共有されているすべてのインスタンスのログを表示できます。 その現行ユーザーが他のインスタンスに対してどのサービス・レベルのアクセス権限を持っているかに関係なく、すべての参加インスタンスのログが表示されます。 同様に、インスタンスに対する管理者サービス・アクセス権限を持つユーザーが、v1 の /logs API エンドポイントに GET 要求を送信すると、そのユーザーが各インスタンスに対してどのサービス・レベルのアクセス権限を持っているかに関係なく、ログ共有に参加しているすべてのインスタンスのログが返されます。

トレーニング・データの改善

実ユーザーの会話から得られる洞察情報に基づいて、ダイアログ・スキルに関連付けられたモデルを修正します。

別のデータ・ソース内のデータを使用する場合は、モデルに加える改善は現在のダイアログ・スキルのみに適用されます。 データソースフィールドには、このダイアログスキルの向上に利用しているメッセージのソースが表示され、ページのヘッダーには、変更を加えるダイアログスキルが表示されます。

インテントの修正

  1. インテントを修正するには、「編集」アイコンをクリックします。

  2. 表示されたリストから、この入力に対して適切なインテントを選択します。

    • 入力フィールドに入力し始めると、インテントのリストがフィルタリングされます。
    • また、このメニューから**「不適当としてマークを付ける (Mark as irrelevant)」を選択することもできます (詳しくは、無視するトピックについてアシスタントに学習させるを参照してください)。 また、「インテントのトレーニングをしない (Do not train on intent)」**を選択して、このメッセージをトレーニングのサンプルとして保存しないようにすることもできます。

  3. **「保存」**を選択します。

    Watson Assistant サービスでは、ユーザー入力をそのまま例としてインテントに追加できます。 インテント・トレーニング・データで例として @entity 参照を使用しており、保存するユーザー・メッセージにトレーニング・データのエンティティー値や同義語が含まれている場合は、後でそのメッセージを編集する必要があります。 保存後に、「インテント (Intents)」ページからメッセージを編集して、参照するエンティティーを置き換えます。 詳細については、 インテントの例としての @Entity の直接参照を参照してください。

エンティティーの値またはシノニムを追加する

  1. エンティティの値または同義語を追加するには、選択したエンティティの編集アイコンをクリックします。

  2. **「エンティティーの追加 (Add entity)」**を選択します。

  3. 下線が引かれたユーザー入力から、単語またはフレーズを選択します。

  4. ハイライトされたフレーズが値として追加されるエンティティを選択します。

    • 入力フィールドに入力し始めると、エンティティーと値のリストがフィルタリングされます。
    • ハイライトされたフレーズを既存の値の同義語として追加するには、リストから @entity:value を選択します。

  5. **「保存」**を選択します。

無視するトピックについてアシスタントに学習させる

アシスタントが、あなたが設計した通りに、顧客からの質問や業務処理に集中できるようにすることが重要です。 実際の顧客との会話から収集した情報を使用して、アシスタントが対応しようとすることさえ避けたい事項を強調することができます。

詳しくは、無関係なものの定義を参照してください。