IBM Cloud Docs
Übersicht über die Analyse von Dialogskills

Übersicht über die Analyse von Dialogskills

Nur klassische Erfahrung

Diese Informationen gelten für die Analyse von Dialogskills in der klassischen Funktionalität. Weitere Informationen zu Analysen in watsonx Assistantfinden Sie unter Analyse verwenden, um den gesamten Assistenten auf einen Blick zu überprüfen.

Die Analytics-Übersichtsseite bietet eine Zusammenfassung der Interaktionen zwischen Benutzern und Ihrem Assistenten.

Analysen helfen Ihnen, Folgendes zu verstehen:

  • Wobei brauchen die Kunden derzeit Hilfe?
  • Ist Ihr Assistent mit den Kundenanforderungen vertraut?
  • Wie können Sie Ihren Assistenten verbessern?

Wählen Sie zum Anzeigen von Metrikdaten die Option Übersicht in der Navigationsleiste aus. Die Informationen in Analytics werden nicht sofort aktualisiert, nachdem ein Benutzer mit Ihrem Assistenten interagiert hat. Watson Assistant bereitet die Daten für Analytics im Hintergrund vor.

Nachdem die Zahlen in den Metriken größer als 3.000 sind, werden die Summen angenähert, um Leistungslags auf der Seite zu verhindern.

Scorecards

Die Scorecards bieten Ihnen eine Schnellansicht Ihrer Metriken. Blättern Sie nach unten, um vollständige interaktive Diagramme weiter unten auf der Seite anzuzeigen.

Zeigt die Scorecards an, die am Anfang der Analyseseite angezeigt werden
Scorecards

  • Dialoge insgesamt: Die Gesamtzahl der Dialoge zwischen aktiven Benutzern und Ihrem Assistenten, die im ausgewählten Zeitraum auftreten. Die Metrik für die Gesamtanzahl der Gespräche und die Seite "Benutzergespräche" enthalten nur Gespräche, an denen sowohl der Assistent als auch der Kunde teilnehmen. Gespräche, die nur Begrüßungsnachrichten des Assistenten oder nur Benutzernachrichten mit einer Länge von null enthalten, werden nicht berücksichtigt. Diese Metrik wird nicht für Abrechnungszwecke verwendet. Ein Austausch mit einem Benutzer wird erst als abrechnungsfähiger Dialog betrachtet, wenn der Kunde eine Nachricht abschickt.
  • Durchschnittliche Anzahl von Nachrichten pro Gespräch: Die Gesamtzahl der Nachrichten, die während des ausgewählten Zeitraums eingegangen sind, geteilt durch die Gesamtzahl der Gespräche während des ausgewählten Zeitraums, wie in der entsprechenden Grafik dargestellt.
  • Max. Dialoge: Die maximale Anzahl an Dialogen für einen einzelnen Datenpunkt innerhalb des ausgewählten Zeitraums.
  • Vermindertes Verständnis: Die Anzahl der Einzelnachrichten, bei denen das Verständnis vermindert war. Solche Nachrichten sind nicht durch eine Absicht klassifiziert und enthalten keine bekannten Entitäten. Die Prüfung nicht erkannter Nachrichten kann Ihnen bei der Ermittlung potenzieller Dialogprobleme helfen.

Diagramme und Statistiken

Detaillierte Diagramme liefern zusätzliche Informationen. Klicken Sie auf einen Datenpunkt in einem Diagramm, um weitere Details anzuzeigen.

Einzelner Datenpunkt
Datenpunkt

  • Containment: Die Anzahl von Dialogen, bei denen der Assistent die Kundenanfrage ohne Mitarbeitereingriff erfüllen kann.

    • Das Volumendiagramm zeigt die Gesamtzahl der Dialoge pro Tag und die Anzahl der Dialoge, die ohne und nicht ohne Mitarbeitereingriff durchgeführt wurden.
    • Das Trenddiagramm zeigt den Prozentsatz der täglichen Dialoge, die ohne Mitarbeitereingriff durchgeführt wurden. Dieses Diagramm gibt Ihnen Aufschluss darüber, ob der Assistent im Verlauf der Zeit in Bezug auf Dialog ohne Mitarbeitereingriff besser oder schlechter wird.

    Zeigt die beiden Einschlussmesswerte für Datenträger und Trend an
    Containment

    Die Metrik 'Containment' erfordert, dass Ihr Dialogmodul Anforderungen für externe Unterstützung markiert, wenn sie stattfinden. Weitere Informationen finden Sie unter Containment messen.

  • Abdeckung (Coverage): Die Anzahl der Dialoge, bei denen der Assistent ermittelt, dass er die Anforderung eines Kunden erfüllen kann.

    • Das Volumendiagramm zeigt die Gesamtzahl der Dialoge pro Tag sowie die Anzahl der Dialoge, die abgedeckt wurden (d. h. die Absichten in Ihrem Dialogmodul haben die Benutzeranfragen verstanden und konnten eine Lösung bereitstellen), und die Anzahl der Dialoge, die nicht abgedeckt wurden (d. h. die Eingabe entsprach keiner im Dialogmodul definierten Absicht und wurde stattdessen über den Knoten Anything else abgewickelt).
    • Das Trenddiagramm zeigt den Prozentsatz der täglichen Dialoge, die vom Assistenten abgedeckt wurden. Dieses Diagramm gibt Ihnen Aufschluss darüber, ob der Assistent im Verlauf der Zeit in Bezug auf die Abdeckung von Dialogen besser oder schlechter wird.

    Zeigt die beiden Abdeckungsmetriken für Volumen und Trend an
    Abdeckung

    Die Abdeckungsmetrik erfordert, dass Ihr Dialog einen Knoten "Alles andere" enthält. Weitere Informationen finden Sie unter Dialog ordnungsgemäß beenden.

    Die Einschluss-und Abdeckungsmetriken sind für Benutzer des Plus- oder Enterprise-Plans verfügbar.

  • Dialoge insgesamt: Die Gesamtzahl der Dialoge zwischen aktiven Benutzern und Ihrem Assistenten im ausgewählten Zeitraum. Diese Zahl zählt Gespräche, bei denen die Willkommensnachricht einem Benutzer angezeigt wird, auch wenn der Benutzer nicht antwortet.

  • Durchschnittliche Nachrichten pro Konversation – Die Gesamtzahl der Nachrichten, die während des ausgewählten Zeitraums eingegangen sind, geteilt durch die Gesamtzahl der Konversationen während des ausgewählten Zeitraums.

  • Nachrichten insgesamt: Die Gesamtzahl der empfangenen Nachrichten von aktiven Benutzern im ausgewählten Zeitraum.

  • Aktive Benutzer – Die Anzahl der einzelnen Benutzer, die innerhalb des ausgewählten Zeitraums mit Ihrem Assistenten interagiert haben.

  • Durchsch. Anzahl Dialoge pro Benutzer: Die Gesamtzahl der Dialoge, geteilt durch die Gesamtzahl der eindeutigen Benutzer im ausgewählten Zeitraum.

    Statistiken für Aktive Benutzer und Durchschnittliche Anzahl Dialoge pro Benutzer erfordern die Angabe eines eindeutigen Parameters user_id in den Nachrichten. Dieser Wert wird normalerweise von allen Integrationen angegeben, da er für Abrechnungszwecke verwendet wird. Weitere Informationen hierzu finden Sie im Abschnitt mit den Erläuterungen der benutzerbasierten Pläne.

Kontrollmechanismen

Mit den folgenden Steuerelementen können Sie die Daten filtern:

  • Steuerelement für Zeitraum: Mit diesem Steuerelement können Sie den Zeitraum festlegen, für den Daten angezeigt werden. Diese Steuerung wirkt sich auf alle Daten aus, die auf der Seite angezeigt werden: nicht nur auf die Anzahl der im Diagramm angezeigten Unterhaltungen, sondern auch auf die zusammen mit dem Diagramm angezeigten Statistiken und die Listen der wichtigsten Absichten und Entitäten.

    Die Statistikdaten können einen längeren Zeitraum abdecken als die Dauer, für die Protokolle der Dialoge aufbewahrt werden.

    Zeitraumsteuerung
    Zeitraumsteuerung

    Sie können auswählen, ob Daten für einen einzelnen Tag, eine Woche, einen Monat oder ein Quartal angezeigt werden sollen. In jedem Fall werden die Datenpunkte im Diagramm an einen passenden Messzeitraum angepasst. Wenn Sie beispielsweise ein Diagramm für einen Tag anzeigen, werden die Daten in Stundenwerten dargestellt. Wenn Sie jedoch ein Diagramm für eine Woche anzeigen, werden die Daten nach Tagen angezeigt. Eine Woche reicht von Sonntag bis Samstag.

    Zeitperioden können auch angepasst werden; Sie können also eine Woche definieren, die von Donnerstag bis zum folgenden Mittwoch reicht, oder einen Monat, der an einem anderen Datum als dem Monatsersten beginnt.

    Die für jedes Gespräch angezeigte Zeit spiegelt die Zeitzone Ihres Browsers wider. API-Protokollaufrufe werden jedoch immer in koordinierter Weltzeit angezeigt. Wenn Sie sich beispielsweise für eine Ansicht für einen einzelnen Tag entscheiden, kann die in der Visualisierung angezeigte Zeit von dem Zeitstempel abweichen, der im Protokoll für dieselbe Konversation angegeben ist.

    Zeitraumsteuerung
    Zeitraumsteuerung

  • Filter für Absichten und Entitäten – Verwenden Sie einen dieser Filter, um Daten für eine bestimmte Absicht oder Entität in Ihrer Fertigkeit anzuzeigen.

    Die Filter für Absichten und Entitäten werden aus den Absichten und Entitäten des Skills und nicht aus dem Inhalt der Datenquelle gefüllt. Wenn Sie eine Datenquelle ausgewählt eine andere als die Fertigkeit verwenden, wird in den Filteroptionen möglicherweise keine Absicht oder Entität aus den Protokollen Ihrer Datenquelle angezeigt, es sei denn, diese Absichten und Entitäten sind auch in der Fertigkeit enthalten.

  • Daten aktualisieren: Wählen Sie Daten aktualisieren aus, um die Daten zu aktualisieren, die in den Seitenmetriken verwendet werden.

    Die Statistiken zeigen jetzt Datenverkehr von Kunden an, die mit Ihrem Assistenten interagieren. Sie enthalten keine Interaktionen von der Anzeige Ausprobieren.

Häufigste Absichten und Entitäten

Sie können auch die Absichten und Entitäten anzeigen, die während des angegebenen Zeitraums am häufigsten erkannt wurden.

  • Häufigste Absichten: Absichten werden in einer einfachen Liste angezeigt. Sie können sehen, wie oft eine Absicht erkannt wurde. Sie können eine Absicht auswählen, um die Seite "Benutzerdialoge" mit einem Datumsbereich zu öffnen, der gefiltert ist, um mit den angezeigten Daten übereinzustimmen, und die Absicht, die gefiltert ist, um mit der ausgewählten Absicht übereinzustimmen.

  • Häufigste Entitäten: Die entsprechenden Entitäten werden ebenfalls in einer Liste angezeigt. Sie können eine Entität auswählen, um die Seite "Benutzerdialoge" mit dem Datumsbereich zu öffnen, der so gefiltert ist, dass er mit den angezeigten Daten übereinstimmt, und die Entität, die so gefiltert ist, dass sie mit der ausgewählten Entität übereinstimmt.

Der Abschnitt Skill optimieren enthält Tipps zum Bearbeiten von Absichten und Entitäten auf der Basis von Erkenntnissen, die Sie beim Überprüfen der vom Assistenten erkannten Absichten und Entitäten gewinnen.