Rechercher des paramètres

Utilisez les paramètres de recherche pour rechercher votre collection, identifier un ensemble de résultats et analyser l'ensemble de résultats.

L' ensemble des résultats est le groupe de documents identifiés par les recherches combinées des paramètres de recherche. L'ensemble de résultats peut être beaucoup plus important que les résultats renvoyés. Si une requête vide est soumise, l'ensemble des résultats est égal à tous les documents de la collection.

Les documents auxquels vous ne disposez pas des droits d'accès ne sont pas renvoyés dans les résultats de requête.

Recherche de réponse

IBM Cloud Le paramètre find_answers est pris en charge uniquement dans les déploiements gérés.

Par défaut, Discovery fournit des réponses en renvoyant l'intégralité du passage contenant la réponse à une requête en langage naturel. Lorsque la fonction de recherche de réponse est activée, Discovery fournit également une "réponse courte" dans le passage et une cote de confiance pour indiquer si la "réponse courte" répond à la question qui est explicite ou implicite dans la requête utilisateur. Les applications qui utilisent la fonction de recherche de réponse peuvent afficher la réponse courte seule ou la mettre en évidence dans le contexte du passage complet. Pour la plupart des applications, il est préférable d'afficher la réponse courte dans le passage complet, car les réponses ont généralement plus de sens dans leur contexte.

La fonction de recherche de réponse se comporte comme suit:

Dans les exemples de passage qui suivent, les réponses courtes sont affichées en gras.

• Recherche des réponses. Il ne crée pas de réponses. La réponse doit faire partie du texte ; elle ne peut pas être déduite.

  "Quel a été le chiffre d'affaires d' IBMen 2022?" peut obtenir une réponse correcte si vous disposez d'un document qui indique quel a été le chiffre d'affaires d' IBMen 2022. Toutefois, si vous disposez d'un document qui énumère les recettes de IBM pour chaque trimestre de 2022, il ne les additionne pas et ne vous donne pas un total.

• Gère les synonymes et les variations lexicales si la réponse est disponible.

  • Exemple de question : "When did IBM purchase Red Hat?"
  • Passage : " IBM a conclu son acquisition de Red Hat pour 34 milliards de dollars en juillet 2019. "

• Combine des informations dans plusieurs phrases si elles sont rapprochées (dans un rayon d'environ 2 000 caractères).

  • Exemple de question : "When did IBM purchase Red Hat?"
  • Passage : " IBM a acquis Red Hat pour 34 milliards de dollars. The deal closed in July of 2019."

• Traite les questions implicites de la même manière que les questions explicites équivalentes.

  Exemples de questions:

  • company that developed the AS/400
  • What company developed the AS/400?

• Fonctionne bien avec les questions avec des réponses de phrase ou de clause plus longues.

  • Exemple de question : Comment retourner une crêpe ?
  • Passage : Pour obtenir une crêpe de qualité supérieure, il faut la retourner correctement. La meilleure façon de retourner une crêpe est de placer une spatule en dessous, de la soulever d'au moins 10 cm dans les airs et de faire pivoter rapidement la spatule de 180 degrés.

• Les réponses complètes à la plupart des questions commençant par "how" ou "why" ne sont données que par des plages de texte plus longues. La fonction de recherche de réponse ne renvoie pas un document entier comme réponse (et ne récapitule pas une réponse de longueur de document).

• Traite les questions par oui ou par non qui sont factuelles et dont la réponse est concise dans le texte

  • Exemple de question: Existe-t-il une bibliothèque dans Tombouctou
  • Passage: La bibliothèque principale de Tombouctou, officiellement appelée l'Institut Ahmed Baba des hautes études et recherches islamiques, est une maison au trésor qui contient plus de 20 000 manuscrits couvrant des siècles d'histoire du Mali.

• Traite les questions à réponses très courtes, telles que les noms et les dates, en particulier lorsque le type de réponse requis est explicite dans le texte.

• Traite les questions d'opinion, mais uniquement en trouvant une déclaration d'opinion ; il n'évalue pas la validité de l'opinion.

  • Exemple de question : Devrais-je essayer un fard à paupières bleu ?
  • Passage : Nous pensons que le fard à paupières bleu est tendance cette année.

POST /v2/projects/{project_id}/query{
  "natural_language_query": "Why did Nixon resign?",
  "passages": {
    "enabled": true, "find_answers":true
  }
}

{
  "matching_results": 74, "retrieval_details": { "document_retrieval_strategy": "untrained"},
  "results": [
    {
      "document_id": "63919442-7d5b-4cae-ab7e-56f58b1390fe",
      "result_metadata":{"collection_id": "collection_id1234","document_retrieval_source":"search","confidence": 0.78214},
      "metadata": {"parent_document_id": "63919442-7d5b-4cae-ab7e-56f58b1390fg"},
      "title": "Watergate scandal",
      "document_passages": [
        {
          "passage_text": "With his complicity in the cover-up made public and his political support completely eroded, Nixon resigned from office on August 9, 1974. It is believed that, had he not done so, he would have been impeached by the House and removed from office by a trial in the Senate.",
          "field": "text",
          "start_offset": 281,
          "end_offset": 553,
          "answers": [
            {
              "answer_text": "his complicity in the cover-up made public and his political support completely eroded",
              "start_offset": 286, "end_offset": 373, "confidence": 0.78214
            }
          ]
        }
      ]
}

natural_language_query

Utilisez une requête en langage naturel pour entrer des requêtes qui sont exprimées en langage naturel, comme celles qui peuvent être reçues d'un utilisateur dans une interface conversationnelle ou de texte libre, telle qu' IBM Watson Assistant. Le paramètre utilise toute l'entrée comme texte de requête. Il ne reconnaît pas les opérateurs.

La longueur maximale de chaîne de requête pour une requête en langage naturel est de 2048.

query

Une recherche exécutée à l'aide d'un paramètre de requête renvoie tous les documents de votre ensemble de données avec des enrichissements complets et un texte intégral par ordre de pertinence. Une requête exclut également les documents qui ne mentionnent pas le contenu de la requête.

aggregation

Les requêtes d'agrégation renvoient un nombre de documents qui correspondent à un ensemble de valeurs de données. Pour obtenir la liste complète des options d'agrégation, voir Agrégation de requêtes.

filter

Requête pouvant être mise en cache qui exclut les documents qui ne mentionnent pas le contenu de la requête. Les résultats d'une recherche exécutée à l'aide d'un paramètre de filtre ne sont pas renvoyés par ordre de pertinence.

Lorsque vous écrivez une requête qui comprend à la fois un paramètre filter, et un paramètre aggregation, query, ou natural_language_query, le paramètre filter est exécuté en premier, puis tous les paramètres aggregation, query, ou natural_language_query sont exécutés en parallèle.

Avec une requête simple, en particulier sur un petit ensemble de données, les paramètres filter et query renvoient souvent les mêmes résultats (ou des résultats similaires). Si les appels filter et query renvoient des résultats similaires et que vous n'avez pas besoin de renvoyer les réponses par ordre de pertinence, utilisez le paramètre filter. Les appels de filtre sont plus rapides et sont mis en cache. La mise en cache signifie que la prochaine fois que vous ferez le même appel, vous obtiendrez une réponse beaucoup plus rapide, en particulier dans le cas d'un ensemble de données volumineuses.

Paramètres de structure

Les paramètres de structure définissent le contenu et l'organisation des documents dans l'objet JSON renvoyé. Les paramètres de structure n'ont aucun impact sur les documents qui font partie de l'ensemble de résultats complet.

return

Liste des parties de la hiérarchie de documents à renvoyer, séparées par des virgules. Toutes les hiérarchies de documents sont des valeurs valables. Si ce paramètre est une liste vide, toutes les zones sont renvoyées.

count

Le nombre de documents que vous souhaitez renvoyer dans la réponse. La valeur par défaut est 10. Le maximum pour les valeurs count et offset spécifiées conjointement dans une requête est de 10000.

offset

Valeur d'index de la position du résultat de la recherche où commence l'ensemble de résultats à renvoyer. Si, par exemple, le nombre total de résultats renvoyés est 10, et si la valeur de décalage est 8, les deux derniers résultats sont renvoyés. La valeur par défaut est 0. La valeur maximale autorisée pour l'ensemble des count et offset dans une même requête est 10000.

spell correction

Dans les requêtes en langage naturel, vérifie si la requête soumise contient des termes mal orthographiés. La requête est traitée telle qu'elle est. Toutefois, les corrections probables apportées à la requête d'origine, le cas échéant, sont renvoyées dans la zone suggested_query de la réponse. Les suggestions ne sont pas utilisées automatiquement, mais votre application peut les utiliser.

sort

Une liste de champs du document, séparés par des virgules, sur lesquels le tri doit être effectué. Vous pouvez éventuellement spécifier un sens de tri en associant à la zone un préfixe - pour l'ordre décroissant ou un préfixe + pour l'ordre croissant. L'ordre croissant est le sens de tri par défaut.

highlight

Valeur booléenne qui indique si un objet highlight doit être inclus dans la sortie renvoyée. Lorsqu'elle est incluse, la mise en évidence renvoie des clés qui sont des noms de zone et des valeurs qui sont des tableaux. Les tableaux contiennent des segments de texte de correspondance de requête qui sont mis en évidence à l'aide de la balise de mise en évidence HTML (<em>).

Ce paramètre est ignoré si passages.enabled et passages.per_document sont true, auquel cas des passages sont renvoyés pour chaque document à la place des mises en évidence.

Actuellement, si la requête recherche un exact match d'une mention d'enrichissement, seules les correspondances en minuscules sont mises en évidence. Lorsque l'opérateur includes est utilisé, les correspondances en minuscules et en majuscules sont mises en évidence.

La sortie spécifie l'objet highlight après l'objet enriched_text, comme illustré dans l'exemple suivant :

curl -H "Authorization: Bearer {token}" \
'https://{hostname}/{instance_name}/v2/projects/{project_id}/collections/{collection_id}/query?version=2019-11-29&natural_language_query=Hybrid%20cloud%20companies&highlight=true'

Le format du JSON renvoyé est le suivant :

{
  "highlight": {
    "extracted_metadata.title": [
      "IBM to Acquire Sanovi Technologies to Expand Disaster Recovery Services for <em>Hybrid</em> <em>Cloud</em>"
    ],
    "enriched_text.concepts.text": [
      "Privately held <em>company</em>",
      "<em>Cloud</em> computing"
    ],
    "text": [
      " Sanovi Technologies, a privately held <em>company</em> that provides <em>hybrid</em> <em>cloud</em> recovery, <em>cloud</em> migration",
      "IBM to Acquire Sanovi Technologies to Expand Disaster Recovery Services for <em>Hybrid</em> <em>Cloud</em>\n\nPublished",
      " undergoing digital and <em>hybrid</em> <em>cloud</em> transformation.\n\nURL: http://www.ibm.com/press/us/en/pressrelease/50837.wss",
      " and business continuity software for enterprise data centers and <em>cloud</em> infrastructure. Adding"
    ],
    "enriched_text.categories.label": [
      "/business and industrial/<em>company</em>/bankruptcy"
    ],
    "enriched_text.entities.type": [
      "<em>Company</em>"
    ],
    "html": [
      " Technologies, a privately held <em>company</em> that provides <em>hybrid</em> <em>cloud</em>\n recovery, <em>cloud</em> migration and business",
      " Disaster Recovery Services for <em>Hybrid</em> <em>Cloud</em></title></head>\n<body>\n\n\n<p>Published: Thu, 27 Oct 2016 07:01",
      " digital and <em>hybrid</em> <em>cloud</em> transformation.</p>\n<p>URL: http://www.ibm.com/press/us/en/pressrelease/50837.wss</p>\n\n\n\n</body></html>",
      " continuity software for \nenterprise data centers and <em>cloud</em> infrastructure. Adding these \ncapabilities"
    ]
  }
}

passages

Un booléen qui spécifie si le service renvoie un ensemble des passages les plus pertinents des documents renvoyés par une requête utilisant le paramètre natural_language_query. Les passages sont générés par des algorithmes sophistiqués ( Watson ) qui déterminent les meilleurs passages de texte parmi tous les documents renvoyés par la requête. La valeur par défaut du paramètre varie en fonction de votre type de projet. Pour plus d'informations sur les valeurs par défaut, voir Paramètres de requête par défaut.

Discovery tente de restituer les passages qui commencent au début d'une phrase et s'arrêtent à la fin en utilisant la détection des limites de la phrase. Pour ce faire, il recherche d'abord des passages dont la longueur est approximativement celle spécifiée dans le paramètre passages.characters (pour la plupart des types de projet, la valeur par défaut est 200). Il développe ensuite chaque passage dans la limite du double de la longueur spécifiée afin de restituer des phrases complètes. Si votre paramètre passages.characters est court ou si les phrases de vos documents sont longues, il se peut qu'il n'y ait pas de limites de phrases suffisamment proches pour renvoyer la phrase complète sans dépasser le double de la longueur demandée. Dans ce cas, Discovery reste dans la limite de deux fois le paramètre passages.characters, de sorte que les passages renvoyés peuvent ne pas inclure la phrase entière et peuvent omettre le début, la fin ou les deux.

Comme les ajustements de limite de phrase augmentent la taille de passage, la longueur de passage moyenne peut augmenter. Si votre application dispose d'un espace limité à l'écran, vous pouvez définir une valeur plus petite pour passages.characters ou tronquer les passages renvoyés par Discovery. La détection des limites de phrase fonctionne pour toutes les langues prises en charge et utilise une logique spécifique aux langues.

Les passages sont regroupés avec chaque résultat de document et sont classés par pertinence de passage. L'inclusion de l'extraction de passage dans les requêtes augmente le temps de réponse car l'évaluation des passages prend plus de temps.

Vous pouvez ajuster les zones des documents pour l'extraction de passages à rechercher à l'aide du paramètre passages.fields.

Le paramètre passages renvoie les passages correspondants ( passage_text ), et les paramètres score, document_id, le nom du champ à partir duquel le passage a été extrait ( field ), et les caractères de début et de fin du texte du passage dans le champ ( start_offset et end_offset ), comme le montre l'exemple suivant.

 curl -H "Authorization: Bearer {token}" 'https://{hostname}/{instance_name}/v2/projects/{project_id}/collections/{collection_id}/query?version=2019-11-29&natural_language_query=Hybrid%20cloud%20companies&passages=true&passages.per_document=false'

Le JSON renvoyé par la requête a le format suivant :

  {
    "matching_results":2,
    "passages":[
      {
        "document_id":"ab7be56bcc9476493516b511169739f0",
        "passage_score":15.230205287402338,
        "passage_text":"a privately held company that provides hybrid cloud recovery, cloud migration and business continuity software for enterprise data centers and cloud infrastructure.",
        "start_offset":120,
        "end_offset":300,
        "field":"text"
      },
      {
        "passage_text":"Disaster Recovery Services for Hybrid Cloud</title></head>\n<body>\n\n\n<p>Published: Thu, 27 Oct 2016 07:01:21 GMT</p>\n",
        "passage_score":10.153470191601558,
        "document_id":"fbb5dcb4d8a6a29f572ebdeb6fbed20e",
        "start_offset":70,
        "end_offset":120,
        "field":"html"
      }
    ]
  }

similar

Recherche des documents similaires à ceux que vous identifiez comme présentant un intérêt pour vous. Pour trouver des documents similaires, Discovery identifie les 25 termes les plus pertinents du document d'origine, puis recherche les documents contenant des termes pertinents similaires.

Si similar.enabled a pour valeur true, vous devez spécifier la zone similar.document_ids pour inclure une liste séparée par des virgules des documents qui vous intéressent.

Dans les déploiements installés, la prise en charge de ce paramètre a été ajoutée avec l'édition 4.6.0.

table retrieval

Si la compréhension de table est activée dans votre collection, un natural_language_query recherche les tables dont le contenu ou le contexte correspond à une requête de recherche.

Exemple de requête :

 curl -H "Authorization: Bearer {token}" \
 'https://{hostname}/{instance_name}/v2/projects/{project_id}/collections/{collection_id}/query?version=2019-11-29&natural_language_query=interest%20appraised&table_results=true'

Le JSON renvoyé par la requête a le format suivant :

{
  "matching_results": 1,
  "session_token": "1_FDjAVkn9SW6oH9y5_9Ek3KsNFG",
  "results": [
    {}
  ]
  {
    "table_results": [
      {
        "table_id": "e883d3df1d45251121cd3d5aef86e4edc9658b21",
        "source_document_id": "c774c3df0c90255191cc0d4bb8b5e8edc6638d96",
        "collection_id": "collection_id",
        "table_html": "html snippet of the table info",
        "table_html_offset": 42500,
        "table": [
          {
            "location": {
              "begin": 42878,
              "end": 44757
          },
          "text": "Appraisal Premise Interest Appraised Date of Value Value Conclusion\nMarket Value \"As Is\" Fee Simple Estate January 12, 2016 $1,100,000\n",
          "section_title": {
            "location": {
              "begin": 42300,
              "end": 42323
            },
            "text": "MARKET VALUE CONCLUSION"
          },
          "title": {},
          "table_headers": [],
          "row_headers": [
            {
              "cell_id": "rowHeader-42878-42896",
              "location": {
                "begin": 42878,
                "end": 42896
              },
              "text": "Appraisal Premise",
              "text_normalized": "Appraisal Premise",
              "row_index_begin": 0,
              "row_index_end": 0,
              "column_index_begin": 0,
              "column_index_end": 0
            }
          ],
          "column_headers": [],
          "body_cells": [
            {
              "cell_id": "bodyCell-43410-43424",
              "location": {
                "begin": 43410,
                "end": 43424
              },
              "text": "Date of Value",
              "row_index_begin": 0,
              "row_index_end": 0,
              "column_index_begin": 2,
              "column_index_end": 2,
              "row_header_ids": [
                "rowHeader-42878-42896",
                "rowHeader-43145-43164"
              ],
              "row_header_texts": [
                "Appraisal Premise",
                "Interest Appraised"
              ],
              "row_header_texts_normalized": [
                "Appraisal Premise",
                "Interest Appraised"
              ],
              "column_header_ids": [],
              "column_header_texts": [],
              "column_header_texts_normalized": [],
              "attributes": []
            }
          ],
          "contexts": [
            {
              "location": {
                "begin": 44980,
                "end": 44996
              },
              "text": "Compiled by CBRE"
            }
          ],
          "key_value_pairs": []
        }
      ]
    }
  ]
}