Parametri di ricerca

Utilizzare i parametri di ricerca per ricercare nella propria raccolta, identificare una serie di risultati e analizzare la serie di risultati.

L' insieme dei risultati è il gruppo di documenti identificati dalla ricerca combinata dei parametri di ricerca. L'insieme dei risultati potrebbe essere significativamente più grande dei risultati restituiti. Se viene inviata una query vuota, l'insieme dei risultati è uguale a tutti i documenti della raccolta.

I documenti per i quali non si dispone delle autorizzazioni di accesso non vengono restituiti nei risultati della query.

Ricerca risposta

IBM Cloud Il parametro find_answers è supportata solo nelle distribuzioni gestite.

Per impostazione predefinita, Discovery fornisce le risposte restituendo l'intero passaggio che contiene la risposta a una query in linguaggio naturale. Quando la funzione di ricerca della risposta è attivata, Discovery fornisce anche una "risposta breve" all'interno del passaggio e un punteggio di affidabilità per mostrare se la "risposta breve" risponde alla domanda esplicita o implicita nella query utente. Le applicazioni che utilizzano la funzione di ricerca della risposta possono visualizzare la risposta breve da sola o possono visualizzare la risposta breve enfatizzata nel contesto del passaggio completo. Per la maggior parte delle applicazioni, è preferibile visualizzare la risposta breve enfatizzata all'interno del passaggio completo, perché le risposte generalmente hanno più senso nel contesto.

La funzione di ricerca risposta si comporta nei seguenti modi:

Negli esempi di passaggio che seguono, le risposte brevi sono mostrate in grassetto.

• Trova risposte. Non crea risposte. La risposta deve essere parte del testo; non può essere dedotta.

  "Qual è stato il fatturato di IBMnel 2022?" può ottenere una risposta corretta se si dispone di un documento che indica il fatturato di IBMnel 2022. Tuttavia, se hai un documento che elenca il fatturato di IBMin ogni trimestre del 2022, non li sommi e ti dia un totale.

• Gestisce sinonimi e variazioni lessicali se la risposta è disponibile.

  • Domanda di esempio: "Quando IBM ha acquistato Red Hat?"
  • Passaggio: "IBM ha chiuso l'acquisizione da 34 miliardi di dollari di Red Hat nel luglio del 2019."

• Combina le informazioni tra più frasi se sono vicine tra loro (entro circa 2.000 caratteri).

  • Domanda di esempio: "Quando IBM ha acquistato Red Hat?"
  • Passaggio: "IBM ha acquisito Red Hat per $34 miliardi. L'accordo si è chiuso nel luglio del 2019. "

• Gestisce le domande implicite simili al modo in cui gestirebbe la domanda esplicita equivalente.

  Domande di esempio:

  • company that developed the AS/400
  • What company developed the AS/400?

• Funziona bene con le domande con risposte di frase o clausola più lunghe.

  • Domanda di esempio: Come faccio a capovolgere un pancake?
  • Passaggio: la chiave per ottenere un pancake di livello mondiale è capovolgere correttamente. Il modo migliore per capovolgere un pancake è infilare una spatola sotto di esso, sollevarla di almeno 4 pollici nell'aria e ruotare rapidamente la spatola di 180 gradi.

• Molti come o perché le domande hanno una risposta completa solo da molto più lunghi periodi di testo. La funzione di ricerca delle risposte non restituisce un intero documento come risposta (e non riassume una risposta di lunghezza del documento).

• Gestisce le domande sì o no che sono fattuali e hanno una risposta concisa nel testo

  • Domanda di esempio: esiste una libreria in Timbuktu
  • Passaggio: la biblioteca principale di Timbuktu , ufficialmente chiamata Ahmed Baba Institute of Higher Islamic Studies and Research, è una casa del tesoro che contiene più di 20.000 manoscritti che coprono secoli di storia del Mali.

• Gestisce le domande con risposte molto brevi, come nomi e date, soprattutto quando il tipo di risposta richiesto è esplicito nel testo.

• Gestisce le domande di opinione, ma solo trovando una dichiarazione di tale opinione; non valuta la validità del parere.

  • Domanda di esempio: dovrei provare l'ombretto blu?
  • Passaggio: pensiamo che l'ombretto blu stia tendendo quest' anno.

POST /v2/projects/{project_id}/query{
  "natural_language_query": "Why did Nixon resign?",
  "passages": {
    "enabled": true, "find_answers":true
  }
}

{
  "matching_results": 74, "retrieval_details": { "document_retrieval_strategy": "untrained"},
  "results": [
    {
      "document_id": "63919442-7d5b-4cae-ab7e-56f58b1390fe",
      "result_metadata":{"collection_id": "collection_id1234","document_retrieval_source":"search","confidence": 0.78214},
      "metadata": {"parent_document_id": "63919442-7d5b-4cae-ab7e-56f58b1390fg"},
      "title": "Watergate scandal",
      "document_passages": [
        {
          "passage_text": "With his complicity in the cover-up made public and his political support completely eroded, Nixon resigned from office on August 9, 1974. It is believed that, had he not done so, he would have been impeached by the House and removed from office by a trial in the Senate.",
          "field": "text",
          "start_offset": 281,
          "end_offset": 553,
          "answers": [
            {
              "answer_text": "his complicity in the cover-up made public and his political support completely eroded",
              "start_offset": 286, "end_offset": 373, "confidence": 0.78214
            }
          ]
        }
      ]
}

natural_language_query

Utilizza una query in linguaggio naturale per immettere le query espresse in linguaggio naturale, come potrebbero essere ricevute da un utente in un'interfaccia conversazionale o di testo libero, come IBM Watson Assistant. Il parametro utilizza l'intero input come testo della query. Non riconosce gli operatori.

La lunghezza della stringa di query massima per una query in linguaggio naturale è 2048.

query

Una ricerca query restituisce tutti i documenti presenti nel tuo insieme di dati con gli arricchimenti completi e il testo completo in ordine di pertinenza. Una query esclude anche qualsiasi documento che non menziona il contenuto della query.

aggregation

Le query di aggregazione restituiscono un conteggio dei documenti che corrispondono a un insieme di valori di dati. Per l'elenco completo delle opzioni di aggregazione, consultare Aggregazioni di query.

filter

Una query memorizzabile in cache che esclude qualsiasi documento che non menziona il contenuto della query. I risultati della ricerca di filtro non vengono restituiti in ordine di pertinenza.

Quando si scrive una query che include un parametro filter e un parametro aggregation, query o natural_language_query, il parametro filter viene eseguito per primo, quindi tutti i parametri aggregation, query o natural_language_query vengono eseguiti in parallelo.

Con una semplice query, specialmente su un piccolo insieme di dati, i parametri filter e query spesso restituiscono gli stessi risultati (o risultati simili). Se le chiamate filter e query restituiscono risultati simili e non è necessario che le risposte vengano restituite in ordine di rilevanza, utilizzare il parametro filter. Le chiamate filtro sono più veloci e vengono memorizzate nella cache. La memorizzazione nella cache significa che la prossima volta che si effettua la stessa chiamata, si ottiene una risposta molto più rapida, in particolare in un set di dati di grandi dimensioni.

Parametri di struttura

I parametri di struttura definiscono il contenuto e l'organizzazione dei documenti nel JSON restituito. I parametri di struttura non influiscono sui quali documenti fanno parte dell'intero insieme di risultati.

return

Un elenco separato da virgole della parte della gerarchia di documenti da restituire. Qualsiasi gerarchia di documenti è un valore valido. Se questo parametro è un elenco vuoto, vengono restituiti tutti i campi.

count

Il numero di documenti che si desidera restituire nella risposta. Il valore predefinito è 10. Il valore massimo per i valori count e offset insieme in qualsiasi singola query è 10000.

offset

Valore di indice della posizione del risultato della ricerca in cui inizia la serie di risultati da restituire. Ad esempio, se il numero totale di risultati restituito è 10, e l'offset è 8, restituisce gli ultimi due risultati. Il valore predefinito è 0. Il valore massimo consentito per count e offset insieme in una qualsiasi query è 10000.

spell correction

Nelle query in linguaggio naturale, verifica la presenza di termini errati nella query inoltrata. La query viene elaborata così com' è. Tuttavia, le probabili correzioni alla query originale, se presenti, vengono restituite nel campo suggested_query della risposta. I suggerimenti non vengono utilizzati automaticamente, ma l'applicazione può utilizzarli.

sort

Un elenco separato da virgole dei campi del documento da ordinare. Puoi, facoltativamente, specificare una direzione di ordinamento anteponendo come prefisso al campo - per l'ordine decrescente oppure + per l'ordine crescente. L'ordine crescente è la direzione di ordinamento predefinita.

highlight

Un valore booleano che specifica se includere un oggetto highlight nell'output restituito. Se inclusa, l'evidenziazione restituisce chiavi che sono nomi di campo e valori che sono schiere. Gli array contengono segmenti di testo di corrispondenza query evidenziati utilizzando la tag di enfasi HTML (<em>).

Questo parametro viene ignorato se passages.enabled e passages.per_document sono true, nel cui caso vengono restituiti passaggi per ogni documento invece che evidenziazioni.

Attualmente, se la query cerca un exact match di una citazione di arricchimento, vengono evidenziate solo le corrispondenze minuscole. Quando viene utilizzato l'operatore includes, vengono evidenziate le corrispondenze maiuscole e minuscole.

L'output elenca l'oggetto highlight dopo l'oggetto enriched_text, come mostrato nel seguente esempio.

curl -H "Authorization: Bearer {token}" \
'https://{hostname}/{instance_name}/v2/projects/{project_id}/collections/{collection_id}/query?version=2019-11-29&natural_language_query=Hybrid%20cloud%20companies&highlight=true'

Il JSON restituito ha il seguente formato:

{
  "highlight": {
    "extracted_metadata.title": [
      "IBM to Acquire Sanovi Technologies to Expand Disaster Recovery Services for <em>Hybrid</em> <em>Cloud</em>"
    ],
    "enriched_text.concepts.text": [
      "Privately held <em>company</em>",
      "<em>Cloud</em> computing"
    ],
    "text": [
      " Sanovi Technologies, a privately held <em>company</em> that provides <em>hybrid</em> <em>cloud</em> recovery, <em>cloud</em> migration",
      "IBM to Acquire Sanovi Technologies to Expand Disaster Recovery Services for <em>Hybrid</em> <em>Cloud</em>\n\nPublished",
      " undergoing digital and <em>hybrid</em> <em>cloud</em> transformation.\n\nURL: http://www.ibm.com/press/us/en/pressrelease/50837.wss",
      " and business continuity software for enterprise data centers and <em>cloud</em> infrastructure. Adding"
    ],
    "enriched_text.categories.label": [
      "/business and industrial/<em>company</em>/bankruptcy"
    ],
    "enriched_text.entities.type": [
      "<em>Company</em>"
    ],
    "html": [
      " Technologies, a privately held <em>company</em> that provides <em>hybrid</em> <em>cloud</em>\n recovery, <em>cloud</em> migration and business",
      " Disaster Recovery Services for <em>Hybrid</em> <em>Cloud</em></title></head>\n<body>\n\n\n<p>Published: Thu, 27 Oct 2016 07:01",
      " digital and <em>hybrid</em> <em>cloud</em> transformation.</p>\n<p>URL: http://www.ibm.com/press/us/en/pressrelease/50837.wss</p>\n\n\n\n</body></html>",
      " continuity software for \nenterprise data centers and <em>cloud</em> infrastructure. Adding these \ncapabilities"
    ]
  }
}

passages

Un booleano che specifica se il servizio restituisce un insieme dei passaggi più rilevanti dei documenti restituiti da una query che utilizza il parametro natural_language_query. I passaggi sono generati da sofisticati algoritmi di Watson che determinano i migliori passaggi di testo tra tutti i documenti restituiti dalla query. Il valore predefinito per il parametro differisce in base al tipo di progetto. Per ulteriori informazioni sui valori predefiniti, consultare Impostazioni query predefinite.

Discovery tenta di restituire i passaggi che iniziano all'inizio di una frase e si fermano alla fine, utilizzando il rilevamento dei confini della frase. Per fare ciò, ricerca prima i passaggi approssimativamente della lunghezza specificata nel parametro passages.characters (per la maggior parte dei tipi di progetti, il valore predefinito è 200). Espande quindi ogni passaggio fino al limite del doppio della lunghezza specificata, in modo da restituire frasi complete. Se il parametro passages.characters è breve o le frasi nei documenti sono lunghe, potrebbero non esserci confini di frase abbastanza vicini da restituire la frase completa senza superare il doppio della lunghezza richiesta. In questo caso, Discovery rimane entro il limite del doppio del parametro passages.characters, quindi i passaggi restituiti potrebbero non includere l'intera frase e possono omettere l'inizio, la fine o entrambi.

Dal momento che le regolazioni del limite della frase espandono la dimensione del passaggio, la lunghezza media del passaggio può aumentare. Se l'applicazione ha uno spazio limitato sullo schermo, si potrebbe impostare un valore minore per passages.characters o troncare i passaggi restituiti da Discovery. Il rilevamento dei limiti della frase funziona per tutte le lingue supportate e utilizza la logica specifica per la lingua.

I passaggi sono raggruppati con ogni risultato del documento e sono ordinati per rilevanza del passaggio. L'inclusione del richiamo dei passaggi nelle query aumenta il tempo di risposta perché ci vuole più tempo per calcolare il punteggio dei passaggi.

È possibile regolare i campi nei documenti per il recupero del passaggio da ricercare con il parametro passages.fields.

Il parametro passages restituisce i passaggi corrispondenti ( passage_text ) e i parametri score, document_id, il nome del campo da cui è stato estratto il passaggio ( field ) e i caratteri iniziali e finali del testo del passaggio all'interno del campo ( start_offset e end_offset ), come mostrato nell'esempio seguente.

 curl -H "Authorization: Bearer {token}" 'https://{hostname}/{instance_name}/v2/projects/{project_id}/collections/{collection_id}/query?version=2019-11-29&natural_language_query=Hybrid%20cloud%20companies&passages=true&passages.per_document=false'

Il JSON restituito dalla query ha il seguente formato:

  {
    "matching_results":2,
    "passages":[
      {
        "document_id":"ab7be56bcc9476493516b511169739f0",
        "passage_score":15.230205287402338,
        "passage_text":"a privately held company that provides hybrid cloud recovery, cloud migration and business continuity software for enterprise data centers and cloud infrastructure.",
        "start_offset":120,
        "end_offset":300,
        "field":"text"
      },
      {
        "passage_text":"Disaster Recovery Services for Hybrid Cloud</title></head>\n<body>\n\n\n<p>Published: Thu, 27 Oct 2016 07:01:21 GMT</p>\n",
        "passage_score":10.153470191601558,
        "document_id":"fbb5dcb4d8a6a29f572ebdeb6fbed20e",
        "start_offset":70,
        "end_offset":120,
        "field":"html"
      }
    ]
  }

similar

Trova i documenti che sono simili ai documenti identificati come di interesse per l'utente. Per trovare documenti simili, Discovery identifica i 25 termini più pertinenti dal documento originale e quindi ricerca i documenti con termini pertinenti simili.

Se similar.enabled è true, è necessario specificare il campo similar.document_ids per includere un elenco separato da virgole dei documenti di interesse.

Nelle distribuzioni installate, il supporto per questo parametro è stato aggiunto con la release 4.6.0.

table retrieval

Se nella propria raccolta è abilitata la comprensione della tabella, un natural_language_query trova le tabelle con contenuto o contesto che corrispondono a una query di ricerca.

Query di esempio:

 curl -H "Authorization: Bearer {token}" \
 'https://{hostname}/{instance_name}/v2/projects/{project_id}/collections/{collection_id}/query?version=2019-11-29&natural_language_query=interest%20appraised&table_results=true'

Il JSON restituito dalla query ha il seguente formato:

{
  "matching_results": 1,
  "session_token": "1_FDjAVkn9SW6oH9y5_9Ek3KsNFG",
  "results": [
    {}
  ]
  {
    "table_results": [
      {
        "table_id": "e883d3df1d45251121cd3d5aef86e4edc9658b21",
        "source_document_id": "c774c3df0c90255191cc0d4bb8b5e8edc6638d96",
        "collection_id": "collection_id",
        "table_html": "html snippet of the table info",
        "table_html_offset": 42500,
        "table": [
          {
            "location": {
              "begin": 42878,
              "end": 44757
          },
          "text": "Appraisal Premise Interest Appraised Date of Value Value Conclusion\nMarket Value \"As Is\" Fee Simple Estate January 12, 2016 $1,100,000\n",
          "section_title": {
            "location": {
              "begin": 42300,
              "end": 42323
            },
            "text": "MARKET VALUE CONCLUSION"
          },
          "title": {},
          "table_headers": [],
          "row_headers": [
            {
              "cell_id": "rowHeader-42878-42896",
              "location": {
                "begin": 42878,
                "end": 42896
              },
              "text": "Appraisal Premise",
              "text_normalized": "Appraisal Premise",
              "row_index_begin": 0,
              "row_index_end": 0,
              "column_index_begin": 0,
              "column_index_end": 0
            }
          ],
          "column_headers": [],
          "body_cells": [
            {
              "cell_id": "bodyCell-43410-43424",
              "location": {
                "begin": 43410,
                "end": 43424
              },
              "text": "Date of Value",
              "row_index_begin": 0,
              "row_index_end": 0,
              "column_index_begin": 2,
              "column_index_end": 2,
              "row_header_ids": [
                "rowHeader-42878-42896",
                "rowHeader-43145-43164"
              ],
              "row_header_texts": [
                "Appraisal Premise",
                "Interest Appraised"
              ],
              "row_header_texts_normalized": [
                "Appraisal Premise",
                "Interest Appraised"
              ],
              "column_header_ids": [],
              "column_header_texts": [],
              "column_header_texts_normalized": [],
              "attributes": []
            }
          ],
          "contexts": [
            {
              "location": {
                "begin": 44980,
                "end": 44996
              },
              "text": "Compiled by CBRE"
            }
          ],
          "key_value_pairs": []
        }
      ]
    }
  ]
}