Scegliere cosa aggiungere alla collezione

Ci sono alcuni aspetti da considerare quando si decide come suddividere i contenuti di origine in raccolte.

• Ottenere contenuti da diverse fonti di dati

  Se si memorizzano contenuti simili in più tipi di fonti di dati (un sito web e Salesforce, ad esempio), è possibile creare un progetto con due raccolte separate. Ogni raccolta aggiunge documenti da una singola fonte di dati. Quando sono integrati in un unico progetto, l'utente può effettuare ricerche su entrambe le fonti contemporaneamente.

• Applicazione degli arricchimenti

  La creazione di una raccolta è un buon modo per raggruppare i documenti che si desidera arricchire in modo simile. Ad esempio, forse un sottoinsieme di documenti contiene gergo industriale e si vuole aggiungere un dizionario che riconosca i termini. È possibile creare una raccolta separata e utilizzare la funzione di suggerimento dei termini per accelerare il processo di creazione del dizionario.

• Creazione di modelli separati di Smart Document Understanding (SDU)

  È possibile utilizzare lo strumento Smart Document Understanding per identificare i contenuti in base alla struttura di un documento. Se si dispone di 20 file PDF creati dal reparto Vendite e che utilizzano un modello e di 20 file PDF creati dal reparto Ricerca e che utilizzano un modello diverso, raggruppare ogni set in una propria raccolta. È quindi possibile utilizzare lo strumento SDU per costruire un modello per ogni struttura separatamente, un modello che comprenda la struttura unica. È inoltre possibile utilizzare lo strumento per definire campi personalizzati che siano unici per i documenti di origine.

Creazione di una raccolta

Prima di creare una raccolta, è necessario creare un progetto. Per ulteriori informazioni, vedi Creazione di progetti.

Cose da tenere a mente:

• Una collezione può supportare una sola origine dati esterna.
• I documenti della raccolta devono essere in una sola lingua, quella specificata dall'utente per la raccolta.

Per creare una raccolta, completare i seguenti passaggi:

1. Aprire un progetto, andare alla pagina Gestisci raccolte e fare clic su Nuova raccolta.

   • I tipi di progetto Elaborazione intelligente dei documenti, Ricerca conversazionale, Recupero documenti e Personalizzato possono contenere fino a 5 raccolte.
   • Un progetto di estrazione dei contenuti può contenere solo 1 raccolta.

2. Caricare i dati sulla propria collezione.

   IBM Cloud Per collegarsi a un'altra origine dati invece di caricare i dati, fare clic sul link accanto al campo Necessità di collegarsi a un'origine dati?

   È possibile scegliere i seguenti modi per connettersi a un'origine dati invece di caricare i dati.

   • Riutilizzare i dati di una raccolta

   • Crawling di un'origine dati esterna.

     Per le fonti di dati supportate, vedere l'argomento appropriato per il tipo di distribuzione:

     • IBM Cloud Pak for DataIBM Software HubIBM Cloud Pak for Data fonti di dati
     • IBM CloudIBM Cloud fonti di dati

     Questi argomenti descrivono anche come connettersi alle fonti di dati non supportate di default per tipo di distribuzione.

Per informazioni su come risolvere i problemi che si possono incontrare quando si aggiungono documenti a una raccolta, vedere Risoluzione dei problemi di ingestione.

Per ulteriori informazioni su come creare una raccolta in modo programmatico, consultare la documentazione di riferimento dell'API.

Riconoscimento ottico del carattere

Una delle funzioni opzionali che si possono applicare a una raccolta quando la si crea è il riconoscimento ottico dei caratteri. La funzione di riconoscimento ottico dei caratteri (OCR) estrae il testo dalle immagini. Questa funzionalità è utile per preservare le informazioni rappresentate in diagrammi o grafici o nel testo incorporato in file come i PDF scansionati. Convertendo le informazioni visive in testo, è possibile effettuare ricerche successive.

È stata introdotta una nuova versione della tecnologia in istanze gestite dal cloud. OCR v2 è stato sviluppato da IBM Research per estrarre meglio il testo da documenti scansionati e altre immagini che presentano le seguenti limitazioni:

• Immagini di bassa qualità dovute a impostazioni errate dello scanner, risoluzione insufficiente, cattiva illuminazione (come nel caso dell'acquisizione mobile), perdita di messa a fuoco, pagine non allineate e documenti stampati male
• Documenti con caratteri irregolari o con colori, dimensioni e sfondi diversi

Cose da tenere a mente quando si attiva l'OCR:

• Il tempo necessario per ingerire un documento con immagini aumenta quando l'OCR è abilitato.
• Attualmente l'OCR non supporta l'estrazione di testo scritto a mano da documenti e immagini scansionate.
• L'OCR è in grado di leggere sia immagini chiare che rumorose. È in grado di convertire le immagini rumorose in scala di grigi e di smussarle e ridimensionarle. Tuttavia, la qualità dell'immagine deve soddisfare il requisito minimo di 80 DPI (punti per pollice).
• L'OCR è in grado di riconoscere molte lingue, ma la lingua del testo nell'immagine deve essere la stessa specificata per la raccolta in cui viene aggiunto il file.

Per ulteriori informazioni sulle lingue per le quali sono supportati OCR v1 e OCR v2, vedere Supporto linguistico.

Per un elenco dei tipi di file a cui è possibile applicare l'OCR, vedere la tabella Tipi di file supportati.

Abilitazione dello stemming per i dati non curati

È possibile configurare Discovery in modo che utilizzi lo stemming invece della lemmatizzazione per la normalizzazione quando si crea una raccolta. Questa configurazione è utile solo occasionalmente quando le raccolte, le query o entrambe contengono dati con molti errori ortografici, segni di accento mancanti ed errori grammaticali.

Discovery normalizza le parole per consentire un più rapido riconoscimento e abbinamento delle parole e delle loro varie forme, come i plurali o le coniugazioni alternative dei verbi. Per impostazione predefinita, Discovery utilizza la lemmatizzazione per normalizzare le parole in base al loro significato. La stemizzazione normalizza le parole utilizzando solo gli steli delle parole.

La lemmatizzazione è più precisa, ma funziona meglio su dati curati. Se i dati non sono ben curati, potrebbe essere più efficace l'arginatura. In genere, lo stesso gambo di parola viene rilevato indipendentemente dal fatto che una parola sia scritta correttamente o meno. Tuttavia, la lemmatizzazione potrebbe non riconoscere una parola scritta male o potrebbe interpretarne male il significato. Di conseguenza, il lemmatizzatore può aggiungere la parola radice sbagliata per rappresentare la parola errata nell'indice. Una ricerca su una versione stemmata di una parola scritta male probabilmente darà risultati migliori di una ricerca su una parola lemmatizzata in modo errato.

La tabella seguente mostra alcuni esempi di come alcune parole vengono stemmate rispetto a quelle lemmatizzate.

Come si può vedere dagli esempi, il lemmatizzatore cattura i significati delle parole meglio dello stemmer. Sia running che ran sono riconosciuti come forme diverse dello stesso verbo radicale run. E la differenza di significato tra i due sostantivi istruttore e istruzione viene mantenuta. Tuttavia, se i dati contengono errori ortografici come instructer e instructoin, la forma normalizzata generata dallo stemming (instruct ) restituirà corrispondenze migliori.

Discovery normalizza le parole quando ingerisce e memorizza i dati nell'indice e in fase di esecuzione quando analizza le query inviate dagli utenti. Lo stesso metodo di normalizzazione viene utilizzato per entrambe le operazioni, anche se un'operazione avviene a livello di collezione e l'altra a livello di progetto. Quando si invia una query, questa viene federata a ogni collezione del progetto, dove la query viene normalizzata in base alla configurazione della collezione. Le raccolte configurate per utilizzare lo stemmer normalizzano la query utilizzando lo stemming. Le raccolte che non lo sono, normalizzano la query utilizzando la lemmatizzazione.

Per abilitare lo stemmer invece del lemmatizzatore quando si crea la raccolta, espandere Altre opzioni di elaborazione e impostare il selettore Usa stemming invece di lemmatizzazione durante l'indicizzazione su On.

Se si configura Discovery per l'uso dello stemmer, è opportuno progettare anche le query che estraggono le informazioni dalla raccolta per tenere conto delle differenze di carattere durante la corrispondenza. Per ulteriori informazioni, vedere l'operatore di variazione delle stringhe.

Per ulteriori informazioni sulle lingue supportate dallo stemmer, vedere Supporto delle lingue.

Limiti di raccolta

Il numero di raccolte che si possono creare per progetto varia a seconda del tipo di progetto.

Il numero di raccolte che è possibile creare per istanza di servizio dipende dal tipo di piano Discovery.

IBM Cloud Pak for DataIBM Software Hub Il numero di raccolte che si possono creare dipende dalla configurazione hardware. Discovery supporta un massimo di 300 raccolte per istanza e installazione, ma questo numero dipende da molti fattori, tra cui la memoria.

Tipi di file supportati

Discovery possono ingerire tipi di file specifici. Per tutti gli altri tipi di file, viene visualizzato un messaggio di avviso e il file non viene ingerito.

La tabella seguente mostra i tipi di file supportati e le informazioni sul supporto delle funzioni che variano a seconda del tipo di file.

Tipo di file	Supporto per l'estrazione del testo	Supporto per la comprensione intelligente dei documenti (SDU)	Supporto per il riconoscimento ottico dei caratteri (OCR)
CSV
DOC, DOCX
GIF
HTML
JPG
JSON
PDF
PNG
PPT, PPTX
TIFF
TXT
XLS, XLSX

• È possibile generare file PDF utilizzando strumenti di generazione di PDF come Adobe Acrobat, Microsoft Office, Anteprima di Apple e altri.

Gli oggetti vettoriali, i testi vettoriali e le immagini SVG vengono ignorati durante l'elaborazione dei PDF. Inoltre, Discovery attualmente non supporta l'estrazione di testo da immagini con livelli di trasparenza o gruppi di trasparenza nei PDF.

• Vengono renderizzate solo le immagini dei tipi di file immagine supportati presenti nel PDF.
• Per le immagini scansionate, utilizzare 300 dpi o più per un OCR ottimale. I dpi minimi devono essere 80, come indicato nelle linee guida per il riconoscimento ottico dei caratteri
• Sono supportati solo i file immagine a pagina singola.
• I file all'interno di archivi compressi (ZIP, GZIP, TAR) vengono estratti. Discovery ingerisce i tipi di file supportati all'interno dell'archivio. Ignora tutti gli altri tipi di file. I nomi dei file devono essere codificati in UTF-8. I file con nomi che includono caratteri giapponesi, ad esempio, devono essere rinominati prima di essere aggiunti al file ZIP.
• Discovery supporta i file MacOS ZIP solo se sono stati generati con un comando come: zip -r my-folder.zip my-folder -x "*.DS_Store". I file ZIP creati facendo clic con il pulsante destro del mouse su una cartella e facendo clic su Comprimi non sono supportati.
• I file PDF caricati come parte di un file di archivio non vengono visualizzati nella vista avanzata per un risultato di query aperto dalla pagina Migliora e personalizza. Se si desidera che il file sia visualizzabile dalla vista avanzata, reimportare il file PDF separatamente dal file di archivio.

Quando si aggiungono file a un tipo di progetto Recupero documenti per contratti, tutti i tipi di file che supportano SDU e OCR vengono elaborati automaticamente con un modello di Smart Document Understanding e di Optical Character Recognition preaddestrato.

Limiti del documento

Il numero di documenti consentiti per istanza di servizio dipende dal tipo di piano Discovery.

Il limite dei documenti si applica al numero di documenti presenti nell'indice. Caricare meno documenti all'inizio se gli arricchimenti che si intende applicare potrebbero aumentare il numero di documenti in seguito. Ad esempio, le seguenti configurazioni generano più documenti:

• Quando si divide un documento, questo viene segmentato in più documenti
• I file CSV caricati generano un documento per riga
• Le fonti di dati del database che si strisciano producono un documento per ogni riga del database
• Ogni oggetto definito in un array in un file JSON risulta in un documento separato

Il piano Enterprise viene addebitato dopo 100.000 documenti al mese. Per ulteriori informazioni sui prezzi, consultare i piani tariffari di Discovery.

Il numero massimo consentito può variare leggermente a seconda delle dimensioni dei documenti. Utilizzare questi valori come linea guida generale.

Limiti di dimensione dei file

Limiti del campo

Quando un documento viene aggiunto a una raccolta, il contenuto del documento viene valutato e aggiunto ai campi appropriati di un indice interno.

Per i dati strutturati, come ad esempio i file CSV o JSON caricati o i dati provenienti da database strisciati, ogni colonna o oggetto viene memorizzato come campo di livello principale. Ad esempio, se si aggiunge un file CSV alla raccolta, ogni colonna del file CSV viene memorizzata come campo separato nell'indice.

È possibile aggiungere all'indice un massimo di 1.000 campi.

Non è possibile assegnare il tipo di dati, ad esempio Data o Stringa, di un campo. Il tipo di dati viene rilevato automaticamente e assegnato al campo durante l'ingestione del documento. L'assegnazione si basa sul tipo di dati rilevato dal primo documento indicizzato. Nei documenti successivi possono verificarsi errori di ingestione se viene rilevato un tipo di dati diverso per il valore dello stesso campo. Pertanto, se i documenti hanno un mix di tipi di dati in un singolo campo, ingerire prima il documento che ha un valore con il tipo di dati più flessibile, come String, nel campo.

Quando si effettua il crawling di un sito web o si carica un file HTML, il contenuto HTML viene aggiunto alla raccolta e indicizzato in un campo html.

La tabella seguente mostra il limite massimo di dimensione dei campi per documento.

Se la dimensione massima dei campi del documento supera i limiti consentiti, essi vengono trattati come segue:

• Per un documento con un campo html sovradimensionato, tutti i campi del documento vengono indicizzati tranne il campo html.

  Per IBM Cloud Pak for Data versione 4.0 e precedenti, l'intero documento non è indicizzato.

• Per un documento con campi non HTML sovradimensionati, il documento non viene indicizzato.

Se si sta caricando un file Microsoft Excel e viene visualizzato un messaggio che indica il superamento del limite di dimensione dei campi non HTML, si consiglia di convertire il file XLS in un file CSV. Quando si carica un file CSV (comma-separated value), ogni riga viene indicizzata come un documento separato. Di conseguenza, non vengono superati i limiti di dimensione del campo.

Per ulteriori informazioni sulla gestione dei campi nei file caricati, vedere Come vengono gestiti i campi.

Origini dati supportate

La seguente tabella mostra le origini dati supportate per ciascun tipo di distribuzione.

Origini dati supportate
Questa tabella ha intestazioni di righe e colonne. Le intestazioni di riga identificano le origini dati supportate. Le intestazioni di colonna identificano le diverse opzioni del tipo di distribuzione del prodotto. Per comprendere quali origini dati sono disponibili per il proprio tipo di distribuzione, andare alla riga che descrive l'origine dati e trovare le colonne per il tipo di distribuzione a cui si è interessati.

Origine dati	IBM Cloud	IBM Cloud Pak for Data
Box
Database (IBM Data Virtualization, IBM Db2, Microsoft SQL, Oracle, Postgres)
FileNet P8
HCL Notes
IBM Cloud Object Storage
File system locale
Salesforce
Microsoft SharePoint Online
Microsoft SharePoint on-premise
Sito web
Microsoft Windows file system

Opzioni di pianificazione della ricerca per indicizzazione

Quando crei una raccolta, la ricerca per indicizzazione iniziale viene avviata immediatamente. La frequenza scelta per la pianificazione dei crawl determina l'inizio del crawl successivo.

Per creare una pianificazione delle strisciate, completare i seguenti passaggi:

1. Nella sezione Pianificazione crawl, scegliere una frequenza.

   È possibile programmare l'esecuzione del crawler in un giorno e a un'ora specifici. Questa opzione è utile se si vuole evitare un carico pesante su un sistema di destinazione durante le ore lavorative. Se si specifica un'ora nell'intervallo 1 - 9, aggiungere uno zero prima della cifra dell'ora. Ad esempio, è possibile programmare il crawl per 01:00 AM il sabato.

   IBM Cloud Quando si pianifica un crawl per l'esecuzione mensile, le opzioni relative al numero di giorni sono limitate da 1 a 28 perché è necessario specificare un giorno che ricorre ogni mese, compreso febbraio che ha 28 giorni.

   IBM Cloud Pak for Data Le distribuzioni installate hanno più opzioni di pianificazione:

   • Se si desidera eseguire il crawling ogni 12 ore o ogni 10 giorni, scegliere Intervalli personalizzati. È possibile programmare l'esecuzione del crawler per un numero personalizzato di giorni o di ore.
   • Per impostazione predefinita, l'avvio del crawl è programmato nelle ore non di punta.
   • Non impostare l'intervallo a una frequenza inferiore al tempo necessario per terminare il crawl.
   • Non configurare più crawler da eseguire a intervalli brevi.
   • Se si apre una raccolta in un fuso orario diverso da quello in cui è stata creata, vengono visualizzate le informazioni sullo scostamento del tempo universale coordinato (UTC).

2. IBM Cloud Pak for DataIBM Software Hub Le distribuzioni installate hanno una sezione Altre impostazioni di pianificazione in cui si può scegliere il tipo di pianificazione da usare per eseguire il crawling dell'origine dati.

   Le scelte per tutti i connettori (tranne il connettore Web crawl ) sono le seguenti:

   • Crawling completo: Esegue il reperimento dell'origine dati esterna per aggiornare i documenti della raccolta.
   • Aggiornamenti di crawling (ricerca di contenuti nuovi, modificati ed eliminati): Aggiorna la raccolta solo se i dati nell'origine dati esterna sono stati aggiunti, modificati o eliminati dopo l'ultimo crawling.
   • Crawling dei contenuti nuovi e modificati: Aggiorna la raccolta solo se i dati dell'origine dati esterna sono stati aggiunti o modificati dopo l'ultimo crawling.

   Solo per il connettore Web crawl: Il connettore Web crawl pianifica i crawl in modo diverso dagli altri tipi di connettore. Solo per il connettore Web crawl, scegliere una delle seguenti opzioni:

   • Per controllare la frequenza dei crawl, scegliere questa opzione:

     Strisciamento completo

     Quando si sceglie un tipo di pianificazione di crawl completo, il crawl viene eseguito con la frequenza specificata nella sezione Pianificazione crawl della pagina.

   • Per consentire al sistema di gestire la frequenza delle scansioni, scegliere una delle seguenti opzioni:

     Crawling degli aggiornamenti (ricerca di contenuti nuovi, modificati e cancellati) o Crawling di contenuti nuovi e modificati

     Quando si sceglie un tipo di pianificazione che esegue il crawling degli aggiornamenti o dei contenuti nuovi e modificati, la frequenza specificata per la pianificazione del crawling viene ignorata. La frequenza di crawling di ogni documento è variabile e viene gestita interamente dal servizio. La frequenza cambia a seconda della frequenza delle modifiche in un documento. Ad esempio, se 5 dei 10 documenti di una raccolta sono cambiati alla fine del primo intervallo di crawling, la frequenza viene aumentata automaticamente per questi 5 documenti. Attualmente, la frequenza massima con cui questi aggiornamenti autogestiti possono essere eseguiti è giornaliera.

     Non è possibile interrompere la gestione automatica della frequenza e non è possibile attivare un crawl unico quando sono configurati questi tipi di crawl programmati.

Se si desidera modificare le impostazioni del programma di scansione flessibile in un secondo momento, è possibile andare alla pagina Impostazioni di elaborazione, modificare le impostazioni e quindi fare clic su Applica modifiche e rielabora.

IBM Cloud Il prossimo crawl programmato viene visualizzato nella pagina Attività.

Se si modifica la frequenza di pianificazione, l'orario di strisciamento successivo potrebbe non essere quello previsto. Per impostazione predefinita, i crawl sono impostati in modo da verificarsi regolarmente a un'ora o a un giorno specifici. Ad esempio, se l'11 agosto si modifica la pianificazione dei crawl da settimanale a mensile, il crawl successivo potrebbe essere programmato per il 31 agosto anziché per l'11 settembre. Non è previsto per un mese esatto dal giorno in cui è stata effettuata la modifica. Invece, viene programmato per essere eseguito nel giorno designato come giorno di esecuzione predefinito per la frequenza di strisciamento selezionata.

Arresto di una strisciata

È possibile interrompere un crawl senza modificare la frequenza del programma di crawl. Questa azione è utile se si desidera eseguire un'attività che richiede molto tempo e non si vuole che il crawl venga avviato o eseguito tra un'attività e l'altra.

IBM Cloud Per interrompere un crawl, eseguire le seguenti operazioni:

1. Aprire la pagina Gestione collezioni dal pannello di navigazione.

2. Selezionare la raccolta per la quale si desidera interrompere il crawl.

3. Nella pagina Attività, se il crawl è in corso, fare clic su Interrompi.

4. Andare alla pagina delle impostazioni di elaborazione.

5. Impostare Applica pianificazione su No, quindi fare clic su Applica modifiche e rielaborare.

   Il crawl viene interrotto e non riparte finché non viene riavviato.

IBM Cloud Per riavviare il crawl, completare i seguenti passaggi:

1. Aprire la pagina Gestione collezioni dal pannello di navigazione.

2. Selezionare la raccolta per la quale si desidera riavviare il crawl.

3. Andare alla pagina delle impostazioni di elaborazione.

4. Impostare Applica pianificazione su Sì, quindi fare clic su Applica modifiche e rielaborare.

   Il percorso inizia immediatamente.

   Il crawl successivo verrà avviato in base alla frequenza selezionata nelle opzioni di pianificazione del crawl. Se si desidera avviare il crawl in qualsiasi momento prima della frequenza programmata, fare clic su Recrawl nella pagina Attività.

IBM Cloud Pak for Data IBM Software Hub

È possibile interrompere temporaneamente un crawl in corso.

Per interrompere temporaneamente un crawl, eseguire le seguenti operazioni:

1. Aprire la pagina Gestione collezioni dal pannello di navigazione.

2. Selezionare la raccolta per la quale si desidera interrompere temporaneamente il crawl.

3. Nella pagina Attività, fare clic su Stop.

   Il crawl ricomincia in base alla frequenza specificata nella pianificazione del crawl.