Documenti sottoposti a ricerca per indicizzazione

È possibile collegarsi ai seguenti tipi di contenuto Web:

• Siti web pubblici
• Siti web aziendali privati o altri siti che richiedono l'autenticazione
• Siti Web che si trovano dietro un firewall aziendale

Durante la scansione iniziale del contenuto, tutte le pagine del sito Web che corrispondono alle impostazioni di ricerca vengono sottoposte a ricerca per indicizzazione e aggiunte all'indice del documento della raccolta. La ricerca per indicizzazione viene avviata sulla pagina Web specificata nel campo URL di avvio. Se la raccolta è configurata per seguire i collegamenti, la ricerca per indicizzazione segue i collegamenti sulla pagina iniziale che condividono la stessa struttura secondaria della pagina iniziale. Ad esempio, se si specifica https://www.example.com/banking/faqs.html, i link con URL che iniziano con https://www.example.com/banking/ vengono sottoposti a ricerca per indicizzazione. Se si specifica https://www.example.com/banking, i collegamenti con URL che iniziano con https://www.example.com/ vengono sottoposti a ricerca per indicizzazione.

La ricerca per indicizzazione non può accedere a sottodirectory sicure. Ad esempio, se una sottodirectory a cui ci si aspetta che il crawl acceda, come https://www.example.com/banking/pdfs, non viene crawlata, verificare se è possibile accedere direttamente alla sottodirectory URL da un browser web. Se non puoi accedervi, il crawl non può accedervi.

Durante le successive ricerche per indicizzazione pianificate, viene eseguita una ricerca per indicizzazione completa e tutte le modifiche vengono riportate nella propria raccolta. I documenti che sono stati aggiunti alla raccolta dalle pagine del sito Web che vengono successivamente eliminati dal sito Web esterno non vengono eliminati dalla raccolta. Tuttavia, a partire dalle raccolte create dopo l'aprile 2022, quando si rimuove un URL iniziale dalla configurazione di web crawl, tutti i documenti associati vengono eliminati. I documenti eliminati includono i documenti indicizzati che sono stati aggiunti alla raccolta in base al contenuto della pagina web all'indirizzo URL di partenza e i documenti che sono stati derivati dalle pagine web a cui il sito URL di partenza era collegato. Non è possibile limitare il numero di documenti indicizzati modificando altre impostazioni, ad esempio cambiando il sito URL esistente per includere un percorso con un ambito più limitato rispetto a prima o riducendo a 0 il numero massimo di collegamenti da seguire. Solo eliminando il sito URL è possibile rimuovere i documenti indicizzati ad esso associati.

Il crawler Web può eseguire la ricerca per indicizzazione su pagine Web che utilizzano JavaScript per eseguire il rendering del contenuto, ma il crawler funziona meglio su singole pagine, non su interi siti Web. Non può eseguire la ricerca per indicizzazione su siti che utilizzano URL dinamici; se non è possibile visualizzare alcun contenuto quando si visualizza il codice sorgente di una pagina Web nel browser, il servizio non può eseguire la ricerca per indicizzazione.

Se si desidera eseguire la ricerca per indicizzazione su un gruppo di URL che include alcuni siti Web che richiedono l'autenticazione e altri che non la richiedono, considerare la creazione di una raccolta diversa per ciascun tipo di autenticazione. Il connettore non supporta la ricerca per indicizzazione basata su cookie.

Tutti i connettori dell'origine dati Discovery sono di sola lettura. Indipendentemente dalle autorizzazioni concesse all'account di ricerca per indicizzazione, Discovery non scrive, aggiorna o elimina mai alcun contenuto nell'origine dati originale.

La seguente tabella illustra gli oggetti su cui Discovery può eseguire la ricerca per indicizzazione.

Fase preliminare per la connessione a un sito web ospitato dietro un firewall

Se si desidera connettersi a un sito web ospitato dietro un firewall, configurare prima il connettore IBM Cloud Satellite® all'esterno Discovery. Per ulteriori informazioni, consultare la sezione Satellite Panoramica del connettore.

IBM® Secure Gateway for IBM Cloud® è stato deprecato. Le collezioni esistenti che utilizzano Secure Gateway possono migrare al Connettore IBM Cloud Satellite® prima della data di fine supporto. Per ulteriori informazioni, vedere le date di deprezzamento e i dettagli di deprezzamento Secure Gateway.

Il contenuto prezioso viene spesso memorizzato sul sito Web interno dell'azienda. In genere, tali siti Web intranet sono accessibili solo da un computer collegato alla rete dell'ufficio o tramite una connessione VPN. È possibile stabilire una connessione persistente e più sicura tra il web crawler e questo tipo di sito interno utilizzando il connettore Satellite.

Per configurare il connettore Satellite, completare i seguenti passaggi:

1. Creare un connettore Satellite. Per ulteriori informazioni, vedere Creazione di un connettore.
2. Eseguire un agente connettore. Per ulteriori informazioni, vedere Esecuzione di un agente Connector.
3. Creare e gestire gli endpoint del Connector. Per ulteriori informazioni, vedere Creazione e gestione degli endpoint di Connector.

Connessione all'origine dati

Per configurare la raccolta di ricerca per indicizzazione Web, completare la seguente procedura:

1. Dal riquadro di spostamento, scegliere Gestisci raccolte.

2. Fare clic su Nuova raccolta.

3. Fare clic sul link accanto a È necessario connettersi a una origine dati? fare clic su Web crawl, quindi fare clic su Avanti.

4. Denominare la raccolta.

5. Se la lingua del contenuto del sito Web non è l'inglese, selezionare la lingua appropriata.

   Per un elenco delle lingue supportate, vedi Supporto linguistico.

6. Facoltativo: è possibile modificare la pianificazione della sincronizzazione.

   Per ulteriori informazioni, vedi Opzioni di pianificazione della ricerca per indicizzazione.

7. Specificare l'indirizzo URL del sito web che si desidera sottoporre a crawling.

   • Se il sito che si desidera sottoporre a crawling richiede un accesso, impostare l'autenticazione di base su On, aggiungere il nome URL della pagina al campo Inizio URL e quindi fare clic su Aggiungi.

     Aggiungere un nome utente e una password con accesso al sito e fare clic su Salva credenziali. È possibile specificare solo una serie di credenziali per raccolta.

     Ad esempio, è possibile specificare https://cloud.ibm.com come URL di partenza e aggiungere IBMid come credenziali.

     Se si desidera avviare la ricerca per indicizzazione da una sezione specifica del sito, specificarla nel campo URL di avvio. Il nome del dominio della sottosezione deve corrispondere al dominio del sito URL specificato in precedenza.

     Ad esempio, si può cambiare l'indirizzo iniziale URL in https://cloud.ibm.com/unifiedsupport/supportcenter.

   • Per tutte le pagine Web pubbliche che si desidera sottoporre a crawling, aggiungere l'indirizzo URL per la pagina principale del sito Web nel campo URL di partenza, quindi fare clic su Aggiungi. È possibile aggiungere più di una pagina iniziale.

     La barra finale ( / ) nel campo URL determina il sottoalbero da analizzare. Se si specifica https://www.example.com/banking/faqs.html, tutti gli URL che iniziano con https://www.example.com/banking/ vengono sottoposti a ricerca per indicizzazione, ad esempio. Se si specifica https://www.example.com/banking tutti gli URL che iniziano con https://www.example.com/ vengono sottoposti a ricerca per indicizzazione.

     Per impostazione predefinita, il numero di collegamenti consecutivi che il crawl segue dal sito iniziale URL è 2. Per modificare il numero di hop o per elencare le sezioni del sito Web da escludere dalla ricerca per indicizzazione, fare clic sull'icona di modifica.

     • Il numero massimo di hop consentito è 20.

     • Per specificare i percorsi di URL da escludere, aggiungere il percorso del sito. Ad esempio, se il sito iniziale URL è https://example.com, si può escludere https://example.com/pricing inserendo /pricing/.

       Qualsiasi sezione dell'indirizzo Web che contiene il percorso del sito specificato viene esclusa. Ad esempio, se si specifica /licenses/, la pagina https://example.com/products/licenses/europe viene esclusa, tra gli altri.

     • Se si desidera limitare il crawl a una singola pagina, aggiungere URL al campo URL di partenza. Ad esempio, https://www.example.com/banking/faqs.html. Fare clic sull'icona di modifica per impostare Numero massimo di collegamenti da seguire su 0.

     La funzione di crawling dinamico dei siti web, controllata dall'opzione Esegui JavaScript durante il crawl nelle impostazioni di crawl, è deprecata e sarà rimossa entro settembre 2025. Per ulteriori informazioni, consultare le Note di rilascio.

   • Se il sito Web su cui si desidera eseguire la ricerca per indicizzazione utilizza JavaScript per personalizzare il contenuto della pagina prima che venga visualizzato, è necessario eseguire un ulteriore passo.

     Dopo aver inserito il sito URL di partenza e aver fatto clic su Aggiungi, modificare il sito URL facendo clic sull'icona . Impostate Execute JavaScript during crawl switcher su On, quindi fate clic su Save.

     Quando l'elaborazione JavaScript è abilitata, ci vogliono da 3 a 4 volte di più per eseguire la ricerca per indicizzazione su una pagina. Utilizzarlo solo su singole pagine Web dove si sa che è necessario perché la pagina esegue il rendering del suo contenuto in modo dinamico. Se vengono visualizzati messaggi di timeout o la ricerca per indicizzazione termina senza aggiungere contenuto alla raccolta, diminuire il numero di pagine Web incluse nella ricerca per indicizzazione. Ad esempio, è possibile specificare la pagina esatta da sottoporre a ricerca per indicizzazione nel campo URL di avvio e impostare Numero massimo di link da seguire su 0.

   • Per connettersi a un sito web ospitato dietro un firewall, impostare prima il connettore IBM Cloud Satellite.

     Specificare i dettagli del connettore Satellite.

     Per specificare i dettagli, completare i seguenti passaggi:

     1. Espandi Ulteriori impostazioni di connessionee imposta Connect to on-premises network su On.
     2. Selezionare IBM Cloud Satellite® Connector come tipo di connessione. Questa opzione è selezionata per impostazione predefinita.
     3. Specificare l'URL dell'endpoint del connettore Satellite.

     

8. Facoltativo: aggiungere un altro indirizzo Web al campo URL di avvio.

   Il numero di URL iniziali per una singola raccolta deve essere inferiore a 100. Se hai un requisito per eseguire la ricerca per indicizzazione su un gran numero di siti web, vedi Ho bisogno di eseguire la ricerca per indicizzazione su molti siti. Qual è il mio limite?.

   Il numero di pagine Web sottoposte a ricerca per indicizzazione è limitato a 250.000, pertanto il crawler Web potrebbe non eseguire la ricerca per indicizzazione su tutti i siti Web specificati.

   Il numero di URL figlio per URL che vengono strisciati è limitato a 10.000. Se il numero di URL figlio all'interno di un qualsiasi sito URL supera i 10.000, il crawler non può elaborare il contenuto degli URL figlio.

9. Se si desidera limitare i tipi di file da aggiungere alla raccolta, è possibile elencare le estensioni file per i tipi di file da includere o escludere.

   Se gli URL per le pagine del sito Web non terminano in .html, utilizzare il filtro di esclusione invece del filtro di inclusione. È necessario aggiungere almeno un'estensione file da escludere.

   Per un elenco dei tipi di file supportati, vedere Tipi di file supportati.

10. Se si desidera che la ricerca per indicizzazione web estragga il testo dalle immagini sul sito, espandere Ulteriori impostazioni di elaborazionee impostare Applica OCR (optical character recognition) su On.

    Quando OCR è abilitato e i tuoi documenti contengono immagini, l'elaborazione richiede più tempo. Per ulteriori informazioni, consultare Riconoscimento dei caratteri ottici.

11. Fai clic su Finish.

La raccolta viene creata rapidamente. È necessario più tempo per l'elaborazione dei dati man mano che vengono aggiunti alla raccolta.

Se si desidera controllare l'avanzamento, andare alla pagina Attività. Dal riquadro di navigazione, fare clic su Gestisci raccolte, quindi fare clic per aprire la raccolta.