Cosa fanno i bot manager

Un bot manager è qualsiasi prodotto software che gestisce i bot. I gestori di bot dovrebbero essere in grado di bloccare alcuni bot e consentire ad altri di passare, invece di bloccare semplicemente tutto il traffico non umano. Se tutti i bot sono bloccati e i bot Google non sono in grado di indicizzare una pagina, ad esempio, tale pagina non può essere visualizzata nei risultati di ricerca di Google, riducendo notevolmente il traffico organico verso il sito Web.

Un bot manager efficace raggiunge i seguenti obiettivi:

• Distingue i bot dai visitatori umani
• Identifica la reputazione dei bot
• Identifica gli indirizzi IP di origine dei bot e il blocco in base alla reputazione IP
• Analizza il comportamento dei bot
• Aggiunge i bot "buoni" alle allowlist
• Verifica i potenziali bot con un test CAPTCHA, JavaScript injection o altri metodi
• La frequenza limita qualsiasi bot potenziale che sta utilizzando un servizio in modo eccessivo
• Nega l'accesso a determinati contenuti o risorse per i bot "cattivi"
• Offre contenuti alternativi ai bot

Cosa sono i bot e cosa fanno?

Un bot è un programma per computer che fa automaticamente alcune azioni su una rete. Le attività che un bot è programmato per eseguire sono abbastanza semplici, ma il bot può eseguire queste attività ripetutamente ad una velocità molto maggiore di quella di un essere umano.

I bot non accedono a Internet utilizzando un browser web tradizionale o un mouse per interagire con il contenuto visivo. I bot sono programmi software che in genere utilizzano un "browser headless" per effettuare richieste HTTP e altre attività.

I bot possono eseguire quasi tutte le attività ripetitive e non creative che possono essere automatizzate, inclusa la compilazione di moduli, la lettura e il download di contenuti, e anche tenere conversazioni di base con gli esseri umani come chatbot. Come qualsiasi strumento che può essere utilizzato per il bene, i bot possono essere utilizzati anche per comportamenti dannosi.

Differenze tra bot buoni e bot cattivi

Si stima che fino alla metà di tutto il traffico internet sia traffico bot. Alcuni bot sono dannosi, e alcuni sono "buoni".

I bot che abusano di prodotti o servizi online possono essere considerati "cattivi". I bot cattivi vanno da dannosi a semplicemente fastidiosi; ad esempio, entrare in account utente per rubare dati o acquistare biglietti per concerti online per assistere gli scalper.

Un bot che esegue un servizio utile può essere considerato "buono". Ad esempio, i chatbot del servizio clienti, i crawler del motore di ricerca e i bot di monitoraggio delle prestazioni sono generalmente buoni. I buoni bot cercano e rispettano le regole descritte nel file robots.txt di un sito web.

Il file robots.txt

Robots.txt è un file che descrive le regole per i bot che accedono alle proprietà su un server Web, sebbene il file stesso non applichi tali regole. Chiunque programmi un bot dovrebbe seguire un sistema di onore e assicurarsi che il proprio bot controlli il file robots.txt di un sito web prima di accedere al sito. I bot malevoli non seguono questo sistema, che genera la necessità di gestione dei bot.

Come funziona la gestione dei bot

Per identificare i bot, i gestori bot potrebbero utilizzare le sfide JavaScript (che determinano se viene utilizzato un browser web tradizionale) o le sfide CAPTCHA. Possono anche determinare quali utenti sono umani e quali sono bot per analisi comportamentale; confrontando il comportamento di un utente con il comportamento standard degli utenti nel passato.

Quando un bot viene identificato come non valido, può essere reindirizzato a una pagina diversa o bloccato completamente dall'accesso a una risorsa web.

Buoni bot possono essere aggiunti a un allowlist. Un bot manager può anche distinguere tra bot buoni e cattivi utilizzando ulteriori analisi comportamentali.

Un altro approccio di gestione bot è quello di utilizzare il file robots.txt per impostare un honeypot. Un honeypot è un falso bersaglio per i cattivi attori che, quando accedono, espone il cattivo attore come dannoso. Nel caso di un bot, un honeypot potrebbe essere una pagina web sul sito che è vietato ai bot dal file robots.txt. Buoni bot leggeranno il file robots.txt ed eviteranno quella pagina web; alcuni cattivi bot eseguiranno la scansione della pagina web. Tracciando l'indirizzo IP dei bot che accedono al honeypot, i bad bot possono essere identificati e bloccati.

Tipi di attacchi bot che mitigano la gestione dei bot

Una soluzione di gestione bot può aiutare a fermare una varietà di attacchi, tra cui:

• Attacchi DDoS
• Attacchi DoS
• Riempimento credenziali
• Imbottitura della carta di credito
• Forza brute password cracking
• Contenuto spam
• Data scraping e web scraping
• Raccolta indirizzo email
• Frode pubblicitaria
• Fai clic su frode

Queste attività dei bot non sono sempre considerate "dannose", ma un gestore di bot dovrebbe essere ancora in grado di mitigarle:

• Accumulo inventario
• Pubblicazione automatizzata su social forum o piattaforme
• Riempimento carrello degli acquisti

In che modo CIS gestisce i bot?

CIS raccoglie i dati dalle richieste che passano attraverso la sua rete ogni giorno. Con questi dati, basati sull'analisi del comportamento e sull'apprendimento automatico di Cloudflare, CIS può identificare la probabile attività del bot e può fornirti informazioni su come consentire o non consentire il traffico del bot specifico utilizzando le regole del firewall.

Cloudflare Bot Management utilizza i seguenti meccanismi di rilevamento, ognuno dei quali produce i propri punteggi, che vengono poi combinati per formare un singolo punteggio:

• Machine learning: un modello di machine learning per l'identificazione dei bot altamente accurato, addestrato su trilioni di richieste con un impatto minimo sulla velocità di elaborazione delle richieste
• Motore euristico: rileva i bot analizzando le richieste attraverso una serie di semplici regole che catturano i bot in base a determinati attributi delle richieste effettuate.
• Analisi comportamentale: rileva i bot che non sono mai stati visti, calcolando e analizzando il normale comportamento dei visitatori per un lungo periodo di tempo.
• Bot verificati: un modo per evitare blocchi accidentali di bot utili utilizzando diversi validator e una directory di bot di identità di bot uniche e buone.
• JS fingerprinting: un sistema challenge - response con challenge inserito nella pagina web sul margine di Cloudflare e reso in background per la validazione.