Ce que font les gestionnaires de bots

Un gestionnaire de bot est un produit logiciel qui gère des bots. Les gestionnaires de bots devraient être en mesure de bloquer certains bots et d'en autoriser d'autres, au lieu de simplement bloquer tout le trafic non humain. Si tous les bots sont bloqués et que les bots Google ne sont pas en mesure d'indexer une page, par exemple, cette page ne peut pas s'afficher dans les résultats de la recherche Google, ce qui réduit considérablement le trafic organique vers le site Web.

Un gestionnaire de bot efficace atteint les objectifs suivants:

• Distingue les bots des visiteurs humains
• Identifie la réputation du bot
• Identifie les adresses IP d'origine de bot et le bloc en fonction de la réputation IP
• Analyse le comportement du bot
• Ajoute des bots "bons" aux listes autorisées
• Met à l'épreuve les bots potentiels avec un test CAPTCHA, une injection JavaScript ou d'autres méthodes
• Limite le débit de tout bot potentiel qui utilise un service de manière excessive
• Refuse l'accès à certains contenus ou ressources pour les bots "mauvais"
• Fournit un contenu alternatif aux bots

Que sont les bots et que font-ils?

Un bot est un programme informatique qui effectue automatiquement certaines actions sur un réseau. Les tâches qu'un bot est programmé pour effectuer sont assez simples, mais le bot peut effectuer ces tâches de manière répétée à un rythme beaucoup plus rapide qu'un humain.

Les bots n'accèdent pas à Internet à l'aide d'un navigateur Web traditionnel ou d'une souris pour interagir avec le contenu visuel. Les bots sont des programmes logiciels qui utilisent généralement un "navigateur sans interface graphique" pour effectuer des demandes HTTP et d'autres activités.

Les bots peuvent effectuer presque toutes les tâches répétitives et non créatives qui peuvent être automatisées, y compris remplir des formulaires, lire et télécharger du contenu, et même tenir des conversations de base avec les humains en tant que chatbots. Comme n'importe quel outil qui peut être utilisé pour le bien, les bots peuvent également être utilisés pour le comportement malveillant.

Différences entre les bons bots et les mauvais bots

On estime que jusqu'à la moitié de tout le trafic Internet est du trafic de bot. Certains bots sont malveillants, et d'autres sont "bons".

Les bots qui abusent de produits ou de services en ligne peuvent être considérés comme "mauvais". Les mauvais bots vont de malveillants à simplement ennuyeux ; par exemple, entrer dans des comptes utilisateur pour voler des données ou acheter des billets de concert en ligne pour aider les scalpers.

Un bot qui effectue un service utile peut être considéré comme "bon". Par exemple, les agents conversationnels du service clientèle, les moteurs d'exploration de moteur de recherche et les bots de surveillance des performances sont généralement de bons bots. Les bons bots recherchent et respectent les règles décrites dans le fichier robots.txt d'un site Web.

Le fichier robots.txt

Robots.txt est un fichier qui décrit les règles d'accès des bots aux propriétés sur un serveur Web, bien que le fichier lui-même n'applique pas ces règles. Toute personne programmant un bot doit suivre un système d'honneur et s'assurer que son bot vérifie le fichier robots.txt d'un site Web avant d'accéder au site Web. Les bots malveillants ne suivent pas ce système, ce qui génère un besoin de gestion des bots.

Fonctionnement de la gestion des bots

Pour identifier les bots, les gestionnaires de bots peuvent utiliser des demandes d'authentification JavaScript (qui déterminent si un navigateur Web traditionnel est utilisé) ou des demandes d'authentification CAPTCHA. Ils peuvent également déterminer quels utilisateurs sont des humains et quels sont des bots par analyse comportementale ; en comparant le comportement d'un utilisateur au comportement standard des utilisateurs dans le passé.

Lorsqu'un bot est identifié comme étant incorrect, il peut être redirigé vers une autre page ou bloqué pour accéder à une ressource Web.

Les bons bots peuvent être ajoutés à une liste autorisée. Un gestionnaire de bot peut également faire la distinction entre les bons et les mauvais bots en utilisant une analyse comportementale plus approfondie.

Une autre approche de gestion de bot consiste à utiliser le fichier robots.txt pour configurer un pot de miel. Un pot de miel est une fausse cible pour les mauvais acteurs qui, lorsqu'on y accède, expose le mauvais acteur comme étant malveillant. Dans le cas d'un bot, un pot de miel peut être une page Web sur le site qui est interdite aux bots par le fichier robots.txt. Les bons bots lisent le fichier robots.txt et évitent cette page Web ; certains bots mauvais explorent la page Web. En suivant l'adresse IP des bots qui accèdent au pot de miel, les bots défectueux peuvent être identifiés et bloqués.

Les types d'attaques par bot atténuent la gestion des bots

Une solution de gestion de bot peut aider à arrêter une variété d'attaques, notamment les suivantes:

• Attaques DDoS
• Attaques DoS
• Empotage des données d'identification
• Empotage de carte de crédit
• Force brute de craquage des mots de passe
• Contenu de spam
• Scraping de données et scraping de web
• Collecte d'adresses électroniques
• Fraude publicitaire
• Cliquez sur fraude

Ces activités de bot ne sont pas toujours considérées comme "malveillantes", mais un gestionnaire de bot doit pouvoir les atténuer:

• Stockage des stocks
• Publication automatisée sur des forums ou des plateformes sociaux
• Empotage du panier

Comment CIS gère-t-il les bots?

CIS collecte les données des demandes transitant par son réseau tous les jours. Avec ces données, optimisées par l'apprentissage automatique et l'analyse du comportement de Cloudflare, CIS peut identifier l'activité probable du bot et peut vous fournir des informations sur la manière d'autoriser ou d'interdire le trafic de bot spécifique à l'aide de règles de pare-feu.

Cloudflare Bot Management utilise les mécanismes de détection suivants, chacun produisant ses propres scores, qui sont ensuite combinés pour former un score unique:

• Apprentissage automatique: un modèle d'apprentissage automatique d'identification de bot très précis entraîné sur des milliards de demandes avec un impact minimal sur la vitesse de traitement des demandes
• Moteur heuristique: détecte les bots en filtrant les demandes via un ensemble de règles simples qui capturent les bots en fonction de certains attributs des demandes effectuées.
• Analyse comportementale: détecte les bots qui n'ont jamais été vus, calcule et analyse le comportement normal des visiteurs sur une période de temps prolongée.
• Bots vérifiés: un moyen d'éviter les blocs accidentels de bots utiles en utilisant plusieurs valideurs et un répertoire de bots d'identités de bots uniques.
• Empreinte JS: système de réponse à la demande d'authentification avec la demande d'authentification injectée dans la page Web sur le bord de Cloudflare et rendue en arrière-plan pour validation.