Was Bot-Manager tun

Ein Bot-Manager ist ein beliebiges Softwareprodukt, das Bots verwaltet. Bot-Manager sollten in der Lage sein, einige Bots zu blockieren und andere zuzulassen, anstatt einfach den gesamten nicht-menschlichen Datenverkehr zu blockieren. Wenn alle Bots blockiert sind und Google-Bots beispielsweise keine Seite indexieren können, kann diese Seite nicht in Google-Suchergebnissen angezeigt werden, was zu einem stark reduzierten organischen Datenverkehr auf die Website führt.

Ein effektiver Bot Manager erreicht die folgenden Ziele:

• Unterscheidet Bots von menschlichen Besuchern
• Identifiziert die Bot-Reputation.
• Identifiziert die IP-Adressen und den Block des Bot-Ursprungs auf der Basis der IP-Reputation.
• Analysiert das Bot-Verhalten
• Fügt "gute" Bots zu Zulassungslisten hinzu
• Fordert potenzielle Bots mit einem CAPTCHA-Test, einer JavaScript-Injektion oder anderen Methoden an.
• Ratenbegrenzungen für potenzielle Bots, die einen Service überverwenden
• Verweigert den Zugriff auf bestimmte Inhalte oder Ressourcen für "schlechte" Bots
• Stellt alternativen Inhalt für Bots bereit

Was sind Bots und was tun sie?

Ein Bot ist ein Computerprogramm, das automatisch bestimmte Aktionen in einem Netz ausführt. Die Tasks, für die ein Bot programmiert ist, sind ziemlich einfach, aber der Bot kann diese Tasks wiederholt mit einer viel schnelleren Geschwindigkeit ausführen als ein Mensch.

Bots greifen nicht über einen herkömmlichen Web-Browser oder eine Maus auf das Internet zu, um mit visuellen Inhalten zu interagieren. Bots sind Softwareprogramme, die normalerweise einen "Headless Browser" verwenden, um HTTP-Anforderungen und andere Aktivitäten auszuführen.

Bots können fast jede repetitive, nicht-kreative Aufgabe erledigen, die automatisiert werden kann, einschließlich Ausfüllen von Formularen, Lesen und Herunterladen von Inhalten und sogar grundlegende Gespräche mit Menschen als Chatbots führen. Wie jedes Tool, das für immer verwendet werden kann, können Bots auch für schädliches Verhalten verwendet werden.

Unterschiede zwischen guten und schlechten Bots

Es wird geschätzt, dass bis zur Hälfte des gesamten Internetdatenverkehrs Bot-Datenverkehr ist. Einige Bots sind bösartig, andere "gut".

Bots, die Online-Produkte oder -Dienste missbrauchen, können als "schlecht" angesehen werden. Schlechte Bots reichen von bösartig bis einfach lästig; zum Beispiel, Einbruch in Benutzerkonten, um Daten zu stehlen oder Konzertkarten online zu kaufen, um Scalper zu unterstützen.

Ein Bot, der einen hilfreichen Service ausführt, kann als "gut" eingestuft werden. Zum Beispiel sind Chatbots für den Kundenservice, Crawler für Suchmaschinen und Leistungsüberwachungsbots im Allgemeinen gute Bots. Gute Bots suchen und halten sich an die Regeln, die in der Datei robots.txt einer Website beschrieben sind.

Datei robots.txt

Robots.txt ist eine Datei, die die Regeln für Bots beschreibt, die auf Eigenschaften auf einem Web-Server zugreifen, obwohl die Datei selbst diese Regeln nicht umsetzt. Jeder, der einen Bot programmiert, soll einem Ehrensystem folgen und sicherstellen, dass sein Bot vor dem Zugriff auf die Website die robots.txt-Datei einer Website überprüft. Böswillige Bots folgen diesem System nicht, was die Notwendigkeit für die Bot-Verwaltung generiert.

Funktionsweise des Bot-Managements

Um Bots zu identifizieren, können Bot-Manager JavaScript-Herausforderungen (die bestimmen, ob ein traditioneller Web-Browser verwendet wird) oder CAPTCHA-Herausforderungen verwenden. Sie können auch durch Verhaltensanalyse bestimmen, welche Benutzer Menschen und welche Bots sind; indem sie das Verhalten eines Benutzers mit dem Standardverhalten von Benutzern in der Vergangenheit vergleichen.

Wenn ein Bot als fehlerhaft identifiziert wird, kann er auf eine andere Seite umgeleitet oder für den Zugriff auf eine Webressource blockiert werden.

Gute Bots können einer Zulassungsliste hinzugefügt werden. Ein Bot-Manager kann mithilfe weiterer Verhaltensanalysen auch zwischen guten und schlechten Bots unterscheiden.

Ein weiterer Bot-Management-Ansatz besteht darin, die Datei robots.txt zum Einrichten eines Honeypot zu verwenden. Ein Honeypot ist ein gefälschtes Ziel für schlechte Schauspieler, die, wenn zugegriffen wird, macht den schlechten Schauspieler als bösartig. Im Falle eines Bots könnte ein Honeypot eine Webseite auf der Website sein, die durch die Datei robots.txt verboten ist. Gute Bots lesen die Datei robots.txt und vermeiden diese Webseite; einige schlechte Bots durchsuchen die Webseite. Durch Verfolgung der IP-Adresse der Bots, die auf den Honeypot zugreifen, können fehlerhafte Bots identifiziert und blockiert werden.

Arten von Bot-Attacken durch Bot-Management mindern

Eine Bot-Management-Lösung kann dazu beitragen, eine Vielzahl von Angriffen zu stoppen, einschließlich der folgenden:

• DDoS-Angriffe
• DoS-Attacken
• Füllungen für Berechtigungsnachweise
• Kreditkartenfüllung
• Brute-Force-Kennwortknacken
• Spaminhalt
• Data Scraping und Web-Scraping
• E-Mail-Adressübernahme
• Anzeigenbetrug
• Klickbetrug

Diese Bot-Aktivitäten werden nicht immer als "böswillig" betrachtet, aber ein Bot-Manager sollte trotzdem in der Lage sein, sie zu mindern:

• Lagerbestandshorten
• Automatisiertes Posten in sozialen Foren oder Plattformen
• Einkaufskorbfüllung

Wie werden Bots mit CIS verwaltet?

CIS erfasst täglich Daten aus Anforderungen, die durch das Netz fließen. Mit diesen Daten, die auf der maschinellen Lernfunktion und der Verhaltensanalyse von Cloudflare basieren, kann CIS wahrscheinliche Bot-Aktivitäten identifizieren und Ihnen Informationen dazu bereitstellen, wie Sie bestimmten Bot-Datenverkehr mithilfe von Firewallregeln zulassen oder nicht zulassen können.

Cloudflare Bot Management verwendet die folgenden Erkennungsmechanismen, die jeweils eigene Scores erzeugen, die dann zu einem einzigen Score kombiniert werden:

• Maschinelles Lernen: Ein hochpräzises Bot-ID-Modell für maschinelles Lernen, das auf Billionen von Anforderungen mit minimalen Auswirkungen auf die Verarbeitungsgeschwindigkeit von Anforderungen trainiert wurde
• Heuristik-Engine: Erkennt Bots durch Screening-Anforderungen anhand einer Gruppe einfacher Regeln, die Bots auf der Basis bestimmter Attribute der Anforderungen erfassen.
• Verhaltensanalyse: Erkennt Bots, die noch nie gesehen wurden, und berechnet und analysiert das normale Besucherverhalten über einen längeren Zeitraum.
• Verifizierte Bots: Eine Möglichkeit, versehentliche Blockierungen nützlicher Bots zu vermeiden, indem mehrere Validatoren und ein Bots-Verzeichnis eindeutiger guter Bot-Identitäten verwendet werden.
• JS-Fingerabdruck: Ein Abfrage-/Antwortsystem mit einer Abfrage, die in die Webseite am Rand von Cloudflare injiziert und zur Validierung im Hintergrund wiedergegeben wird.