Qué hacen los gestores de bots

Un gestor de bots es cualquier producto de software que gestiona bots. Los gestores de bots deberían poder bloquear algunos bots y permitir el paso de otros, en lugar de simplemente bloquear todo el tráfico no humano. Si todos los bots están bloqueados y los bots de Google no pueden indexar una página, por ejemplo, entonces esa página no puede aparecer en los resultados de búsqueda de Google, lo que da como resultado una gran reducción del tráfico orgánico al sitio web.

Un gestor de bots eficaz logra los siguientes objetivos:

• Distingue los bots de los visitantes humanos
• Identifica la reputación del bot
• Identifica las direcciones IP de origen de bot y el bloque basándose en la reputación de IP
• Analiza el comportamiento del bot
• Añade bots "buenos" a las listas de elementos permitidos
• Desafía potenciales bots con una prueba CAPTCHA, inyección JavaScript u otros métodos
• La velocidad limita cualquier bot potencial que sobreutilice un servicio
• Deniega el acceso a determinado contenido o recursos para bots "incorrectos"
• Sirve contenido alternativo a bots

¿Qué son los bots y qué hacen?

Un bot es un programa informático que realiza automáticamente determinadas acciones en una red. Las tareas que un bot está programado para hacer son bastante simples, pero el bot puede hacer estas tareas repetidamente a un ritmo mucho más rápido que un humano puede.

Los bots no acceden a Internet utilizando un navegador web tradicional o un ratón para interactuar con el contenido visual. Los bots son programas de software que normalmente utilizan un "navegador autónomo" para realizar solicitudes HTTP y otras actividades.

Los bots pueden hacer casi cualquier tarea repetitiva y no creativa que se pueda automatizar, incluyendo llenar formularios, leer y descargar contenido, e incluso mantener conversaciones básicas con los humanos como chatbots. Al igual que cualquier herramienta que se pueda utilizar para bien, los bots también se pueden utilizar para comportamientos maliciosos.

Diferencias entre bots buenos y bots malos

Se estima que hasta la mitad de todo el tráfico de internet es tráfico bot. Algunos bots son maliciosos, y algunos son "buenos".

Los bots que hacen mal uso de productos o servicios en línea pueden considerarse "malos". Los malos bots van desde maliciosos hasta simplemente molestos; por ejemplo, irrumpiendo en cuentas de usuario para robar datos o comprando boletos de concierto en línea para ayudar a los escaladores.

Un bot que realiza un servicio útil se puede considerar "bueno". Por ejemplo, los chatbots de servicio al cliente, los rastreadores de motores de búsqueda y los bots de supervisión de rendimiento son generalmente buenos bots. Los buenos bots buscan y cumplen con las reglas descritas en el archivo robots.txt de un sitio web.

El archivo robots.txt

Robots.txt es un archivo que describe las reglas para los bots que acceden a las propiedades de un servidor web, aunque el propio archivo no impone estas reglas. Se espera que cualquiera que programe un bot siga un sistema de honor y se asegure de que su bot revisa el archivo robots.txt de un sitio web antes de acceder al sitio web. Los bots maliciosos no siguen este sistema, lo que genera la necesidad de la gestión de bots.

Cómo funciona la gestión de bots

Para identificar bots, los gestores de bots pueden utilizar los desafíos de JavaScript (que determinan si se está utilizando un navegador web tradicional) o los desafíos de CAPTCHA. También pueden determinar qué usuarios son humanos y cuáles son bots mediante análisis de comportamiento; comparando el comportamiento de un usuario con el comportamiento estándar de los usuarios en el pasado.

Cuando un bot se identifica como incorrecto, se puede redirigir a una página diferente o bloquear el acceso a un recurso web por completo.

Se pueden añadir buenos bots a una lista de elementos permitidos. Un gestor de bots también puede distinguir entre bots buenos y malos utilizando un análisis de comportamiento adicional.

Otro enfoque de gestión de bots es utilizar el archivo robots.txt para configurar un honeypot. Un honeypot es un blanco falso para los malos actores que, cuando se accede, expone al mal actor como malicioso. En el caso de un bot, un honeypot podría ser una página web en el sitio que está prohibido a los bots por el archivo robots.txt. Los bots correctos leerán el archivo robots.txt y evitarán esa página web; algunos bots incorrectos rastrearán la página web. Al rastrear la dirección IP de los bots que acceden al honeypot, los bots malos pueden ser identificados y bloqueados.

Los tipos de ataques de bot mitigan la gestión de bots

Una solución de gestión de bots puede ayudar a detener una variedad de ataques, incluyendo los siguientes:

• Ataques DDoS
• Ataques DoS
• Relleno de credenciales
• Relleno de tarjeta de crédito
• Agrietamiento de contraseña de fuerza bruta
• Contenido de correo no deseado
• Extracción de datos y extracción web
• Recogida de direcciones de correo electrónico
• Fraude publicitario
• Pulse fraude

Estas actividades de bot no siempre se consideran "maliciosas", pero un gestor de bots todavía debería poder mitigarlas:

• Acaparamiento de inventario
• Publicación automatizada en foros o plataformas sociales
• Relleno de carro de la compra

¿Cómo gestiona CIS los bots?

CIS recopila datos de las solicitudes que fluyen a través de su red cada día. Con estos datos, basados en el aprendizaje automático y el análisis del comportamiento de Cloudflare, CIS puede identificar la actividad probable del bot y puede proporcionarle información sobre cómo permitir o no permitir el tráfico de bots específico utilizando reglas de cortafuegos.

Cloudflare Bot Management utiliza los siguientes mecanismos de detección, cada uno de los cuales genera sus propias puntuaciones, que luego se combinan para formar una única puntuación:

• Machine learning: un modelo de machine learning de identificación de bots de gran precisión entrenado en billones de solicitudes con un impacto mínimo en la velocidad de procesamiento de solicitudes
• Motor de heurística: detecta bots mediante la exploración de solicitudes a través de un conjunto de reglas simples que capturan bots basándose en determinados atributos de las solicitudes realizadas.
• Análisis de comportamiento: Detecta bots que nunca se han visto, calculando y analizando el comportamiento normal de los visitantes durante un período de tiempo prolongado.
• Bots verificados: Una forma de evitar bloques accidentales de bots útiles utilizando varios validadores y un directorio de bots de identidades de bots buenas únicas.
• Huellas dactilares JS: Un sistema de respuesta a desafíos con preguntas de contraseña inyectadas en la página web en el borde de Cloudflare y representadas en segundo plano para su validación.