O que os gerenciadores de robôs fazem

Um bot manager é qualquer produto de software que gerencia robôs. Os gerentes de bot devem ser capazes de bloquear alguns bots e permitir que outros passem, em vez de simplesmente bloquear todo o tráfego não humano. Se todos os robôs estiverem bloqueados e os robôs do Google não puderem indexar uma página, por exemplo, essa página não poderá aparecer nos resultados da procura Google, resultando em um tráfego orgânico muito reduzido para o website

Um gerenciador de robô efetivo realiza os seguintes objetivos:

• Distingue bots de visitantes humanos
• Identifica a reputação do robô
• Identifica os endereços IP de origem do robô e o bloco baseado na reputação do IP
• Analisa o comportamento do robô
• Inclui robôs "bons" nas listas de permissões
• Desafia potenciais robôs com um teste CAPTCHA, uma injeção de JavaScript ou outros métodos
• A taxa limita qualquer robô em potencial que esteja superusando um serviço
• Nega o acesso a determinados conteúdos ou recursos para bots "ruins"
• Entrega conteúdo alternativo para robôs

O que são bots e o que eles fazem?

Um bot é um programa de computador que executa automaticamente certas ações em uma rede. As tarefas que um bot está programado para fazer são bastante simples, mas o bot pode fazer essas tarefas repetidamente a uma taxa muito mais rápida do que um humano pode.

Os bots não acessam a internet usando um navegador web tradicional ou um mouse para interagir com conteúdo visual. Bots são programas de software que normalmente usam um "navegador sem interface com o usuário" para fazer solicitações de HTTP e outras atividades.

Os bots podem fazer quase qualquer tarefa repetitiva e não criativa que possa ser automatizada, incluindo o preenchimento de formulários, leitura e download de conteúdo, e até mesmo manter conversas básicas com humanos como chatbots. Como qualquer ferramenta que pode ser usada para o bem, bots também podem ser usados para comportamento malicioso.

Diferenças entre bots bons e bots ruins

Estima-se que até metade de todo o tráfego de internet é tráfego de bot. Alguns bots são maliciosos e outros são "bons".

Bots que usam indevidamente produtos ou serviços online podem ser considerados "ruins". Bots ruins variam de maliciosos a simplesmente irritantes; por exemplo, invadir contas de usuários para roubar dados ou comprar ingressos de shows on-line para ajudar escaladores.

Um robô que executa um serviço útil pode ser considerado "bom". Por exemplo, chatbots de atendimento ao cliente, rastreadores de mecanismos de pesquisa e robôs de monitoramento de desempenho geralmente são bons robôs. Bons robôs procuram e cumprem as regras descritas no arquivo robots.txt de um website.

O arquivo robots.txt

Robots.txt é um arquivo que descreve as regras para robôs acessando propriedades em um servidor da web, embora o próprio arquivo não aplique essas regras.. Qualquer pessoa programando um bot deve seguir um sistema de honra e certificar-se de que seu bot verifique o arquivo robots.txt de um website antes de acessar o website. Os bots maliciosos não seguem esse sistema, que gera a necessidade de gerenciamento de bots.

Como o gerenciamento de robôs funciona

Para identificar robôs, os gerenciadores de robôs podem usar desafios JavaScript (que determinam se um navegador da web tradicional está sendo usado) ou desafios CAPTCHA. Eles também podem determinar quais usuários são humanos e quais são robôs por análise comportamental; comparando o comportamento de um usuário com o comportamento padrão de usuários no passado.

Quando um robô é identificado como ruim, ele pode ser redirecionado para uma página diferente ou bloqueado de acessar um recurso da web.

Bons robôs podem ser incluídos em uma lista de permissões. Um bot manager também pode distinguir entre bots bons e maus usando análises comportamentais adicionais.

Outra abordagem de gerenciamento de robôs é usar o arquivo robots.txt para configurar um honeypot. Um honeypot é um alvo falso para maus atores que, quando acessado, expõe o mau ator como malicioso. No caso de um bot, um honeypot pode ser uma página web no site que é proibida a bots pelo arquivo robots.txt. Bots bons lerão o arquivo robots.txt e evitarão essa página da web; alguns bots ruins rastrearão a página da web.. Rastreando o endereço IP dos bots que acessam o honeypot, bots ruins podem ser identificados e bloqueados.

Tipos de gerenciamento de bot de ataques de bot

Uma solução de gerenciamento de robôs pode ajudar a parar uma variedade de ataques, incluindo os seguintes:

• Ataques DDoS
• Ataques DoS
• Preenchimento de credencial.
• Preenchimento de cartão de crédito
• Quebra de senha de força bruta
• Conteúdo de spam:
• Extração de dados e extração da web
• Coleta de endereço de email
• Fraude de anúncios.
• Fraude de clique

Essas atividades de robô nem sempre são consideradas "maliciosas", mas um gerenciador de robô ainda deve ser capaz de mitigá-las:

• Acumulação de inventário
• Postagem automatizada em fóruns ou plataformas sociais
• Recheio do carrinho de compras..

Como o CIS gerencia robôs?

O CIS coleta dados de solicitações que fluem por meio de sua rede todos os dias. Com esses dados, desenvolvidos com a análise de aprendizado de máquina e de comportamento do Cloudflare, o CIS pode identificar a provável atividade de robô e fornecer informações sobre como permitir ou desaprovar o tráfego de robô específico usando Regras de firewall

O Cloudflare Bot Management usa os mecanismos de detecção a seguir, cada um produzindo suas próprias pontuações, que são, então, combinadas para formar uma única pontuação:

• Aprendizado de máquina: um modelo de aprendizado de máquina de identificação de robô altamente preciso treinado em trilhões de solicitações com impacto mínimo para solicitar a velocidade de processamento
• Mecanismo de heurística: Detecta robôs por solicitações de triagem por meio de um conjunto de regras simples que capturam robôs com base em determinados atributos das solicitações feitas.
• Análise comportamental: Detecta robôs que nunca foram vistos, calculando e analisando o comportamento normal do visitante durante um longo período de tempo.
• Bots verificados: Uma maneira de evitar blocos acidentais de bots úteis usando vários validadores e um diretório de bots de boas identidades de bots.
• Impressão digital de JS: um sistema de resposta de desafio com desafio injetado na página da Web na borda da Cloudflare e renderizado em segundo plano para validação