봇 관리자가 하는 일

봇 관리자는 봇을 관리하는 모든 소프트웨어 제품입니다. 봇 관리자는 사람이 아닌 모든 트래픽을 단순히 차단하는 대신 일부 봇은 차단하고 다른 봇은 통과하도록 허용할 수 있어야 합니다. 모든 봇이 차단된 경우 Google 예를 들어 봇은 페이지를 색인화할 수 없으며 해당 페이지는 Google 결과적으로 웹사이트에 대한 유기적 트래픽이 크게 감소했습니다.

효과적인 봇 관리자는 다음 목표를 달성합니다.

• 봇과 인간 방문자를 구별합니다.
• 봇 평판 식별
• IP 평판을 기반으로 봇 원본 IP 주소를 식별하고 차단합니다.
• 봇 행동 분석
• 허용 목록에 "좋은" 봇을 추가합니다.
• 다음과 같은 방법으로 잠재적인 봇에 도전합니다. CAPTCHA 시험, JavaScript 주사 또는 다른 방법
• 서비스를 과도하게 사용하는 잠재적인 봇의 비율을 제한합니다.
• "나쁜" 봇의 특정 콘텐츠나 리소스에 대한 액세스를 거부합니다.
• 봇에게 대체 콘텐츠 제공

봇이란 무엇이며 어떤 역할을 합니까?

봇은 네트워크에서 특정 작업을 자동으로 수행하는 컴퓨터 프로그램입니다. 봇이 수행하도록 프로그래밍된 작업은 매우 간단하지만 봇은 인간이 할 수 있는 것보다 훨씬 빠른 속도로 이러한 작업을 반복적으로 수행할 수 있습니다.

봇은 시각적 콘텐츠와 상호 작용하기 위해 기존 웹 브라우저나 마우스를 사용하여 인터넷에 액세스하지 않습니다. 봇은 일반적으로 "헤드리스 브라우저"를 사용하여 HTTP 요청 및 기타 활동을 수행하는 소프트웨어 프로그램입니다.

봇은 양식 작성, 콘텐츠 읽기 및 다운로드, 심지어 챗봇으로서 인간과 기본적인 대화를 나누는 등 자동화할 수 있는 거의 모든 반복적이고 비창의적인 작업을 수행할 수 있습니다. 선의로 사용될 수 있는 모든 도구와 마찬가지로 봇도 악의적인 행동에 사용될 수 있습니다.

좋은 봇과 나쁜 봇의 차이점

전체 인터넷 트래픽의 최대 절반이 봇 트래픽인 것으로 추정됩니다. 일부 봇은 악의적이고 일부는 "좋은" 봇입니다.

온라인 제품이나 서비스를 오용하는 봇은 "나쁜" 봇으로 간주될 수 있습니다. 나쁜 봇은 악의적인 것부터 단순히 짜증나는 것까지 다양합니다. 예를 들어 데이터를 훔치기 위해 사용자 계정에 침입하거나 스컬퍼를 돕기 위해 온라인으로 콘서트 티켓을 구매하는 행위 등이 있습니다.

유용한 서비스를 수행하는 봇은 "좋은" 봇으로 간주될 수 있습니다. 예를 들어 고객 서비스 챗봇, 검색 엔진 크롤러, 성능 모니터링 봇은 일반적으로 좋은 봇입니다. 좋은 봇은 웹사이트의 규칙에 설명된 규칙을 찾고 준수합니다.robots.txt 파일.

그만큼 robots.txt 파일

Robots.txt 파일 자체가 이러한 규칙을 시행하지는 않지만 웹 서버의 속성에 액세스하는 봇에 대한 규칙을 설명하는 파일입니다. 봇을 프로그래밍하는 사람은 누구나 명예 시스템을 따르고 봇이 웹 사이트의 정보를 확인해야 합니다.robots.txt 웹사이트에 접속하기 전에 파일을 다운로드하세요. 악성 봇은 이 시스템을 따르지 않으므로 봇 관리가 필요합니다.

봇 관리 작동 방식

봇을 식별하기 위해 봇 관리자는 다음을 사용할 수 있습니다. JavaScript 챌린지(기존 웹 브라우저를 사용하고 있는지 여부를 결정하는 문제) 또는 CAPTCHA 도전. 또한 행동 분석을 통해 어떤 사용자가 인간이고 어떤 사용자가 봇인지 결정할 수 있습니다. 사용자의 행동을 과거 사용자의 표준 행동과 비교함으로써.

봇이 불량으로 식별되면 다른 페이지로 리디렉션되거나 웹 리소스에 대한 액세스가 완전히 차단될 수 있습니다.

좋은 봇을 허용 목록에 추가할 수 있습니다. 봇 관리자는 추가 행동 분석을 사용하여 좋은 봇과 나쁜 봇을 구별할 수도 있습니다.

또 다른 봇 관리 접근 방식은 robots.txt 허니팟을 설정하기 위한 파일입니다. 허니팟은 액세스 시 악의적인 행위자를 악의적인 것으로 노출시키는 악의적인 행위자를 위한 가짜 대상입니다. 봇의 경우, 허니팟은 봇에 의해 금지된 사이트의 웹페이지일 수 있습니다.robots.txt 파일. 좋은 봇은 다음을 읽을 것입니다.robots.txt 파일을 제출하고 해당 웹페이지를 피하세요. 일부 나쁜 봇은 웹페이지를 크롤링합니다. 허니팟에 접속하는 봇의 IP 주소를 추적함으로써 악성 봇을 식별하고 차단할 수 있습니다.

봇 공격의 종류 봇 관리로 완화

봇 관리 솔루션은 다음을 포함한 다양한 공격을 차단하는 데 도움이 될 수 있습니다.

• DDoS 공격
• DoS 공격
• 크리덴셜 스터핑
• 신용카드 스터핑
• 무차별 비밀번호 크래킹
• 스팸 콘텐츠
• 데이터 스크래핑 및 웹 스크래핑
• 이메일 주소 수집
• 광고 사기
• 클릭 사기

이러한 봇 활동이 항상 "악성"으로 간주되는 것은 아니지만 봇 관리자는 이를 완화할 수 있어야 합니다.

• 재고 비축
• 소셜 포럼이나 플랫폼에 자동 게시
• 장바구니 채우기

어떻게 CIS 봇을 관리하시나요?

CIS 매일 네트워크를 통해 흐르는 요청으로부터 데이터를 수집합니다. Cloudflare의 기계 학습 및 행동 분석을 기반으로 하는 이 데이터를 통해 CIS 봇 활동 가능성을 식별하고 방화벽 규칙을 사용하여 특정 봇 트래픽을 허용하거나 허용하지 않는 방법에 대한 정보를 제공할 수 있습니다.

Cloudflare Bot Management는 다음과 같은 감지 메커니즘을 사용하여 각각 자체 점수를 생성한 후 이를 결합하여 단일 점수를 형성합니다.

• 기계 학습: 요청 처리 속도에 미치는 영향을 최소화하면서 수조 건의 요청에 대해 훈련된 매우 정확한 봇 식별 기계 학습 모델입니다.
• 휴리스틱 엔진: 요청의 특정 속성을 기반으로 봇을 캡처하는 간단한 규칙 세트를 통해 요청을 선별하여 봇을 탐지합니다.
• 행동 분석: 한 번도 본 적이 없는 봇을 탐지하여 장기간에 걸쳐 정상적인 방문자 행동을 계산 및 분석합니다.
• 검증된 봇: 여러 유효성 검사기와 고유한 좋은 봇 ID가 포함된 봇 디렉터리를 사용하여 유용한 봇이 실수로 차단되는 것을 방지하는 방법입니다.
• JS 지문 인식: Cloudflare 에지의 웹 페이지에 챌린지를 삽입하고 검증을 위해 백그라운드에서 렌더링하는 챌린지-응답 시스템입니다.