ボット・マネージャーの機能

ボット・マネージャーは、ボットを管理する任意のソフトウェア製品です。 ボット・マネージャーは、人間以外のすべてのトラフィックを単にブロックするのではなく、一部のボットをブロックし、他のボットを通過させることができなければなりません。 例えば、すべてのボットがブロックされ、 Google ボットがページに索引を付けることができない場合、そのページは Google 検索結果に表示されないため、Web サイトへのオーガニック・トラフィックが大幅に削減されます。

効果的なボット・マネージャーは、以下の目標を達成します。

• ボットを人間の訪問者と区別する
• ボットの評判を識別します
• IP レピュテーションに基づいてボット・オリジンの IP アドレスとブロックを識別します
• ボットの動作を分析します
• 「良好」なボットを許可リストに追加
• CAPTCHA テスト、 JavaScript インジェクション、またはその他のメソッドを使用して、潜在的なボットにチャレンジします。
• 速度は、サービスを過剰使用している潜在的なボットを制限します。
• 「不良」ボットの特定のコンテンツまたはリソースへのアクセスを拒否します。
• ボットに代替コンテンツを提供

ボットとは何ですか? ボットは何をしますか?

ボットは、ネットワーク上で特定のアクションを自動的に実行するコンピューター・プログラムです。 ボットが実行するようにプログラムされているタスクはかなり単純ですが、ボットはこれらのタスクを人間よりもはるかに高速に繰り返し実行できます。

ボットは、従来の Web ブラウザーやマウスを使用してビジュアル・コンテンツと対話することでインターネットにアクセスすることはありません。 ボットは、通常、「ヘッドレス・ブラウザー」を使用して HTTP 要求やその他のアクティビティーを行うソフトウェア・プログラムです。

ボットは、フォームへの入力、コンテンツの読み取りとダウンロード、チャットボットとしての人間との基本的な会話など、自動化が可能な、ほぼすべての反復的で非クリエイティブなタスクを実行できます。 良好に使用できるツールと同様に、ボットも悪意のある動作に使用できます。

良好ボットと不良ボットの違い

すべてのインターネット・トラフィックの最大半分はボット・トラフィックであると推定されます。 悪意のあるボットもあれば、「良い」ボットもあります。

オンラインの製品やサービスを悪用するボットは、「悪い」と考えることができます。 例えば、データを盗むためにユーザー・アカウントに侵入したり、スケーリング者を支援するためにオンラインでコンサート・チケットを購入したりすることができます。

役に立つサービスを実行するボットは、「良好」と見なすことができます。 例えば、カスタマー・サービス・チャットボット、検索エンジン・クローラー、およびパフォーマンス・モニター・ボットは、通常は優れたボットです。 優れたボットは、Web サイトの robots.txt ファイルで概説されている規則を検索し、それに従います。

robots.txt ファイル

Robots.txt は、Web サーバー上のプロパティーにアクセスするボットのルールの概要を示すファイルですが、ファイル自体はこれらのルールを適用しません。 ボットをプログラミングするすべてのユーザーは、Web サイトにアクセスする前に、名誉システムに従い、ボットが Web サイトの robots.txt ファイルをチェックすることを確認する必要があります。 悪意のあるボットはこのシステムに従わないため、ボット管理の必要性が生じます。

ボット管理の仕組み

ボットを識別するために、ボット・マネージャーは JavaScript チャレンジ (従来の Web ブラウザーが使用されているかどうかを判別する) または CAPTCHA チャレンジを使用する場合があります。 また、ユーザーの行動を過去のユーザーの標準的な行動と比較することにより、どのユーザーが人間であり、どのユーザーがボットであるかを行動分析によって判別することもできます。

ボットが不良と識別されると、別のページにリダイレクトしたり、Web リソースへのアクセスを完全にブロックしたりすることができます。

有効なボットを許可リストに追加できます。 ボット・マネージャーは、さらなる行動分析を使用して、優れたボットと悪いボットを区別することもできます。

もう 1 つのボット管理方法は、 robots.txt ファイルを使用して honeypot をセットアップする方法です。 ハニーポットとは、悪者がアクセスしたときに悪者として悪者をさらけ出される悪者のための偽のターゲットです。 ボットの場合、ハニーポットは、 robots.txt ファイルによってボットが禁止されているサイト上の Web ページである可能性があります。 Good Bot は robots.txt ファイルを読み取り、その Web ページを回避します。一部の不良ボットは Web ページをクロールします。 ハニーポットにアクセスするボットの IP アドレスを追跡することにより、不良ボットを識別してブロックすることができます。

ボット攻撃の種類によるボット管理の軽減

ボット管理ソリューションは、以下のようなさまざまな攻撃を阻止するのに役立ちます。

• DDoS 攻撃
• DoS 攻撃
• 資格情報の荷積み
• クレジット・カードの荷積み
• ブルート・フォース・パスワード・クラック
• スパム・コンテンツ
• データ・スクレイピングと Web スクレイプ
• E メール・アドレスの取得
• 広告詐欺
• クリック詐欺

これらのボット・アクティビティーは常に「悪意のある」ものと見なされるわけではありませんが、ボット・マネージャーはそれらを軽減できる必要があります。

• 在庫のホアディング
• ソーシャル・フォーラムまたはプラットフォームでの自動投稿
• ショッピング・カートの荷積み

CIS はボットをどのように管理しますか?

CIS は、ネットワークを流れる要求から毎日データを収集します。 Cloudflare の機械学習と動作分析を活用したこのデータにより、 CIS は、考えられるボット・アクティビティーを識別し、ファイアウォール・ルールを使用して特定のボット・トラフィックを許可または不許可にする方法に関する情報を提供できます。

Cloudflare Bot Management は、以下の検出メカニズムを使用します。それぞれが独自のスコアを生成し、それらを結合して単一のスコアを形成します。

• 機械学習: 要求処理速度への影響を最小限に抑えながら、何兆もの要求に基づいてトレーニングされた、非常に正確なボット識別機械学習モデル
• ヒューリスティック・エンジン: 行われた要求の特定の属性に基づいてボットをキャプチャーする一連の単純なルールを介して要求をスクリーニングすることにより、ボットを検出します。
• 行動分析: 長期間にわたって見たことのないボットを検出し、通常の訪問者の行動を計算して分析します。
• 検証済みボット: いくつかのバリデーターと固有の優れたボット ID のボット・ディレクトリーを使用して、偶発的な便利なボット・ブロックを回避する方法。
• JS フィンガープリント: チャレンジ応答システム。Cloudflare のエッジの Web ページにチャレンジが注入され、検証のためにバックグラウンドでレンダリングされます。