メトリクスを最適化するためにサンプリングを使用する

個々のデータポイントを処理するのではなく、データのサブセットを分析するためにサンプリングを使用する。正確なインサイトを提供しながら、パフォーマンスとスケーラビリティを維持することができます。 CIS、1秒間に7億件以上という大量のデータを処理することを考えると、大規模なデータセットに対して高速でコスト効率の高いメトリクスを提供するためには、サンプリングが不可欠である。

少数のケースでは、 CIS ダッシュボードと GraphQL APIで提供されるメトリクスは、データセットのサブセット_であるサンプルに基づいて_いる。このような場合、 CIS メトリクスは、サンプリングされた値から得られた推定値を返す。例えば、攻撃中にサンプリングレートが10%で、5,000イベントがサンプリングされた場合、 CIS、イベントの総数を50,000（5,000×10）と推定し、この値を報告する。

CIS 主に、クエリの複雑さと量に基づいて返されるデータの詳細レベルを調整する Adaptive Bit Rate (ABR) と呼ばれる方法を含む適応サンプリングを使用します。レコード数が少ない場合やクエリが単純な場合は、全解像度データ（100％）が使用される。データセットが大きくなるにつれて、あるいはクエリが複雑になるにつれて、効率的なクエリ完了を保証するために、徐々に低いサンプル率（10％や1％など）が適用される。

このアプローチにより、大規模なクエリが過剰なコンピューティングリソースを消費することを防ぎ、すべてのユーザーに対して公平な分配と一貫したパフォーマンスを保証します。データは複数の解像度（100％、10％、1％）で保存され、システムがクエリの複雑さとサイズに基づいて適切な解像度を選択できるため、ABRは迅速で正確な結果を提供できる。

CIS GraphQL APIは、アダプティブ・サンプリングを利用したデータセットを公開する。これらのノードは名前に Adaptiveという語句を含んでおり、イントロスペクションによって検出することができます。

サンプリングが適用される理由

CIS メトリクスは、適切な詳細レベルのデータを可能な限り迅速に提供するように設計されている。サンプリングは、処理されるデータ量を削減することによってこれを達成するのに役立ち、 CIS、攻撃中のファイアウォールイベントのバーストのようなボリュームの急増時であっても、数秒以内にメトリクスを返すことができます。サンプリングを行わないと、クエリの完了に数分以上かかることがあり、緩和努力の検証や問題のトラブルシューティングを行うには時間がかかりすぎる。

CIS グローバルなネットワークで毎秒7億件以上のイベントを処理している。このようなデータをすべてリアルタイムで保存し、処理するには、時間と計算能力がかかりすぎて実用的ではない。サンプリングは精度とパフォーマンスのバランスをとり、メトリクスをより速く、よりスケーラブルに、より効率的にする。データセットが非常に大きいので、サンプリングされた値は統計的に意味のあるままであり、信頼できる洞察を提供する。

このアプローチは他のドメインと同様だ：

Google 地図：、クエリのサイズに応じてサンプリングレートを調整し、迅速かつ適切なインサイトを提供する。 CIS
世論調査：小規模で代表的なサンプルは、システム全体の傾向を反映することができる。
映画のフレーム：60コマ/秒ではなく30コマ/秒（fps）で見ても、完全なストーリーを伝えることができる。同様に、サンプリングはデータの主要なパターンを維持する。

ABRのサンプリング解像度は必ずしも目に見えるものではないが、読み取られた行数は良い指標となる。

サンプリングの種類

CIS 適応サンプリングと固定サンプリングである。適用される方法は、データセットとデータの照会方法によって異なる。

適応的サンプリング

CIS メトリクスは主にアダプティブ・サンプリングに依存している。これは、取り込まれたりクエリされたりするデータ量に応じてサンプル・レートが変動することを意味する。レコード数が比較的少ない場合、サンプリングは通常使用されず、全データを返すことができる。しかし、レコードの量が増えるにつれて、パフォーマンスと応答性を維持するために、徐々に低いサンプルレートが適用される。

このモデルは、セキュリティ・イベント（ファイアウォール・イベントとも呼ばれる）やセキュリティ・イベント・ログなど、いくつかのデータ・ソースで使用されている。アダプティブ・サンプリングを使用するデータ・ノードは， firewallEventsAdaptive のように，ノード名に Adaptive という接尾辞を付けることで簡単に識別できる．

固定サンプリング

以下のデータノードは、サンプルレートが一定の固定サンプリングに基づいています

固定サンプリング
データ・セット	レート	注記
ファイアウォールルールプレビューノード： `firewallRulePreviewGroups`	1%	注意して使用してください。 1%のサンプルレートでは、一定の閾値よりも小さいデータセットについては正確な推定値が得られません。 CIS のダッシュボードではこのシナリオが明示的に呼び出されていますが、APIでは呼び出されていません。
ネットワーク指標ノード： `ipFlows1mGroups` `ipFlows1hGroups` `ipFlows1dGroups` `ipFlows1mAttacksGroups`	0.012%	サンプリングレートはパケット数（8,192パケットに1つの割合）で表されます。

その他の考慮事項

留意すべき点

生データへのアクセス: サンプリングは主に適応的であり、自動的に調整して正確な推定値を提供するため、サンプリング率を直接制御することはできません。企業顧客は、 CIS のログを通じて生データにアクセスできます。
サンプリング時: サンプリングは通常、完全なデータ測定基準が現実的でない、トラフィックの多いデータセットに適用される。小規模なデータセットの場合、完全なデータ解析はサンプリングなしで行われることが多い。
サンプリング率: サンプリング率はデータセットや製品によって異なる。 CIS は、単一のデータセット内でサンプリング率が一貫していることを保証し、クエリ全体で精度を維持するのに役立ちます。
測定基準への影響: サンプリングによって処理されるデータ量は減るが、合計、平均、パーセンタイルなどの集計された指標は、サンプルサイズに基づいて外挿される。これにより、報告されるメトリクスがデータセット全体を正確に表していることが保証される。
制限: サンプリングは、発生率が非常に低い極めて稀な事象を捕捉できない可能性がある。