Utiliser l'échantillonnage pour optimiser les mesures

Utilisez l'échantillonnage pour analyser un sous-ensemble de données plutôt que de traiter chaque point de données. Il permet de maintenir les performances et l'évolutivité tout en fournissant des informations précises. Compte tenu du volume de données traitées par CIS- plus de 700 millions d'événements par seconde - l'échantillonnage est essentiel pour fournir des mesures rapides et rentables sur de vastes ensembles de données.

Dans un petit nombre de cas, les mesures fournies dans le tableau de bord CIS et l'API GraphQL sont basées sur un échantillon - un sous-ensemble de l'ensemble de données. Dans ce cas, les mesures CIS renvoient une estimation dérivée de la valeur échantillonnée. Par exemple, si, au cours d'une attaque, le taux d'échantillonnage est de 10 % et que 5 000 événements sont échantillonnés, CIS estime le nombre total d'événements à 50 000 (5 000 × 10) et communique cette valeur.

CIS utilise principalement un échantillonnage adaptatif, y compris une méthode appelée Adaptive Bit Rate (ABR), qui ajuste le niveau de détail des données renvoyées en fonction de la complexité et du volume de la requête. Lorsque le nombre d'enregistrements est faible ou que la requête est simple, les données à pleine résolution (100 %) sont utilisées. Au fur et à mesure que l'ensemble de données s'accroît ou que la requête devient plus complexe, des taux d'échantillonnage progressivement plus faibles (tels que 10 % ou 1 %) sont appliqués afin d'assurer une exécution efficace de la requête.

Cette approche permet d'éviter que les requêtes volumineuses ne consomment des ressources informatiques excessives, ce qui garantit une distribution équitable et des performances constantes pour tous les utilisateurs. Les données sont stockées à plusieurs résolutions (100 %, 10 % et 1 %), ce qui permet au système de sélectionner la résolution appropriée en fonction de la complexité et de la taille de la requête, aidant ainsi ABR à fournir des résultats rapides et précis.

CIS GraphQL L'API expose des ensembles de données qui sont alimentés par l'échantillonnage adaptatif. Ces nœuds ont Adaptive dans le nom et peuvent être découverts par introspection.

Pourquoi l'échantillonnage est-il appliqué?

CIS sont conçus pour fournir des données au niveau de détail approprié le plus rapidement possible. L'échantillonnage permet d'atteindre cet objectif en réduisant la quantité de données traitées, ce qui permet à CIS de fournir des mesures en quelques secondes, même en cas de pic de volume, comme une explosion d'événements de pare-feu lors d'une attaque. Sans échantillonnage, les requêtes peuvent prendre quelques minutes ou plus, ce qui est trop long pour valider les efforts d'atténuation ou résoudre les problèmes.

CIS traite plus de 700 millions d'événements par seconde dans son réseau mondial. Le stockage et le traitement de toutes ces données en temps réel prendraient trop de temps et de puissance de calcul pour être pratiques. L'échantillonnage permet d'équilibrer la précision et la performance, ce qui rend les mesures plus rapides, plus évolutives et plus efficaces. Les ensembles de données étant très vastes, les valeurs échantillonnées restent statistiquement significatives et fournissent des informations fiables.

Cette approche est similaire à celle d'autres domaines :

Google Cartes : L'imagerie à faible résolution en cas de zoom arrière reflète la façon dont CIS ajuste les taux d'échantillonnage pour fournir des informations rapides et pertinentes en fonction de la taille de la requête.
Sondages d'opinion : Un petit échantillon représentatif peut refléter les tendances à l'échelle du système.
Images vidéo : La visualisation à 30 images par seconde (ips) au lieu de 60 ips donne toujours une image complète. De même, l'échantillonnage permet de conserver les principales caractéristiques de vos données.

Si la résolution de l'échantillonnage ABR n'est pas toujours visible, le nombre de lignes lues est un bon indicateur : plus il y a de lignes lues, plus la résolution et la fiabilité des résultats sont élevées.

Types d'échantillonnage

CIS les métriques utilisent deux principaux types d'échantillonnage : l'échantillonnage adaptatif et l'échantillonnage fixe. La méthode appliquée dépend de l'ensemble de données et de la manière dont les données sont interrogées.

Échantillonnage adaptatif

CIS reposent principalement sur un échantillonnage adaptatif, ce qui signifie que le taux d'échantillonnage fluctue en fonction du volume de données ingérées ou interrogées. Si le nombre d'enregistrements est relativement faible, l'échantillonnage n'est généralement pas utilisé, ce qui permet de renvoyer des données complètes. Toutefois, à mesure que le volume d'enregistrements augmente, des taux d'échantillonnage de plus en plus faibles sont appliqués pour maintenir les performances et la réactivité.

Ce modèle est utilisé dans plusieurs sources de données, notamment les événements de sécurité (également connus sous le nom d'événements de pare-feu) et le journal des événements de sécurité. Les nœuds de données qui utilisent l'échantillonnage adaptatif sont facilement identifiables par le suffixe Adaptive dans le nom du nœud, comme dans firewallEventsAdaptive.

Échantillonnage fixe

Les nœuds de données suivants sont basés sur un échantillonnage fixe, où le taux d'échantillonnage ne varie pas :

Échantillonnage fixe
Jeu de données	Taux	Remarques
Aperçu des règles de pare-feu Nœuds: `firewallRulePreviewGroups`	1 %	A utiliser
avec précaution. Un taux d'échantillonnage de 1 % ne fournit pas d'estimations précises pour les ensembles de données inférieurs à un certain seuil, un scénario que le tableau de bord d' CIS e mentionne explicitement, mais pas l'API.
Métriques réseau Nœuds: `ipFlows1mGroups` `ipFlows1hGroups` `ipFlows1dGroups` `ipFlows1mAttacksGroups`	0.012%	Le taux d'échantillonnage est exprimé en nombre de paquets (1 paquet sur 8 192).

Autres considérations

Il convient de garder à l'esprit certaines considérations :

Accès aux données brutes: L'échantillonnage étant principalement adaptatif et s'ajustant automatiquement pour fournir une estimation précise, le taux d'échantillonnage ne peut pas être contrôlé directement. Les clients Entreprise ont accès aux données brutes par le biais de journaux d' CIS.
Lorsque l'échantillonnage a lieu: L'échantillonnage est généralement appliqué à des ensembles de données à fort trafic pour lesquels il n'est pas possible d'obtenir des métriques de données complètes. Pour les ensembles de données plus petits, l'analyse complète des données est souvent effectuée sans échantillonnage.
Taux d'échantillonnage: Les taux d'échantillonnage varient en fonction de l'ensemble de données et du produit. CIS permet de s'assurer que les taux d'échantillonnage sont cohérents au sein d'un même ensemble de données afin de maintenir la précision des requêtes.
Impact sur les indicateurs: Alors que l'échantillonnage réduit le volume des données traitées, les mesures agrégées telles que les totaux, les moyennes et les percentiles sont extrapolées sur la base de la taille de l'échantillon. Cela permet de s'assurer que les mesures rapportées représentent correctement l'ensemble de la base de données.
Limitations: Il est possible que l'échantillonnage ne permette pas de capturer des événements extrêmement rares dont les taux d'occurrence sont très faibles.