Verwendung von Stichproben zur Optimierung von Metriken

Verwenden Sie Stichproben, um eine Teilmenge von Daten zu analysieren, anstatt jeden einzelnen Datenpunkt zu verarbeiten. Sie trägt dazu bei, die Leistung und Skalierbarkeit aufrechtzuerhalten und gleichzeitig genaue Erkenntnisse zu liefern. Angesichts des Datenvolumens, das CIS verarbeitet - mehr als 700 Millionen Ereignisse pro Sekunde -, ist das Sampling für die Bereitstellung schneller, kosteneffizienter Metriken für große Datensätze unerlässlich.

In einigen wenigen Fällen basieren die im CIS Dashboard und in der GraphQL API bereitgestellten Metriken auf einer Stichprobe - einer Teilmenge des Datensatzes. In diesen Fällen gibt CIS metrics eine Schätzung zurück, die aus dem Stichprobenwert abgeleitet ist. Wenn zum Beispiel während eines Angriffs die Abtastrate 10 % beträgt und 5.000 Ereignisse abgetastet werden, schätzt CIS die Gesamtzahl der Ereignisse auf 50.000 (5.000 × 10) und meldet diesen Wert.

CIS verwendet in erster Linie adaptives Sampling, einschließlich einer Methode namens Adaptive Bit Rate (ABR), die den Detailgrad der zurückgegebenen Daten an die Komplexität und das Volumen der Abfrage anpasst. Wenn die Anzahl der Datensätze gering oder die Abfrage einfach ist, werden Daten mit voller Auflösung (100 %) verwendet. Wenn der Datensatz wächst oder die Abfrage komplexer wird, werden schrittweise niedrigere Abtastraten (z. B. 10 % oder 1 %) angewendet, um eine effiziente Abfrage zu gewährleisten.

Dieser Ansatz verhindert, dass große Abfragen übermäßig viele Rechenressourcen verbrauchen, und gewährleistet eine gerechte Verteilung und gleichbleibende Leistung für alle Nutzer. Die Daten werden in mehreren Auflösungen (100 %, 10 % und 1 %) gespeichert, so dass das System je nach Komplexität und Größe der Abfrage die passende Auflösung auswählen kann. So kann ABR schnelle und genaue Ergebnisse liefern.

CIS GraphQL API stellt Datensätze zur Verfügung, die durch adaptives Sampling unterstützt werden. Diese Knoten haben "Adaptive" im Namen und können durch Introspektion entdeckt werden.

Warum Stichprobenverfahren angewendet werden

CIS die Metriken sind so konzipiert, dass sie so schnell wie möglich Daten in der entsprechenden Detailtiefe liefern. Sampling hilft dabei, indem es die zu verarbeitende Datenmenge reduziert und es CIS ermöglicht, Metriken innerhalb von Sekunden zurückzuliefern - selbst bei Spitzen im Datenvolumen, wie z. B. bei einer Flut von Firewall-Ereignissen während eines Angriffs. Ohne Stichproben können Abfragen Minuten oder mehr in Anspruch nehmen, was für die Validierung von Abhilfemaßnahmen oder die Behebung von Problemen zu lang ist.

CIS verarbeitet über 700 Millionen Ereignisse pro Sekunde in seinem globalen Netzwerk. Die Speicherung und Verarbeitung all dieser Daten in Echtzeit würde zu viel Zeit und Rechenleistung erfordern, um praktikabel zu sein. Sampling stellt ein Gleichgewicht zwischen Genauigkeit und Leistung her und macht die Metriken schneller, skalierbarer und effizienter. Da die Datensätze so groß sind, bleiben die Stichprobenwerte statistisch aussagekräftig und liefern zuverlässige Erkenntnisse.

Dieser Ansatz ist ähnlich wie in anderen Bereichen:

Google Karten: Bilder mit geringerer Auflösung, wenn sie herausgezoomt werden, spiegeln wider, wie CIS die Abtastraten anpasst, um je nach Abfragegröße schnelle, relevante Erkenntnisse zu liefern.
Meinungsumfragen: Eine kleine, repräsentative Stichprobe kann systemweite Trends widerspiegeln.
Filmbilder: Bei der Betrachtung mit 30 Bildern pro Sekunde (fps) anstelle von 60 Bildern pro Sekunde kann man immer noch die ganze Geschichte sehen. In ähnlicher Weise bleiben bei Stichproben die wichtigsten Muster in Ihren Daten erhalten.

Während die Auflösung der ABR-Abtastung nicht immer sichtbar ist, ist die Anzahl der gelesenen Zeilen ein guter Indikator: Je mehr Zeilen gelesen werden, desto höher ist die Auflösung und Zuverlässigkeit der Ergebnisse.

Arten der Probenahme

CIS metriken verwenden zwei Haupttypen von Stichproben: adaptive Stichproben und feste Stichproben. Die angewandte Methode hängt vom Datensatz und der Art der Datenabfrage ab.

Adaptive Stichprobenbildung

CIS metriken beruhen in erster Linie auf adaptiver Abtastung, d. h. die Abtastrate schwankt je nach Datenvolumen, das eingespeist oder abgefragt wird. Wenn die Anzahl der Datensätze relativ gering ist, wird in der Regel auf Stichproben verzichtet, so dass vollständige Daten zurückgegeben werden können. Mit zunehmendem Datenvolumen werden jedoch immer niedrigere Abtastraten verwendet, um die Leistung und Reaktionsfähigkeit aufrechtzuerhalten.

Dieses Modell wird in mehreren Datenquellen verwendet, darunter Sicherheitsereignisse (auch als Firewall-Ereignisse bekannt) und das Sicherheitsereignisprotokoll. Datenknoten, die adaptives Sampling verwenden, sind leicht an dem Suffix Adaptive im Knotennamen zu erkennen, wie in firewallEventsAdaptive.

Festgelegte Stichprobe

Die folgenden Datenknoten basieren auf einer festen Stichprobenauswahl, bei der die Stichprobenrate nicht variiert:

Festgelegte Stichprobe
Dataset	Rate	Anmerkungen
Vorschau der Firewall-Regeln Knoten: `firewallRulePreviewGroups`	1 %	Mit Vorsicht verwenden. Eine Stichprobenrate von 1 % liefert keine genauen Schätzungen für Datensätze, die kleiner als ein bestimmter Schwellenwert sind. Dieses Szenario wird im Dashboard von CIS explizit hervorgehoben, in der API jedoch nicht.
Netzwerk-Metriken Knoten: `ipFlows1mGroups` `ipFlows1hGroups` `ipFlows1dGroups` `ipFlows1mAttacksGroups`	0.012%	Die Stichprobenrate wird in Form der Paketanzahl angegeben (1 von 8.192 Paketen).

Sonstige Hinweise

Was ist zu beachten?

Zugang zu Rohdaten: Da die Stichprobenentnahme in erster Linie adaptiv ist und automatisch angepasst wird, um eine genaue Schätzung zu liefern, kann die Stichprobenrate nicht direkt gesteuert werden. Unternehmenskunden haben über CIS-Protokolle Zugriff auf Rohdaten.
Wenn die Probenahme erfolgt: Sampling wird in der Regel bei stark frequentierten Datensätzen angewendet, bei denen vollständige Datenmetriken unpraktisch sind. Bei kleineren Datensätzen wird die vollständige Datenanalyse oft ohne Stichproben durchgeführt.
Anzahl der Probenahmen: Der Stichprobenumfang variiert je nach Datensatz und Produkt. CIS hilft sicherzustellen, dass die Abtastraten innerhalb eines einzelnen Datensatzes konsistent sind, um die Genauigkeit bei allen Abfragen zu erhalten.
Auswirkungen auf die Metriken: Während Stichproben das Volumen der verarbeiteten Daten reduzieren, werden aggregierte Metriken wie Gesamtwerte, Durchschnittswerte und Perzentile auf der Grundlage des Stichprobenumfangs extrapoliert. Auf diese Weise wird sichergestellt, dass die berichteten Metriken den gesamten Datensatz genau repräsentieren.
Einschränkungen: Extrem seltene Ereignisse mit sehr geringer Häufigkeit werden durch die Probenahme möglicherweise nicht erfasst.