Utilizar el muestreo para optimizar las métricas

Utilice el muestreo para analizar un subconjunto de datos en lugar de procesar cada punto de datos individual. Ayuda a mantener el rendimiento y la escalabilidad al tiempo que proporciona información precisa. Dado el volumen de datos que maneja CIS-más de 700 millones de eventos por segundo-, el muestreo es esencial para ofrecer métricas rápidas y rentables de grandes conjuntos de datos.

En un pequeño número de casos, las métricas que se ofrecen en el panel CIS y en la API GraphQL se basan en una muestra, es decir, en un subconjunto del conjunto de datos. En estos casos, la métrica CIS devuelve una estimación derivada del valor muestreado. Por ejemplo, si durante un ataque la tasa de muestreo es del 10% y se muestrean 5.000 eventos, CIS estima el número total de eventos en 50.000 (5.000 × 10) e informa de este valor.

CIS utiliza principalmente el muestreo adaptativo, que incluye un método llamado Adaptive Bit Rate (ABR), que ajusta el nivel de detalle de los datos devueltos en función de la complejidad y el volumen de la consulta. Cuando el número de registros es pequeño o la consulta es sencilla, se utilizan datos de resolución completa (100%). A medida que el conjunto de datos crece o la consulta se hace más compleja, se aplican tasas de muestreo progresivamente más bajas (como el 10% o el 1%) para garantizar una finalización eficaz de la consulta.

Este planteamiento evita que las grandes consultas consuman excesivos recursos informáticos, garantizando una distribución equitativa y un rendimiento homogéneo para todos los usuarios. Los datos se almacenan en varias resoluciones (100%, 10% y 1%), lo que permite al sistema seleccionar la resolución adecuada en función de la complejidad y el tamaño de la consulta, y ayuda a ABR a ofrecer resultados rápidos y precisos.

CIS GraphQL La API expone conjuntos de datos alimentados por muestreo adaptativo. Estos nodos tienen Adaptive en el nombre y pueden descubrirse mediante introspección.

Por qué se aplican las muestras

CIS las métricas están diseñadas para proporcionar datos con el nivel de detalle adecuado lo antes posible. El muestreo ayuda a conseguirlo reduciendo la cantidad de datos que se procesan, lo que permite a CIS devolver métricas en cuestión de segundos, incluso durante picos de volumen, como una ráfaga de eventos de cortafuegos durante un ataque. Sin muestreo, las consultas pueden tardar minutos o más en completarse, lo que es demasiado tiempo a la hora de validar los esfuerzos de mitigación o solucionar problemas.

CIS procesa más de 700 millones de eventos por segundo en toda su red mundial. Almacenar y procesar todos estos datos en tiempo real llevaría demasiado tiempo y potencia de cálculo para ser práctico. El muestreo equilibra la precisión con el rendimiento, haciendo que las métricas sean más rápidas, más escalables y más eficientes. Como los conjuntos de datos son tan amplios, los valores muestreados siguen siendo estadísticamente significativos y proporcionan información fiable.

Este planteamiento es similar al de otros ámbitos:

Google Mapas: Las imágenes de menor resolución cuando se amplían reflejan cómo CIS ajusta las frecuencias de muestreo para ofrecer información rápida y pertinente en función del tamaño de la consulta.
Encuestas de opinión: Una muestra pequeña y representativa puede reflejar las tendencias de todo el sistema.
Fotogramas de película: El visionado a 30 fotogramas por segundo (fps) en lugar de a 60 fps sigue contando toda la historia. Del mismo modo, el muestreo mantiene los patrones clave de los datos.

Aunque la resolución del muestreo ABR no siempre es visible, el número de filas leídas es un buen indicador: cuantas más filas se lean, mayor será la resolución y la fiabilidad de los resultados.

Tipos de muestreo

CIS las métricas utilizan dos tipos principales de muestreo: el muestreo adaptativo y el muestreo fijo. El método aplicado depende del conjunto de datos y de cómo se consulten.

Muestreo adaptativo

CIS se basan principalmente en el muestreo adaptativo, lo que significa que la frecuencia de muestreo fluctúa en función del volumen de datos que se ingieren o consultan. Si el número de registros es relativamente pequeño, no suele utilizarse el muestreo, lo que permite obtener datos completos. Sin embargo, a medida que aumenta el volumen de registros, se aplican frecuencias de muestreo progresivamente más bajas para mantener el rendimiento y la capacidad de respuesta.

Este modelo se utiliza en varias fuentes de datos, incluidos los eventos de seguridad (también conocidos como eventos de cortafuegos) y el registro de eventos de seguridad. Los nodos de datos que utilizan el muestreo adaptativo son fáciles de identificar por el sufijo Adaptive en el nombre del nodo, como en firewallEventsAdaptive.

Muestreo fijo

Los siguientes nodos de datos se basan en un muestreo fijo, donde la frecuencia de muestreo no varía:

Muestreo fijo
Conjunto de datos	Tasa	Notas
Reglas del cortafuegos Vista previa Nodos de `firewallRulePreviewGroups`	1%	Utilícelo con precaución. Una frecuencia de muestreo del 1 % no proporciona estimaciones precisas para conjuntos de datos inferiores a un determinado umbral, un escenario que el panel de control de CIS señala explícitamente, pero que la API no.
Métricas de red Nodos: `ipFlows1mGroups` `ipFlows1hGroups` `ipFlows1dGroups` `ipFlows1mAttacksGroups`	0.012%	La frecuencia de muestreo se expresa en términos de recuento de paquetes (1 de cada 8192 paquetes).

Otras consideraciones

Consideraciones a tener en cuenta:

Acceso a datos sin procesar: Dado que el muestreo es principalmente adaptativo y se ajusta automáticamente para proporcionar una estimación precisa, la tasa de muestreo no puede controlarse directamente. Los clientes empresariales tienen acceso a datos sin procesar a través de registros de CIS.
Cuando se produce el muestreo: El muestreo suele aplicarse a conjuntos de datos de gran tráfico en los que las métricas de datos completos resultan poco prácticas. Para conjuntos de datos más pequeños, el análisis completo de los datos suele realizarse sin muestreo.
Tasas de muestreo: Los porcentajes de muestreo varían en función del conjunto de datos y del producto. CIS ayuda a garantizar que los índices de muestreo sean coherentes dentro de un mismo conjunto de datos para mantener la precisión en todas las consultas.
Impacto en las métricas: Aunque el muestreo reduce el volumen de datos procesados, las métricas agregadas como totales, medias y percentiles se extrapolan en función del tamaño de la muestra. De este modo se garantiza que las métricas notificadas representen con exactitud todo el conjunto de datos.
Limitaciones: El muestreo podría no captar sucesos extremadamente raros con tasas de ocurrencia muy bajas.