Uso de amostragem para otimizar as métricas

Use a amostragem para analisar um subconjunto de dados em vez de processar cada ponto de dados individual. Ele ajuda a manter o desempenho e a escalabilidade e, ao mesmo tempo, fornece insights precisos. Dado o volume de dados que o CIS processa - mais de 700 milhões de eventos por segundo - a amostragem é essencial para fornecer métricas rápidas e econômicas em grandes conjuntos de dados.

Em um pequeno número de casos, as métricas fornecidas no painel CIS e na API GraphQL são baseadas em uma amostra - um subconjunto do conjunto de dados. Nesses casos, as métricas do CIS retornam uma estimativa derivada do valor amostrado. Por exemplo, se durante um ataque a taxa de amostragem for de 10% e 5.000 eventos forem amostrados, o site CIS estima o número total de eventos como 50.000 (5.000 × 10) e informa esse valor.

CIS usa principalmente amostragem adaptável, incluindo um método chamado ABR (Adaptive Bit Rate), que ajusta o nível de detalhes dos dados retornados com base na complexidade e no volume da consulta. Quando o número de registros é pequeno ou a consulta é simples, são usados dados de resolução total (100%). À medida que o conjunto de dados cresce ou a consulta se torna mais complexa, taxas de amostragem progressivamente menores (como 10% ou 1%) são aplicadas para garantir a conclusão eficiente da consulta.

Essa abordagem evita que grandes consultas consumam recursos de computação excessivos, garantindo uma distribuição justa e um desempenho consistente para todos os usuários. Os dados são armazenados em várias resoluções (100%, 10% e 1%), permitindo que o sistema selecione a resolução apropriada com base na complexidade e no tamanho da consulta, ajudando o ABR a fornecer resultados rápidos e precisos.

CIS GraphQL A API expõe conjuntos de dados que são alimentados por amostragem adaptativa. Esses nós têm Adaptive no nome e podem ser descobertos por meio de introspecção.

Por que a amostragem é aplicada

CIS as métricas são projetadas para fornecer dados no nível apropriado de detalhes o mais rápido possível. A amostragem ajuda a conseguir isso reduzindo o volume de dados processados, permitindo que o CIS retorne métricas em segundos, mesmo durante picos de volume, como uma explosão de eventos de firewall durante um ataque. Sem amostragem, as consultas podem levar minutos ou mais para serem concluídas, o que é muito tempo para validar os esforços de atenuação ou solucionar problemas.

CIS processa mais de 700 milhões de eventos por segundo em sua rede global. O armazenamento e o processamento de todos esses dados em tempo real exigiriam muito tempo e capacidade de computação para serem práticos. A amostragem equilibra a precisão com o desempenho, tornando as métricas mais rápidas, mais dimensionáveis e mais eficientes. Como os conjuntos de dados são muito grandes, os valores amostrados permanecem estatisticamente significativos e fornecem percepções confiáveis.

Essa abordagem é semelhante à de outros domínios:

Google Mapas: Imagens de menor resolução quando reduzidas espelham como o CIS ajusta as taxas de amostragem para fornecer insights rápidos e relevantes com base no tamanho da consulta.
Pesquisas de opinião: Uma amostra pequena e representativa pode refletir as tendências de todo o sistema.
Quadros de filme: A visualização em 30 quadros por segundo (fps), em vez de 60 fps, ainda conta a história completa. Da mesma forma, a amostragem mantém os principais padrões em seus dados.

Embora a resolução da amostragem ABR nem sempre seja visível, o número de linhas lidas é um bom indicador: quanto mais linhas forem lidas, maior será a resolução e a confiabilidade dos resultados.

Tipos de amostragem

CIS as métricas usam dois tipos principais de amostragem: amostragem adaptativa e amostragem fixa. O método aplicado depende do conjunto de dados e de como os dados são consultados.

Amostragem adaptativa

CIS as métricas dependem principalmente da amostragem adaptativa, o que significa que a taxa de amostragem flutua dependendo do volume de dados que é ingerido ou consultado. Se o número de registros for relativamente pequeno, a amostragem normalmente não é usada, permitindo que os dados completos sejam retornados. No entanto, à medida que o volume de registros aumenta, taxas de amostragem progressivamente menores são aplicadas para manter o desempenho e a capacidade de resposta.

Esse modelo é usado em várias fontes de dados, incluindo eventos de segurança (também conhecidos como eventos de firewall) e o registro de eventos de segurança. Os nós de dados que usam amostragem adaptável são fáceis de identificar pelo sufixo Adaptive no nome do nó, como em firewallEventsAdaptive.

Amostragem fixa

Os nós de dados a seguir são baseados em amostragem fixa, em que a taxa de amostragem não varia:

Amostragem fixa
Conjunto de dados	Taxa	Notas
Visualização das regras de firewall Nodes: `firewallRulePreviewGroups`	1%	Use
com cuidado. Uma taxa de amostragem de 1% não fornece estimativas precisas para conjuntos de dados menores do que um determinado limite, um cenário que o painel CIS chama explicitamente, mas a API não.
Métricas de rede Nodes: `ipFlows1mGroups` `ipFlows1hGroups` `ipFlows1dGroups` `ipFlows1mAttacksGroups`	0.012%	A taxa de amostragem é em termos de contagem de pacotes (1 de cada 8.192 pacotes).

Outras considerações

Considerações que devem ser levadas em conta:

Acesso a dados brutos: Como a amostragem é essencialmente adaptativa e se ajusta automaticamente para fornecer uma estimativa precisa, a taxa de amostragem não pode ser controlada diretamente. Os clientes corporativos têm acesso a dados brutos por meio de registros em CIS.
Quando a amostragem ocorre: A amostragem é normalmente aplicada a conjuntos de dados de alto tráfego em que as métricas de dados completos são impraticáveis. Para conjuntos de dados menores, a análise completa dos dados geralmente é realizada sem amostragem.
Taxas de amostragem: As taxas de amostragem variam de acordo com o conjunto de dados e o produto. CIS ajuda a garantir que as taxas de amostragem sejam consistentes em um único conjunto de dados para manter a precisão entre as consultas.
Impacto nas métricas: Embora a amostragem reduza o volume de dados processados, as métricas agregadas, como totais, médias e percentis, são extrapoladas com base no tamanho da amostra. Isso garante que as métricas relatadas representem todo o conjunto de dados com precisão.
Limitações: A amostragem pode não capturar eventos extremamente raros com taxas de ocorrência muito baixas.