샘플링을 사용하여 지표 최적화하기
모든 개별 데이터 포인트를 처리하는 대신 샘플링을 사용하여 데이터의 하위 집합을 분석하세요. 성능과 확장성을 유지하면서 정확한 인사이트를 제공하는 데 도움이 됩니다. 초당 7억 건 이상의 이벤트를 처리하는 CIS 데이터의 양을 고려할 때, 대규모 데이터 세트에서 빠르고 비용 효율적인 메트릭을 제공하려면 샘플링이 필수적입니다.
CIS 대시보드와 GraphQL API에서 제공되는 메트릭은 데이터 집합의 하위 집합인 샘플을 기반으로 하는 경우가 적지 않습니다. 이러한 경우 CIS 메트릭은 샘플링된 값에서 파생된 추정치를 반환합니다. 예를 들어 공격 중 샘플링 비율이 10%이고 5,000개의 이벤트가 샘플링된 경우 CIS 은 총 이벤트 수를 50,000개(5,000×10)로 추정하고 이 값을 보고합니다.
CIS 는 주로 적응형 샘플링을 사용하는데, 여기에는 쿼리 복잡성과 볼륨에 따라 반환되는 데이터의 세부 수준을 조정하는 적응형 비트 전송률(ABR)이라는 방법이 포함됩니다. 레코드 수가 적거나 쿼리가 간단한 경우 전체 해상도 데이터(100%)가 사용됩니다. 데이터 세트가 커지거나 쿼리가 더 복잡해지면 효율적인 쿼리 완료를 위해 점진적으로 낮은 샘플 속도(예: 10% 또는 1%)가 적용됩니다.
이 접근 방식은 대규모 쿼리가 과도한 컴퓨팅 리소스를 소모하는 것을 방지하여 모든 사용자에게 공정한 분배와 일관된 성능을 보장합니다. 데이터는 다양한 해상도(100%, 10%, 1%)로 저장되므로 쿼리의 복잡성과 크기에 따라 시스템이 적절한 해상도를 선택할 수 있어 ABR이 빠르고 정확한 결과를 제공할 수 있습니다.
CIS GraphQL API는 적응형 샘플링으로 구동되는 데이터 세트를 노출합니다. 이 노드들은 이름에 어댑티브(Adaptive)가 붙어 있으며, 자기 성찰을 통해 발견할 수 있습니다.
샘플링이 적용되는 이유
CIS 메트릭은 적절한 세부 수준의 데이터를 가능한 한 빨리 제공하도록 설계되었습니다. 샘플링은 처리되는 데이터의 양을 줄여 공격 중 방화벽 이벤트가 폭증하는 등 볼륨이 급증하는 상황에서도 CIS 메트릭을 몇 초 내에 반환할 수 있게 해줍니다. 샘플링이 없으면 쿼리를 완료하는 데 몇 분 이상 걸릴 수 있으며, 이는 완화 노력을 검증하거나 문제를 해결할 때 너무 긴 시간입니다.
CIS 는 글로벌 네트워크에서 초당 7억 건 이상의 이벤트를 처리합니다. 이 모든 데이터를 실시간으로 저장하고 처리하려면 너무 많은 시간과 컴퓨팅 성능이 필요하기 때문에 실용적이지 않습니다. 샘플링은 정확성과 성능의 균형을 유지하여 메트릭을 더 빠르고 확장 가능하며 효율적으로 만듭니다. 데이터 세트가 매우 크기 때문에 샘플링된 값은 통계적으로 유의미하며 신뢰할 수 있는 인사이트를 제공합니다.
이 접근 방식은 다른 도메인과 유사합니다:
- Google 지도: 축소된 저해상도 이미지는 CIS 에서 쿼리 크기에 따라 빠르고 관련성 높은 인사이트를 제공하기 위해 샘플링 속도를 조정하는 방식을 반영합니다.
- 여론 조사: 소규모의 대표 표본으로 시스템 전반의 트렌드를 반영할 수 있습니다.
- 동영상 프레임: 60프레임이 아닌 30프레임(초당 프레임 수)으로 보더라도 전체 스토리를 볼 수 있습니다. 마찬가지로 샘플링은 데이터의 주요 패턴을 유지합니다.
ABR 샘플링 해상도가 항상 표시되는 것은 아니지만, 읽은 행의 수는 좋은 지표가 됩니다. 읽은 행이 많을수록 결과의 해상도와 신뢰도가 높아집니다.
샘플링의 유형
CIS 메트릭은 적응형 샘플링과 고정 샘플링이라는 두 가지 기본 샘플링 유형을 사용합니다. 적용되는 방법은 데이터 집합과 데이터 쿼리 방식에 따라 다릅니다.
적응형 샘플링
CIS 메트릭은 주로 적응형 샘플링에 의존하므로 수집 또는 쿼리되는 데이터의 양에 따라 샘플 속도가 변동합니다. 레코드 수가 상대적으로 적은 경우 일반적으로 샘플링을 사용하지 않으므로 전체 데이터를 반환할 수 있습니다. 그러나 레코드 양이 증가함에 따라 성능과 응답성을 유지하기 위해 점차적으로 낮은 샘플 속도가 적용됩니다.
이 모델은 보안 이벤트(방화벽 이벤트라고도 함) 및 보안 이벤트 로그를 비롯한 여러 데이터 소스에서 사용됩니다. 적응형 샘플링을 사용하는 데이터 노드는 firewallEventsAdaptive 에서와 같이 노드 이름에 Adaptive 접미사가 붙으면 쉽게 식별할 수 있습니다.
고정 표본 추출
다음 데이터 노드는 샘플링 속도가 변하지 않는 고정 샘플링을 기반으로 합니다
| 데이터 세트 | 비율 | 참고 |
|---|---|---|
| 방화벽 규칙 미리보기
노드: |
1% | 사용 시 주의하십시오. 1% 샘플링 속도는 특정 임계값보다 작은 데이터 세트에 대한 정확한 추정치를 제공하지 않습니다. 이는 CIS 대시보드에서 명시적으로 언급하지만 API에서는 그렇지 않습니다. |
| 네트워크 지표
노드:
|
0.012% | 샘플링 속도는 패킷 수(8,192패킷당 1개)를 기준으로 합니다. |
기타 고려사항
유의해야 할 고려 사항
- 원시 데이터에 대한 접근
- 샘플링은 주로 적응적이며 정확한 추정치를 제공하기 위해 자동으로 조정되기 때문에 샘플링 속도를 직접 제어할 수 없습니다. 기업 고객은 CIS 로그를 통해 원시 데이터에 액세스할 수 있습니다.
- 샘플링이 발생하는 경우
- 샘플링은 일반적으로 전체 데이터 메트릭이 비현실적인 트래픽이 많은 데이터 세트에 적용됩니다. 소규모 데이터 세트의 경우, 샘플링 없이 전체 데이터 분석을 수행하는 경우가 많습니다.
- 샘플링 속도
- 샘플링 속도는 데이터 세트와 제품에 따라 다릅니다. CIS 는 단일 데이터 세트 내에서 샘플링 속도를 일관되게 유지하여 쿼리 전반에서 정확성을 유지하도록 도와줍니다.
- 메트릭에 미치는 영향
- 샘플링을 사용하면 처리되는 데이터의 양이 줄어들지만 총계, 평균, 백분위수와 같은 집계된 지표는 샘플 크기에 따라 추정됩니다. 이렇게 하면 보고된 지표가 전체 데이터 집합을 정확하게 나타낼 수 있습니다.
- 제한사항
- 샘플링은 발생률이 매우 낮은 극히 드문 이벤트를 포착하지 못할 수도 있습니다.