IDS·IPS와 Snort 규칙: 탐지·차단·오탐을 운영하는 방법

1장 개념과 보호 목표#

IDS는 의심스러운 활동을 탐지해 알리고 IPS는 통신 경로에서 차단까지 수행할 수 있습니다. 시그니처 탐지는 알려진 패턴에, 이상 탐지는 정상 기준에서 벗어난 행위에 초점을 둡니다. 탐지율만 높이는 것보다 오탐과 서비스 영향을 함께 관리해야 합니다.

2장 원리와 구분#

TP는 공격을 공격으로 탐지한 경우, FP는 정상 활동을 공격으로 잘못 판단한 경우, FN은 공격을 놓친 경우, TN은 정상 활동을 정상으로 판단한 경우입니다. 임계값을 조정하면 탐지와 오탐의 균형이 바뀝니다. 암호화된 트래픽의 가시성, 프로토콜 재조립, 단말 로그와의 결합도 결과에 영향을 줍니다.

관제 규칙의 성능은 탐지 건수만으로 평가하면 왜곡될 수 있습니다. 정밀도는 경보 중 실제 공격의 비율, 재현율은 실제 공격 중 탐지한 비율로 구분합니다. 실제 공격 수를 알기 어려운 운영 환경에서는 허가된 검증 시나리오와 조사 결과를 함께 사용하고 수치의 측정 범위를 명시합니다.

3장 비교와 판단 기준#

실제 상태	탐지 결과	분류
공격	공격으로 판단	TP
정상	공격으로 판단	FP·오탐
공격	정상으로 판단	FN·미탐
정상	정상으로 판단	TN

4장 IDS와 IPS는 배치와 행위가 다르다#

IDS는 관측한 정보를 탐지·경보에 연결합니다. IPS는 통신 경로에서 차단을 수행할 수 있어 오탐이 정상 업무를 끊을 수 있습니다. 반드시 더 강한 제품을 고르는 문제가 아니라 탐지·차단·장애 정책을 어디에 둘지 결정하는 문제입니다.

센서 위치와 암호화·프로토콜 재조립·처리량의 한계를 확인합니다. 응용 내용이 보이지 않는 구간에서 모든 공격을 검사한다고 가정하면 탐지 범위를 과장하게 됩니다.

5장 시그니처 탐지와 이상 탐지#

시그니처는 알려진 패턴과 조건을 확인합니다. 이상 탐지는 정상 기준에서 벗어난 상태를 찾습니다. 전자는 표현 변화와 미등록 위험을, 후자는 기준 변화와 정상 업무의 오탐을 고려합니다. 둘 다 조사 가능한 증거와 업무 맥락이 필요합니다.

flowchart LR
 T["관측 트래픽·이벤트"] --> S["시그니처 조건"]
 T --> A["정상 기준과 차이"]
 S --> E["경보와 증거"]
 A --> E
 E --> I["자산·업무 맥락의 조사"]

6장 TP·FP·FN·TN을 작은 표로 계산한다#

허가된 시험에서 공격 100개 중 80개를 탐지하고 정상 1000개 중 20개를 경보로 판단했다고 가정합니다. TP=80, FN=20, FP=20, TN=980입니다. 정밀도는 80/(80+20)=80%, 재현율은 80/(80+20)=80%입니다. 숫자가 같더라도 분모의 의미는 다릅니다.

정밀도: 발생한 경보 중 실제 공격의 비율
재현율: 실제 공격 중 탐지한 비율
운영의 제한: 실제 미탐 전체를 정확히 알기 어려울 수 있음

7장 정상 트래픽이 많으면 오탐 부담이 커진다#

낮은 오탐 비율도 많은 정상 요청에 적용되면 상당한 경보를 만들 수 있습니다. 단순히 정확도나 전체 경보 수를 성과로 보고하면 정상 비중과 수집 범위의 영향을 놓칩니다. 조사 시간·실제 공격·업무 영향과 측정 범위를 함께 제시합니다.

임계값을 강화하면 재현율과 오탐의 균형이 바뀔 수 있습니다. 조직이 감당할 조사량과 중요한 공격의 놓침을 같은 의사결정에서 고려합니다.

8장 Snort 규칙의 구조를 읽는다#

규칙은 액션·프로토콜·주소·방향·포트 등의 헤더와 콘텐츠·상태·식별 정보 등 옵션으로 구성됩니다. 실제 문법은 사용 중인 버전의 지원에 맞춰 확인합니다. 한 줄의 키워드 매칭으로 전체 프로토콜 의미를 이해한다고 생각하지 않습니다.

인코딩·패킷 분할·정상 문자열·연결 상태가 결과에 영향을 줄 수 있습니다. 테스트 환경에서 실제 프로토콜 흐름과 정상 샘플로 검증한 규칙만 운영에 반영합니다.

9장 규칙 ID와 목적을 운영 기록에 연결한다#

규칙의 목적·대상 버전·변경일·오탐 사례·예외·조사 절차를 남깁니다. 경보에는 관련 자산·출발지·목적지·시각·탐지 조건을 연결합니다. 원시 경보만 보고 차단하는 것보다 조사 가능한 근거가 중요합니다.

새 규칙의 탐지 성공과 구형 규칙의 회귀를 함께 시험합니다. 정상 업무의 새 기능이 오탐을 만들 때 광범위한 비활성화보다 최소 예외와 기한을 둡니다.

10장 경보에서 차단으로 전환하기#

flowchart TB
 R["공격 가설과 규칙"] --> T["정상·위험 샘플 시험"]
 T --> A["경보 모드의 실제 관찰"]
 A --> B["제한된 차단 적용"]
 B --> V["업무 영향과 회귀 검증"]
 V --> O["확대·예외·롤백 관리"]

차단은 되돌릴 절차·연락망·업무 영향의 기준을 준비합니다. 고가용성 전환·센서 장애·처리량 초과 때 우회 또는 차단의 동작을 미리 정하고 검증합니다.

11장 센서가 조용한 이유를 조사한다#

경보 감소는 공격 감소일 수 있지만 로그 누락·미러링 오류·정지·업데이트 실패일 수도 있습니다. 센서 상태·드롭·처리량·마지막 수집 시각을 별도 감시해야 합니다. 탐지 규칙과 가시성의 건강 상태를 분리해서 봅니다.

암호화 경로와 단말·서버 로그를 결합하면 네트워크에서 보이지 않는 행위를 보완할 수 있습니다. 다만 수집하지 않는 범위는 명시하고 모든 공격이 보인다고 주장하지 않습니다.

12장 탐지 체계의 최종 검증#

허용된 공격 시나리오와 정상 업무 샘플, 우회 표현, 센서 장애, 차단·복구를 함께 시험합니다. 경보를 담당자가 이해하고 적절히 조치할 수 있는지도 확인합니다. 높은 탐지 수치와 운영 가능한 대응은 서로 연결되지만 같은 지표는 아닙니다.

13장 적용 사례와 운영 방법#

Snort 규칙은 액션·프로토콜·주소·방향·포트와 옵션으로 구성됩니다. 단순 키워드 규칙은 인코딩·분할·정상 문맥 때문에 놓치거나 오탐할 수 있습니다. 실제 사용하는 Snort 버전에서 문법을 확인하고 허가된 테스트 패킷과 정상 트래픽으로 검증한 후 경보 모드에서 차단 모드로 전환합니다.

14장 경보 수보다 조사할 수 있는 근거가 중요하다#

탐지 규칙은 공격 가설과 관측 가능한 증거를 연결해야 합니다. 어느 센서·프로토콜·위치에서 어떤 패턴을 관측하는지, 어떤 정상 요청이 비슷하게 보이는지를 함께 기록합니다. 암호화된 내용을 볼 수 없는 센서가 응용 데이터 전체를 검사한다고 가정하면 탐지 범위를 과장하게 됩니다.

정밀도는 TP/(TP+FP), 재현율은 TP/(TP+FN)입니다. FN을 실제 운영에서 정확히 알기 어렵다면 허가된 검증 시나리오의 탐지 성공률과 운영 경보의 조사 결과를 구분해 보고합니다. 정상 트래픽이 압도적으로 많은 환경에서는 작은 오탐률도 상당한 조사량을 만들 수 있습니다.

15장 탐지에서 차단으로 전환하는 순서#

새 규칙은 해당 Snort 버전의 문법과 프로토콜 처리를 확인하고 테스트 환경에서 정상·위험 샘플을 비교합니다. 먼저 경보 모드에서 실제 업무 영향을 관측한 뒤 차단 대상을 제한해 적용합니다. 예외는 특정 자산·기한·근거에 묶고 전체 탐지를 끄는 방식으로 누적하지 않습니다.

관제 화면에는 규칙 ID, 출발지·목적지, 시각, 관련 자산과 조사 결과를 연결합니다. 센서 손실, 처리량 초과, 규칙 갱신 실패를 별도 감시해야 경보가 줄어든 이유가 안전해졌기 때문인지 가시성이 사라졌기 때문인지 구분할 수 있습니다.

16장 적용 전 확인할 사항#

탐지 목적·버전·규칙 식별자와 변경 이력을 기록한다
정상·공격 샘플로 FP와 FN을 확인한다
차단 영향과 우회·장애 동작을 검증한다

17장 자주 묻는 질문#

IPS는 IDS보다 항상 좋은가요?#

IPS는 즉시 차단에 유용하지만 오탐이 서비스 중단을 만들 수 있습니다. 트래픽 특성과 복구 가능성에 따라 탐지와 차단 정책을 나눠 적용해야 합니다.

정밀도가 높으면 공격을 거의 놓치지 않는다는 뜻인가요?#

정밀도는 경보의 정확성을 나타냅니다. 공격을 놓친 정도는 재현율과 탐지 범위로 따로 검토해야 합니다.

시그니처를 자주 업데이트하면 규칙 검증이 필요 없나요?#

새 규칙은 정상 업무와 충돌할 수 있습니다. 버전·설정·실제 트래픽에서 검증하고 문제가 생기면 되돌릴 절차를 준비해야 합니다.