팔로우 기업 환경은 매시간 수백만 개의 이벤트를 발생시킵니다. 사건이 발생할 때, 대응자가 모든 이벤트를 필요로 하지는 않습니다. 그들은 사건의 전말을 알려주는 몇백 개의 이벤트가 필요합니다: 예를 들어, 단일 4624 성공 뒤에 이어지는 4625 실패의 급증, winword.exe에 의해 생성된 인코딩된 PowerShell, 도메인 컨트롤러에 03:12에 설치된 새로운 서비스. 로그 분석은 처음의 숫자에서 두 번째 숫자로 충분히 빠르게 도달하여 의미 있게 만드는 훈련입니다.
그 작업은 양방향에서 더 어려워졌습니다. AI 도구를 사용하는 공격자들은 기계 속도로 증거를 생성하며, 악의적인 행동을 겉보기에 무해한 활동으로 덧씌웁니다. 그러는 동안, 로그를 LLM에 푸시하는 명백한 지름길은 가이드레일, 컨텍스트 윈도우 제한 및 데이터 보호 의무에 직면하게 됩니다. Hugging Face의 대응팀은 2026년 7월에 거의 17,000개의 이벤트가 전방 모델에 의해 거부되어 로컬 모델에서 처리해야 할 때 정확히 그 벽에 부딪혔습니다.
아래에서는 로그 분석을 처음부터 끝까지 다루고, 문제의 사건 시간 버전의 무료 솔루션인 SOC Prime의 LogTotal을 살펴봅니다.
로그 분석의 기초는 무엇입니까?
모든 로그 분석 워크플로우는 SIEM, 데이터 레이크 또는 대응자의 노트북에서 실행되든 다섯 단계에 의존합니다. 하나를 건너뛰면 대개 검출되지 않은 문제나 설명할 수 없는 오탐으로 나중에 나타납니다.
- 수집. 에이전트, syslog 포워더, API 폴러와 클라우드 내장 수출업체가 소스에서 이벤트를 이동시킵니다. 이곳의 간극은 무음입니다: 이벤트 ID 10(프로세스 액세스)을 떨어뜨리는 Sysmon 구성은 LSASS를 통한 자격 증명 덤핑이 하류로 나타나지 않는다는 것을 의미합니다.
- 구문 분석과 정규화. 원시 행은 필드로 변환됩니다. 소스 IP는 방화벽, IdP 또는 EDR에서 온 것과 상관없이 동일한 필드여야 하며, 이는 ECS와 OCSF 같은 스키마가 존재하는 이유입니다.
- 풍부화. 자산 중요성, 사용자 역할, GeoIP 및 위협 인텔리전스가 IP 주소를 분석가가 실행할 수 있는 컨텍스트로 전환합니다.
- 상관관계. 단일 이벤트는 거의 아무 것도 증명하지 않습니다. 호스트, 사용자, 프로세스 GUID 또는 세션 ID에 의해 엮는 것이 공격 내러티브를 생성합니다.
- 납치 및 무결성. 검색을 위한 이력 저장소, 포렌식을 위한 냉장 저장소 및 나중에 기록을 지지하기 위한 변조 증거.
로그 분석이란 무엇입니까?
로그 분석은 시스템에서 발생한 일을 재구성하고, 그것이 중요한지 여부를 결정하고, 다음에 무엇을 할지 결정하기 위해 기계가 생성한 기록을 검사하는 과정입니다. 보안 작업에서, 의심스러운 활동에 대한 다섯 가지 질문에 답변합니다: 누가 행동했는가, 어떤 자산에서, 언제, 어디서, 어떤 메커니즘을 통해서.
이것은 로그 관리와 다릅니다. 관리란 파이프라인: 수집, 저장, 보존, 액세스 제어입니다. 분석은 해석입니다. 팀은 잘 관리된 로그 파이프라인을 가질 수 있지만, 아무도(인간 또는 기계)가 데이터를 올바르게 질문하지 않는다면 침입을 간과할 수 있습니다.
실제로, 로그 분석은 세 가지 모드로 실행됩니다:
- 탐지. 규칙과 모델은 이벤트를 지속적으로 평가하고 알려진 악성 행동이 나타날 때 경보를 발합니다.
- 조사. 경고나 정보를 받은 후, 분석가는 관련된 이벤트를 통해 사건의 범위를 정하고 근본 원인을 찾습니다.
- 위협 헌팅. 분석가는 특정 LOLBin의 남용과 같은 가설에서 시작하여 탐지 계층이 놓친 증거를 선제적으로 검색합니다.
로그를 사용하는 모든 팀 중에서, 보안 팀은 간극에 가장 여유가 없습니다.
왜 로그 분석이 그렇게 중요한가?
시간이 침해 비용을 좌우하기 때문에, 로그는 시간이 이기는지 또는 지는지를 결정합니다. IBM의 2026 데이터 침해 비용 보고서는 침해를 식별하고 억제하는 평균 시간이 247일로, 5년 만에 처음으로 증가했다고 밝힙니다. 200일 이상의 라이프사이클을 가진 침해는 평균적으로 $5.65 백만의 비용이 들었으며, 더 빨리 억제된 경우는 $4.32 백만이었습니다.
비용을 넘어서, 로그 분석은 모든 보안 프로그램이 따르는 네 가지 의무를 뒷받침합니다:
- 탐지. EDR과 NDR은 활동의 일부를 봅니다. 정체성 제공자의 로그, SaaS 감사의 흔적 및 클라우드 제어 평면이 두 지점을 메꿉니다.
- 범위 및 근본 원인. 이벤트 수준의 증거 없이는 대응자는 어떤 계정이 접촉되었고 공격자가 어떻게 접근했는지 말할 수 없으므로 해결책은 추측이 됩니다.
- 규제 보고. PCI DSS 4.0 요구 사항 10은 감사 로그 검토 및 12개월 보유를 요구합니다. SEC의 양식 8-K 항목 1.05는 물질적 결정 이후 상장 기업에게 영업일 4일을 부여하며, 이는 빠른 범위 설정 없이는 불가능합니다.
- 탐지 엔지니어링. 실제 원격 탐지는 규칙이 테스트되고 조정되는 방식입니다.
여기에는 숨겨진 단점이 있습니다. 가능한 모든 것을 실현하는 것과 같은 로그들은 사용자 이름, IP 주소, 세션 쿠키 및 베어러 토큰을 포함합니다. 효과적으로 분석하는 것은 점점 안전하게 분석하는 것을 의미합니다.
로그 데이터의 유형은 무엇입니까?
보안 관련 로그는 여섯 가지 범주로 나뉩니다. 각각은 다른 질문에 답하며, 하나나 두 개에 의존하는 조사는 공격자가 속할 수 있는 맹점을 가질 것입니다.
| 로그 범주 | 일반적인 소스 | 분석가에게 전달하는 것 |
| 엔드포인트 및 OS | Windows Security (4624, 4688, 7045), Sysmon, Linux auditd, journald | 어떤 프로세스가 실행되었는지, 어떤 계정으로 실행되었는지, 어떤 상위 프로세스 및 명령행으로 실행되었는지를 나타냅니다. |
| 정체성 | Active Directory (4768, 4769), Entra ID 로그인, Okta 시스템 로그 | 누가 인증했는지, 어디서인지, 어떤 프로토콜 및 MFA 결과를 사용했는지 나타냅니다. |
| 네트워크 | 방화벽, DNS, 웹 프록시, Zeek, NetFlow | 누가 누구에게 말을 걸었는지, 얼마나 많은 데이터가 이동되었는지, 어떤 도메인이 해상되었는지를 알려줍니다. |
| 클라우드 제어 평면 | AWS CloudTrail, Azure 활동 로그, GCP 감사 로그, Kubernetes 감사 | 어떤 API 호출이 인프라, 역할 또는 정책을 변경했는지 나타냅니다. |
| 응용 프로그램과 SaaS | 웹 서버 접근 로그, Microsoft 365 통합 감사 로그, Google Workspace | 사용자가 비즈니스 애플리케이션 및 데이터 저장소 내에서 수행한 일을 나타냅니다. |
| 보안 통제 | EDR, IDS/IPS (Suricata), WAF, 이메일 게이트웨이 | 다른 도구가 이미 경고한 것이 무엇인지, 그리고 그 이유를 알려줍니다. |
가장 가치 있는 발견은 일반적으로 경계에 있습니다. Kerberoasting 시도는 ID 로그의 RC4 암호화로 4769 요청의 클러스터로 나타납니다. 공격자가 크랙된 서비스 계정을 사용하여 수행한 작업을 입증하는 데는 엔드포인트 및 클라우드 데이터가 필요합니다.
일반적인 로그 파일 형식 및 구조는 무엇입니까?
로그는 완전히 구조화된 것에서 자유 텍스트에 이르기까지 다양하며, 구문 분석 부담은 그에 따라 증가합니다. 네 가지 형식이 일반적으로 SOC가 일상적으로 처리하는 대부분의 것에 해당됩니다.
Syslog. 여전히 네트워크 장비 및 유닉스 호스트의 링구아 프랑카입니다. RFC 3164 (BSD syslog)는 느슨하게 정의되어 있으며 타임스탬프가 부족합니다. RFC 5424는 버전 필드, ISO 8601 타임스탬프, MSGID 및 STRUCTURED-DATA 블록을 추가하지만, 메시지 본문 자체는 종종 공급업체별 자유 텍스트입니다.
CEF. ArcSight의 공통 이벤트 형식은 파이프로 구분된 헤더에 키=값 확장을 따릅니다:
CEF:0|Acme|FW|7.2|4625|로그온 실패|5|src=10.1.4.22 suser=jdoe dst=10.1.0.5
구문 분석이 쉽지만 얕고, 공급업체가 필드를 일관성 없이 매핑합니다. QRadar에서 사용하는 LEEF는 동일한 아이디어를 따릅니다.
JSON 및 NDJSON. 클라우드 및 SaaS 감사 로그의 기본값입니다. 한 개체를 한 줄당으로 하여 NDJSON을 스트리밍 가능하게 만들며, 깊은 중첩 및 배열은 고정된 스키마로 평면화하는 것을 복잡하게 만듭니다.
Windows EVTX. XML 이벤트 데이터를 포함하는 청크된 레코드의 바이너리 형식입니다. grep할 수 없으며, 전용 구문 분석기가 필요하며, 유용한 필드는 EventData에 존재합니다.
어떤 분석 도구인지 실용적인 테스트는 사건 중간에 변환 스크립트를 작성하지 않으면서 모든 네 가지를 네이티브로 수신하는지 여부입니다.
실시간 로그 모니터링
실시간 모니터링은 수신 시 이벤트를 평가하는 것을 의미합니다. 15분마다 실행되는 예약된 SIEM 쿼리는 20분의 이전 윈도우를 오버하면서, 몇 분 동안의 수집 및 색인 지연 뒤에 이어질 수 있으며, 공격자의 행동과 첫 번째 경고 사이에 쉽게 30분을 놓칠 수 있습니다.
스트리밍 아키텍처는 검출 논리를 상류로 이동시켜 그 격차를 좁힙니다. 이벤트는 Kafka와 같은 버스 또는 Cribl Stream과 같은 파이프라인을 통해 흐르며, 규칙은 상태 윈도우에서 카운트와 시퀀스를 평가하며 실행됩니다. 오직 풍부해진 태그가 있는 이벤트와 알림만 그대로 SIEM에 전달되며, 이는 인제션 비용도 감소시킵니다.
이는 세 가지 엔지니어링 문제를 수반합니다:
- 지연되거나 순서가 잘못된 이벤트. 윈도우에는 워터마크 또는 유예기간이 필요하며, 지연된 배치로 분할된 시퀀스는 결코 완성되지 않습니다.
- 상태 관리. 10,000개의 호스트를 30분 윈도우로 추적하는 것은 쿼리 문제보다는 메모리 문제입니다.
- 알림 볼륨. 시끄러운 규칙의 빠른 탐지는 단지 소음을 빨리 생성할 뿐입니다.
실시간 파이프라인은 또한 설계상 맹점을 가지고 있습니다. 그것들은 자신이 연결된 것만을 볼 수 있습니다. 격리된 서버, 계약자 노트북 или 새로 획득한 자회사의 로그가 여전히 빠르고 독립적인 분석이 필요합니다.
로그의 주요 패턴 인식 기법은 무엇입니까?
로그의 패턴 인식은 단일 이벤트에서 전체 공격 체계까지 계층적으로 작동합니다.
- 원자성 매칭. 하나의 이벤트, 하나의 조건: 알려진 나쁜 해시, rundll32.exe가 사용자 쓰기 가능한 경로에서 로드됨, 의심스러운 명령행의 Sigma 규칙. 빠르고 정확하지만, 컨텍스트에서만 악의적인 것을 보지 못합니다.
- 집계 및 임계값. 윈도우를 통한 계수. 한 계정에 대해 20번의 실패한 로그인은 무차별 대입을 시사하며, 같은 소스로부터 각기 다른 20개의 계정에 대한 한 번의 실패는 비밀번호 스프레이를 시사합니다. 같은 이벤트 ID라도 다른 패턴입니다.
- 시퀀스 상관관계. 시간 창 내에서의 순서 있는 이벤트입니다. 예를 들어 10분 내에 생성된 새로운 로컬 관리자와 그 로그인에 사용된 RDP.
- 기준설정 및 이상 탐지. 처음으로 보이는 부모-자식 프로세스 쌍, 드문 사용자 에이전트 문자열, 사용자의 정상 근무 시간 외의 로그인.
- 고차원의 상관관계. 원시 이벤트가 아닌 탐지에 의해 실행되는 규칙은 개별 히트를 체인으로 연결하여 MITRE ATT&CK 전술에 맵핑합니다. 이것이 400개의 경고를 하나의 사건으로 만드는 계층입니다.
필수 로그 분석 도구는 무엇입니까?
단일 제품이 모든 작업을 다루지는 않습니다. 성숙한 팀은 네 가지 범주의 로그 분석 도구를 결합합니다.
| 카테고리 | 예시 | 가장 잘하는 것 |
| SIEM | Splunk, Microsoft Sentinel, Google SecOps, Elastic Security | 중앙 집중식 탐지, 경보 정리, 사례 관리 |
| 보안 데이터 파이프라인 | Cribl Stream, Vector, Fluent Bit | 라우팅, 필터링, 정규화 및 저장 전 비용 제어 |
| 데이터 레이크 | Amazon Security Lake (OCSF), Snowflake, ClickHouse | 저렴한 장기 보존 및 대규모 사냥 |
| DFIR 유틸리티 | Hayabusa, Chainsaw, EvtxECmd, Velociraptor | 수집된 아티팩트의 빠른 정리, 특히 EVTX |
격차는 사건 대응 중에 나타납니다. SIEM은 데이터가 이미 반입된 것을 가정합니다. DFIR 유틸리티는 빠르지만 제한된 규칙 집합을 실행하며 상관관계를 분석가가 맡습니다. 일반적인 LLM은 컨텍스트 한계에 도달하여 보안 내용을 거부합니다. 사건의 첫 시간에 맞춰 설계된 도구는 다음과 같은 속성들이 필요합니다:
- EVTX, syslog, CEF 및 JSON의 네이티브 수용
- 수천 개의 규칙이 아닌, 크고 유지되는 탐색 라이브러리
- 공격 체인에 대한 상관관계, 평면 히트 목록 아님
- 일반 인프라에서 몇 분 이내에 결과 도출
- DPO의 검토를 통과할 수 있는 프라이버시 모델
왜 LogTotal이 최고 중 하나일까?
LogTotal은 그 목록의 모든 항목을 무료로 확인합니다. SOC Prime은 2026년 8월 26일에 공개 프리뷰로 열었고, 10월 15일에 일반 출시를 발표했습니다 general release on October 15워크플로우는 간단합니다: 업로드, 소독, 검역 결과를 받으세요.
| 요구 사항 | LogTotal이 이를 충족시키는 방법 |
| 네이티브 형식 | 변환 단계 없이 EVTX, JSON/NDJSON 및 syslog를 자동으로 감지 |
| 탐지 깊이 | 대략 100만 개의 탐지 규칙과 13,000개의 위협 레이블에 대해 이벤트 매칭 |
| 상관관계 | 상위 순위 Sigma 규칙 및 인공지능 에이전트 상관관계가 MITRE ATT&CK에 맵핑된 공격 체인을 조립 |
| 속도 | 약 1.7백만 이벤트를 1분 미만에 처리, Hugging Face 로그 세트의 약 100배 |
| 프라이버시 | 소독이 브라우저에서 실행되며, 아무것도 저장되지 않고 고객 데이터는 훈련에 사용되지 않음 |
속도는 GPU 기술이 아닙니다. 각 공격이 어떻게 보이는지에 대한 추론은 사전에 완료되어 탐지 컨텐츠로 컴파일되었으며, 엔진은 생성하지 않고 매칭과 상관관계를 수행합니다.
프라이버시 모델은 LogTotal이 법적 검토를 넘는 이유입니다. 오픈 소스 @socprime/logtotal-sanitizer (Apache-2.0)는 자격 증명, IP, 호스트명 및 사용자 이름을 안정적인 HMAC 토큰으로 교체하여 세 호스트에 걸친 한 사용자가 교정 후에도 하나의 실체로 유지됩니다. 키는 당신이 보관합니다. 각 분석은 일회용, 불변 인스턴스에서 실행되며, 이후 삭제됩니다.
발견 사항은 은밀한 기법 및 AI 주도의 침입에서 전형적인 무해한 활동 스파이크에 대한 플래그와 함께 순위가 매겨진 공격 체인으로 도착합니다.
2026년에 로그 분석의 주요 동향
올해 다섯 가지 변화가 팀들이 로그를 분석하는 방식을 재구성하고 있습니다.
- AI 속도로의 공격이 ‘의심스러운’이라는 개념을 변화시킵니다. IBM은 인공지능 주도의 공격에 직면한 조직이 1/4 이상으로, 전년대비 56 % 증가했다고 보고합니다. 무해한 이벤트 클래스의 볼륨 이상이 자체적으로 탐지 신호로 자리 잡고 있습니다.
- SIEM이 분할됩니다. Gartner의 2026 보안 운영을 위한 하이프 사이클은 시장을 통합 SOC 플랫폼과 보안 데이터 레이크로 나누어 AI SOC 에이전트가 과대 선의 기대의 정점에 이르고 있음을 보여줍니다. 분석은 점점 데이터가 존재하는 곳에서 이루어집니다.
- 탐지는 파이프라인으로 이동합니다. 인덱싱 전에 스트림에 대한 규칙 실행은 탐지 평균 시간을 줄이고 인제션 지출을 절감합니다.
- OCSF가 공유 스키마가 됩니다. 정규화된 데이터는 동일한 탐지 또는 동일한 AI 에이전트가 공급업체에 걸쳐 작용할 수 있게 합니다.
- 프라이버시 보존 분석이 표준 관행이 됩니다. IBM은 43%의 사건에 그림자 인공지능 참여를 집계했으며, 이는 20%에서 증가했습니다. 원시 로그를 챗봇에 붙여넣는 것은 정확히 그렇습니다. 로그가 조직을 떠나기 전에 키드 프레소니미타이제이션이 좋은 관행에서 기대치로 변하고 있습니다.
공통 실은 노출 없이 속도입니다. 그것이 LogTotal이 해결하기 위해 구축된 문제이며, 자신의 로그에 대해 그것을 테스트하는 데에는 아무런 비용이 들지 않습니다.
