팔로우 요약
2026년 9월 29일에 출시된 Cribl Detect는 Cribl의 데이터 플랫폼에서 실행되는 SIEM입니다. 이 데이터는 Cribl Stream 경로 및 파이프라인을 통해 수집되어 저장 및 검색되며, 이러한 파이프라인의 정화 단계는 분석가, AI 지원 조사, 알림 및 보존 데이터셋에 접근할 수 있는 것을 결정합니다.
The Cribl LogTotal Sanitizer 는 SOC Prime의 LogTotal의 정화 엔진을 기반으로 구축된 오픈 소스 Cribl Pack(이 프로젝트는 Cribl 또는 SOC Prime과 관련이 없음)입니다. 이는 스트림에서 자유 텍스트 로그 데이터를 단편화합니다. 민감한 값을 11개의 범주로 감지하고 각 값을 유형 레이블을 포함한 키 HMAC 토큰으로 대체합니다. 예를 들어 <USER:…> 또는 <IP:…>. 토큰은 결정적이므로, 같은 사용자, 호스트 또는 주소를 참조하는 이벤트들은 원래 값이 제거된 후에도 상관될 수 있습니다.
- 자격 증명, 결제 데이터, 건강 데이터 및 개인정보 식별자는 데이터가 저장되기 전에 제거됩니다. 이것이 침해의 영향을 줄이고 SIEM의 준수 범위를 줄입니다.
- 상관 기반 감지는 토큰화된 값에서 계속 작동합니다.
- 이 패키지는 MIT 라이센스를 가지고 있으며, GB당 라이센스 비 없이 기존의 Worker 용량에서 실행됩니다.
정화는 Detect 데이터 경로의 어디에 있는가
Detect는 표준 Cribl 모델의 소스, 경로, 파이프라인 및 목적지를 사용합니다. 스트림에서 쓰여진 데이터인 Cribl Lake나 Cribl Search 데이터셋에 AI 지원 조사, 알림 라우팅, 연합 검색이 운영됩니다.SOC Prime 개요). 기존 S3 버킷과 같은 연합 검색을 통해 위치에서 Detect 쿼리하는 데이터는 파이프라인을 통과하지 않으며, 작성 시 정화되어야 합니다.
SIEM은 이벤트 콘텐츠를 일반 로그 파이프라인보다 많은 소비자에게 노출합니다: tier-1 분석가, MSSP 파트너, AI 에이전트, 슬랙 및 PagerDuty 알림, 장기 보존. 한 번에 민감한 값을 제거하면, 각각의 소비자에 대한 접근 제어를 시행하는 것보다 운영 및 감사가 더 간단합니다.
출처: SOC Prime의 LogTotal
팩의 정화 엔진은 SOC Prime에 의해 개발되었습니다. SOC Prime은 2026년 8월 26일에 LogTotal을 자유 공개 미리보기로 출시했습니다.발표). LogTotal은 로컬로 브라우저에서 로그 파일을 정화한 후 업로드합니다. 그런 다음 정화된 이벤트는 SOC Prime의 탐지 콘텐츠와 대조됩니다: 약 백만 개의 탐지 규칙, 13,000개의 레이블, 상위 Sigma 규칙 및 에이전트 AI 상관 관계. LogTotal은 업로드된 로그를 보존하지 않습니다.
SOC Prime은 이 라이브러리를 오픈 소스 라이브러리로 독립적으로 게시했습니다 @socprime/logtotal-sanitizer Apache-2.0 하에서. Cribl Pack은 이 라이브러리를 감싼 M3NIX에 의한 커뮤니티 프로젝트입니다.
아래에 설명된 설계 결정은 SOC Prime의 LogTotal에 대한 논리에 따라 이루어졌으며, 로그 레드액션의 세 가지 일반적인 실패 모드를 식별합니다:
- 정적 마스킹은 모든 IP 주소나 사용자 이름을 동일한 플레이스홀더로 대체합니다. 그러면 열 번의 실패한 로그온이 동일하게 보이고, 싱글 계정 침해를 열 개의 계정에 대한 비밀번호 스프레이 공격과 구별할 수 없습니다.
- 단순 찾기 및 바꾸기는 중첩된 JSON이나 비정상적인 인코딩에서 값을 놓치고, IP 주소처럼 보이는 버전 번호 또는 메시지 ID로 사용되는 UUID와 같이 민감해 보이는 값도 과도하게 레드액션합니다.
- 키가 없는 해시는 사전 공격으로 역전 가능하고, 다양한 조직에서 동일하게 소금되지 않은 해시는 관련 없는 사건을 잘못 연결할 수 있습니다.
키가 있는, 유형화된 토큰은 이 세 가지를 모두 해결합니다.
패키지 작동 원리
패키지(cc-stream-logtotal-sanitizer)는 Cribl 사용자 정의 함수를 구현합니다. 기본적으로 함수는 _raw에 모든 내장된 감지기를 적용하고, 각 일치를 토큰으로 대체하며, 수정된 이벤트에 __logtotal_sanitized: true를 설정합니다. _time 및 다른 모든 필드는 변경되지 않습니다.
감지기는 다음의 우선 순위로 평가됩니다:
- 비밀: 베어러 토큰, JWT, API 키, PEM 블록 및 클라우드 제공자 토큰
- 세션 쿠키
- 결제 데이터, Luhn 및 mod-97 체크섬으로 검증됨
- 정부 식별자
- 건강 식별자 및 ICD 유사 코드
- 전화번호
- IPv4, IPv6 및 MAC 주소
- 호스트 이름 및 FQDN
- 사용자 이름 및 이메일 주소
- 지리적 위치
- 홈 디렉토리 경로
JSON 입력의 경우, 알려진 민감한 키 이름의 값은 키 이름을 기반으로 대체됩니다. 이벤트의 나머지는 여전히 정규식 감지기에 의해 처리됩니다.
토큰은 규칙 ID와 원래 값의 HMAC-SHA-256이며, 16진수 문자로 잘립니다. 같은 키, 규칙, 값은 항상 동일한 토큰을 생성합니다. 의사 모드에서는 토큰에 유형 레이블이 포함됩니다. 이 비밀 또는 결제 데이터에 사용되는 마스크 모드에서는 토큰이 중립 형태인 <R:…>입니다. 예를 들어, 토큰 값이 짧아진 다음 예시입니다:
이전: 사용자가 alice@corp.example이 10.20.1.7에서 db-prod-01.corp.example로 실패한 로그인
이후: 사용자 <USER:3f9a…>가 <IP:b81c…>에서 <HOST:0d4e…>로 실패한 로그인
사용자 정의 규칙은 함수 구성에서 JSON 배열로 정의됩니다. 각 규칙은 ID, 정규 표현식, 모드 및 토큰 접두사를 지정합니다. 예를 들어, 내부 티켓 및 직원 번호는 <TICKET:…> 토큰으로 매핑될 수 있습니다.
배포
패키지는 데이터를 Detect로 전송하는 Worker 그룹에서 Cribl의 표준 팩 워크플로우로 설치됩니다. 릴리스 파일, 요구 사항 및 설치 지침은 프로젝트의 GitHub 저장소에 있습니다. 개요에서, 패키지는 사용자 정의 함수가 활성화된 상태로 가져오고, 무작위 HMAC 키는 Worker 그룹 비밀로 저장되며, 출력은 번들된 미리 보기 샘플과 대조되어 확인됩니다. 패키지는 민감한 데이터를 포함하는 소스를 선택하는 필터가 있는 Detect의 데이터셋으로 전달하는 경로의 파이프라인으로 설정됩니다.
세 가지 구현 세부사항에 주의가 필요합니다:
- 패키지는 기본적으로 단일 최상위 문자열 필드, _raw를 다시 씁니다. 파이프라인에서 더 일찍 추출된 필드는 원래 값을 유지하므로, 패키지는 파싱 전에 실행되거나 필드는 정화된 _raw에서 다시 추출되어야 합니다.
- 일치하는 토큰을 생성해야 하는 모든 워커는 동일한 키, 팩 버전, 규칙 구성을 사용해야 합니다. 키를 회전하면 모든 토큰이 변경되므로, 회전은 데이터셋 보유 기간을 고려하여 계획되어야 합니다.
- Detect는 Cribl.Cloud에서만 사용할 수 있습니다. 고객이 관리하는(하이브리드) 워커 그룹에서 패키지를 실행하면 데이터가 고객 네트워크를 떠나기 전에 단편화될 수 있습니다. Cribl.Cloud는 역사적으로 하이브리드 워커에 사용자 정의 기능과 스크립팅을 범위로 지정했기 때문에 Cribl이 관리하는 워커에 의존하기 전에 지원이 확인되어야 합니다.Cribl 블로그내에서. 수정되지 않은 값은 고객 네트워크 내부에만 존재합니다. 원래 값을 필요로 하는 감지 및 보강은 패키지 전에 실행되고, 목적지에 쓰여진 모든 것은 토큰을 포함합니다.
이 레이아웃에서,
특징 구별
Cribl의 기본 옵션과의 주요 기술적 차이점은 키된 단편화입니다. 원래 값은 제거되지만 동일한 엔티티에 대한 참조는 이벤트 간 링크 가능하게 유지됩니다.
키된 토큰은 평범한 해시에 대해 작동하는 사전 공격에 취약하지 않습니다. IPv4 주소나 사용자 이름의 키가 없는 SHA-256은 작은 입력 공간을 열거하여 반전할 수 있습니다. HMAC 토큰은 비밀 키 없이는 계산할 수 없습니다. 각 토큰의 유형 레이블(<HOST:…>, <USER:…>)은 여전히 분석가와 LLM 기반 조사 도구에게 이벤트가 어떤 종류의 엔티티에 관한 것인지 알리므로 타임라인은 읽을 수 있습니다.
열한 개의 감지기 계열은 추가 구성 없이 작동합니다. 체크섬 검증은 카드 번호로 일치하는 무작위 숫자 문자열과 같은 오탐률을 줄입니다.
재식별은 대량 복호화 권한을 필요로 하지 않습니다. 키를 보유한 사람은 의심스러운 계정 이름과 같은 알려진 지표에 대한 토큰을 계산하고 이를 검색할 수 있습니다.
이 엔진은 SOC Prime의 LogTotal 라이브러리이므로, LogTotal 웹 애플리케이션, CLI 및 Node.js 패키지로도 사용할 수 있으며, 공기 격리 환경을 포함합니다. 동일한 키 및 규칙 구성으로, 벤더 티켓 또는 사건 대응 보유에 대해 준비된 로그 추출물은 SIEM 데이터와 일관되게 처리될 수 있습니다. 코드는 오픈 소스이며, GB당 요금이 없으며, 패키지는 종속성을 번들로 포함합니다.
제한 사항 및 운영 고려 사항
원래 값에 의존하는 탐지 콘텐츠에 미치는 가장 큰 운영적 영향입니다.
- 토큰화된 IP 주소, 도메인 및 사용자 이름은 IOC 피드, GeoIP 데이터베이스, CIDR 기반 규칙 또는 자산 조회와 일치하지 않습니다. 완화책: 스트림 내 탐지와 강화 작업을 패키지 전에 실행하거나, 영향을 받는 경로의 IP 및 호스트 규칙을 비활성화하거나, 제한된 저장소로 원본 정확한 사본을 전송합니다.
- 기본 라이브러리는 neverRedact 허용 목록을 지원하지만, 팩의 문서화된 설정에서는 이를 노출하지 않습니다.
- 각 이벤트는 많은 정규 표현식 집합에 대해 평가됩니다. 공격적 모드는 CPU 비용과 오탐률을 모두 증가시키며, 워커 크기는 이를 고려해야 합니다.
- 토큰은 복호화할 수 없습니다. 재식별은 알려진 값에 대한 토큰을 다시 계산함으로써만 가능합니다.
결론
Cribl Detect로 보안 데이터를 전송하는 배포의 경우, LogTotal Sanitizer 팩은 낮은 비용으로 스트림 내에서 단편화를 제공합니다. 민감한 값은 분석가, AI 에이전트 및 장기 보관에 도달하기 전에 제거되고, 상관 관계 규칙에 사용되는 엔티티 관계는 보존됩니다. 실용적인 시행은 단일 고위험 원본으로 시작합니다. 미리 보기 샘플과 함께 출력을 검증하고 관련 탐지가 여전히 발화하도록 확인한 다음, 팩을 다른 경로로 확장하세요.
