Pseudonimizacja danych dziennika w Cribl Detect za pomocą pakietu LogTotal Sanitizer

Podsumowanie

Cribl Detect, wydany 29 września 2026 roku, to SIEM działający na platformie danych Cribl. Dane, które przechowuje i przeszukuje, są wprowadzane przez Cribl Stream Routes i Pipelines, więc etap czyszczenia w tych Pipeline’ach decyduje, do czego analitycy, triage wspomagany przez AI, powiadomienia o alertach i utrzymane zbiory danych mają dostęp.

The Cribl LogTotal Sanitizer jest open-source’owym pakietem Cribl (ten projekt nie jest powiązany z Cribl ani SOC Prime) opartym na silniku oczyszczania LogTotal firmy SOC Prime. Pseudonimizuje dane logów tekstu wolnego w strumieniu. Wykrywa jedenaście kategorii wartości wrażliwych i zastępuje każdą z nich tokenem HMAC z kluczem, który niesie etykietę typu, na przykład <USER:…> lub <IP:…>. Tokeny są deterministyczne, więc zdarzenia odwołujące się do tego samego użytkownika, hosta lub adresu mogą zostać skorelowane po usunięciu oryginalnej wartości.

• Dane dotyczące poświadczeń, płatności, zdrowia i identyfikatory osobiste są usuwane przed zapisaniem danych. Zmniejsza to wpływ naruszenia i zakres zgodności SIEM.
• Wykrycia oparte o korelację nadal działają na wartości tokenizowane.
• Pakiet ma licencję MIT i działa na istniejącej pojemności Worker, bez opłaty licencyjnej za gigabajt.

Skontaktuj się z sprzedażą

Gdzie sanitacja pasuje w ścieżce danych Detect

Detect używa standardowego modelu Cribl Sources, Routes, Pipelines i Destinations. Wykrycia w strumieniu, federacyjne przeszukiwanie, badania wspomagane przez AI i kierowanie alertów działają na danych, które Stream zapisuje w Cribl Lake lub Cribl Search datasets (Przegląd SOC Prime). Dane, które Detect przeszukuje w miejscu przez federacyjne przeszukiwanie, takie jak istniejący zbiornik S3, nie przechodzą przez Pipeline i muszą być oczyszczane przy zapisie.

SIEM eksponuje zawartość zdarzeń większej liczbie odbiorców niż typowy pipeline logów: analitycy z poziomu 1, partnerzy MSSP, agenty AI, powiadomienia Slack i PagerDuty oraz długoterminowe przechowywanie. Usunięcie wrażliwych wartości raz, na początku wszystkich, jest prostsze do obsługi i audytu niż egzekwowanie kontroli dostępu dla każdego odbiorcy.

Pochodzenie: LogTotal firmy SOC Prime

Silnik sanitacji w pakiecie został opracowany przez SOC Prime. SOC Prime opublikowało LogTotal jako darmową publiczną wersję podglądową 26 sierpnia 2026 roku (ogłoszenie). LogTotal oczyszcza pliki dziennika lokalnie w przeglądarce, zanim cokolwiek zostanie przesłane. Oczyszczone zdarzenia są następnie korelowane z treściami wykrywającymi SOC Prime: około milion reguł wykrywania, zbior danych 13 000 etykiet, Higher Order Sigma rules i agentowa AI-korelacja. LogTotal nie przechowuje przesłanych logów.

SOC Prime opublikowało komponent sanitacji osobno jako otwarty pakiet źródłowy @socprime/logtotal-sanitizer na licencji Apache-2.0. Pakiet Cribl jest projektem społecznościowym stworzonym przez M3NIX, który obudowuje tę bibliotekę.

Poniższe decyzje projektowe są zgodne z racjonalnością SOC Prime dla LogTotal, która identyfikuje trzy powszechne tryby niepowodzenia redagowania logów:

• Statyczne maskowanie zamienia każdy adres IP lub nazwę użytkownika na to samo zastąpienie. Dziesięć nieudanych prób logowania wygląda identycznie, a jedno kompromitowane konto nie może być dłużej odróżniane od ataku rozpylania haseł na dziesięć kont.
• Proste znajdź-i-zamień gubi wartości w zagnieżdżonych JSON lub nietypowych kodowaniach i przesadnie redaguje wartości, które tylko wyglądają na wrażliwe, takie jak numery wersji ukształtowane jak adresy IP lub UUID używane jako identyfikatory wiadomości.
• Niekluczowe hashe można odwrócić za pomocą słownikowych ataków, a identyczne niesolone hashe z różnych organizacji mogą fałszywie łączyć niepowiązane incydenty.

Tokeny z kluczem i etykietą rozwiązują wszystkie trzy.

Jak działa pakiet

Pakiet (cc-stream-logtotal-sanitizer) implementuje niestandardową Funkcję Cribl. Domyślnie Funkcja stosuje wszystkie wbudowane detektory do _raw, zamienia każde dopasowanie na token i ustawia __logtotal_sanitized: true na zdarzeniach, które modyfikuje. _time i wszystkie inne pola pozostają bez zmian.

Detektory oceniane są w tej kolejności priorytetowej:

1. Sekrety: tokeny nosicieli, JWT, klucze API, bloki PEM i tokeny dostawców chmury
2. Ciasteczka sesji
3. Dane płatności, weryfikowane za pomocą sum kontrolnych Luhn i mod-97
4. Identyfikatory rządowe
5. Identyfikatory zdrowotne i kody podobne do ICD
6. Numery telefonów
7. Adresy IPv4, IPv6 i MAC
8. Nazwy hostów i FQDN
9. Nazwy użytkowników i adresy e-mail
10. Geolokalizacja
11. Ścieżki katalogu domowego

Dla wejścia JSON, wartości pod znanymi kluczami o wrażliwych nazwach zastępowane są na podstawie nazwy klucza. Reszta zdarzenia jest nadal przetwarzana przez detektory wyrażeń regularnych.

Token jest HMAC-SHA-256 identyfikatora reguły i oryginalnej wartości, skrócony do 16 znaków szesnastkowych. Ten sam klucz, reguła i wartość zawsze dają ten sam token. W trybie pseudonim token zawiera etykietę typu. W trybie maski, który jest używany dla sekretów i danych płatności, token ma neutralną formę <R:…>. Przykład, z wartościami tokenów skróconymi:

przed: użytkownik alice@corp.example nieudane logowanie z 10.20.1.7 do db-prod-01.corp.example

po: użytkownik <USER:3f9a…> nieudane logowanie z <IP:b81c…> do <HOST:0d4e…>

Niestandardowe reguły są zdefiniowane jako tablica JSON w konfiguracji Funkcji. Każda reguła określa identyfikator, wyrażenie regularne, tryb i prefiks tokena. Na przykład wewnętrzne numery biletów lub pracowników mogą być mapowane na tokeny <TICKET:…>.

Wdrożenie

Pakiet jest instalowany przy użyciu standardowego workflow Pack Cribl w Grupie Worker, która wysyła dane do Detect. Pliki wydania, wymagania i instrukcje instalacji znajdują się w repozytorium projektu na GitHub. W zarysie, pakiet jest importowany z włączonymi funkcjami niestandardowymi, losowy klucz HMAC jest przechowywany jako Secret grupy robotników, a wynik jest sprawdzany względem załączonej próbki podglądowej. Pakiet jest następnie ustawiany jako Pipeline trasy, która dostarcza do zbiorów Detect, z filtrem wybierającym źródła zawierające dane wrażliwe.

Trzy szczegóły implementacyjne wymagają uwagi:

• Pakiet przepisuje jedno pole string górnego poziomu, domyślnie _raw. Pola wyciągnięte wcześniej w pipeline zachowują swoje oryginalne wartości, więc pakiet musi działać przed parsowaniem, albo pola muszą być ponownie wyciągnięte z oczyszczonego _raw.
• Wszyscy Workerzy, którzy muszą produkować dopasowane tokeny, muszą używać tego samego klucza, wersji pakietu i konfiguracji reguł. Rotacja klucza zmienia każdy token, więc rotacja powinna być zaplanowana z uwzględnieniem okresów utrzymania zbioru danych.
• Detect jest dostępne tylko na Cribl.Cloud. Uruchomienie pakietu w zarządzanej przez klienta (hybrydowej) Grupie Worker pseudonimuje dane przed opuszczeniem sieci klienta. Cribl.Cloud historycznie obejmował niestandardowe funkcje i skrypty dla hybrydowych Workerów (blog Cribl), więc wsparcie powinno być potwierdzone przed poleganiem na Workerach zarządzanych przez Cribl.

W tym układzie, niezmodyfikowane wartości istnieją tylko w sieci klienta. Wykrycia i wzbogacenia, które wymagają oryginalnych wartości, działają przed pakietem, a wszystko zapisane do celu zawiera tokeny.

Cechy wyróżniające

Główna różnica techniczna w stosunku do natywnych opcji Cribl to pseudonimizacja z kluczem. Oryginalne wartości są usuwane, ale odwołania do tej samej jednostki pozostają powiązane w zdarzeniach.

Tokeny z kluczem nie są podatne na słownikowe ataki działające przeciw nieskomplikowanym haszom. Niekluczowy SHA-256 adresu IPv4 lub nazwy użytkownika można odwrócić, enumerując małą przestrzeń wejściową. Token HMAC nie może być obliczony bez tajnego klucza. Etykieta typu w każdym tokenie (<HOST:…>, <USER:…>) nadal informuje analityków i narzędzia triage LLM, do jakiego rodzaju jednostki odnosi się zdarzenie, więc linie czasowe pozostają czytelne.

Jedenaście rodzin detektorów działa bez dodatkowej konfiguracji. Weryfikacja sum kontrolnych zmniejsza liczbę fałszywie pozytywnych wyników, takich jak dopasowanie przypadkowych ciągów cyfr jako numery kart.

Ponowna identyfikacja nie wymaga praw do masowego odszyfrowywania. Każdy, kto posiada klucz, może obliczyć token dla znanego wskaźnika, takiego jak nazwa podejrzanego konta, i go wyszukać.

Ponieważ silnik jest biblioteką LogTotal firmy SOC Prime, jest również dostępny jako aplikacja webowa LogTotal, CLi i pakiet Node.js, w tym dla środowisk air-gapped. Z tym samym kluczem i konfiguracją reguł, wyciąg loga przygotowany na potrzeby biletu dostawcy lub umowy o reagowaniu na incydenty może być przetwarzany zgodnie z danymi SIEM. Kod jest open-source, nie ma opłaty za gigabajt, a pakiet zawiera swoje zależności.

Ograniczenia i rozważania operacyjne

Największy wpływ operacyjny ma na treści wykrywania, które zależą od wartości oryginalnych.

• Tokenizowane adresy IP, domeny i nazwy użytkowników nie pasują do kanałów IOC, baz danych GeoIP, reguł opartych na CIDR ani zapytań dotyczących zasobów. Możliwe środki zaradcze: uruchom wykrycia w strumieniu i wzbogacenia przed pakietem, wyłącz reguły adresów IP i hostów na dotkniętej trasie lub wyślij kopię o pełnej wierności do ograniczonego magazynu.
• Podstawowa biblioteka obsługuje allowlistę neverRedact, ale dokumentowane ustawienia pakietu nie udostępniają jej.
• Każde zdarzenie jest oceniane na podstawie dużego zestawu wyrażeń regularnych. Tryb agresywny zwiększa zarówno koszt CPU, jak i liczbę fałszywie pozytywnych wyników, a rozmiar Workerów powinien to uwzględniać.
• Tokeny nie mogą być odszyfrowane. Ponowna identyfikacja jest możliwa tylko przez ponowne obliczenie tokena dla znanej wartości.

Wniosek

Dla wdrożeń, które wysyłają dane bezpieczeństwa do Cribl Detect, pakiet LogTotal Sanitizer zapewnia pseudonimizację w strumieniu przy niskim koszcie. Wrażliwe wartości są usuwane przed dotarciem do analityków, agentów AI i przechowywania długoterminowego, podczas gdy relacje jednostek używane przez reguły korelacji są zachowywane. Praktyczne wdrożenie zaczyna się od jednego źródła wysokiego ryzyka. Sprawdź wynik za pomocą próbki podglądowej, potwierdź, że odpowiednie wykrycia nadal działają, a następnie rozciągnij pakiet na kolejne trasy.