Pseudonymisierung von Logdaten in Cribl Detect mit dem LogTotal Sanitizer Pack

Zusammenfassung

Cribl Detect, veröffentlicht am 29. September 2026, ist ein SIEM, das auf Cribls Datenplattform läuft. Die von ihm gespeicherten und durchsuchten Daten werden über Cribl Stream Routes und Pipelines aufgenommen, daher bestimmt ein Bereinigungsschritt in diesen Pipelines, auf welche Daten Analysten, KI-gestützte Einleitung, Benachrichtigungen und beibehaltene Datensätze zugreifen können.

The Cribl LogTotal Sanitizer ist ein Open-Source-Cribl-Pack (dieses Projekt ist nicht mit Cribl oder SOC Prime verbunden), das auf der Bereinigungsmaschine von SOC Primes LogTotal basiert. Es pseudonymisiert freie Textprotokolldaten im Stream. Es erkennt elf Kategorien sensibler Werte und ersetzt jeden mit einem gehashten HMAC-Token, das einen Typen-Label trägt, zum Beispiel <USER:…> oder <IP:…>. Tokens sind deterministisch, sodass Ereignisse, die denselben Benutzer, Host oder Adresse referenzieren, weiterhin korreliert werden können, nachdem der ursprüngliche Wert entfernt wurde.

• Anmeldedaten, Zahlungsdaten, Gesundheitsdaten und persönliche Identifikatoren werden entfernt, bevor die Daten gespeichert werden. Dies reduziert die Auswirkungen einer Verletzung und den Compliance-Bereich des SIEM.
• Korrelationsbasierte Erkennungen funktionieren weiterhin mit tokenisierten Werten.
• Das Pack ist MIT-lizenziert und läuft auf vorhandener Worker-Kapazität, ohne pro-GB-Lizenzgebühr.

Vertrieb kontaktieren

Wo die Bereinigung im Detect-Datenpfad passt

Detect verwendet das Standard-Cribl-Modell von Quellen, Routen, Pipelines und Zielen. In-Stream-Erkennungen, föderierte Suche, KI-gestützte Untersuchung und Alarm-Routing arbeiten an Daten, die Stream in Cribl Lake oder Cribl Search-Datensätze schreibt (Überblick über SOC Prime). Daten, die Detect vor Ort durch föderierte Suche abfragt, wie z.B. ein vorhandener S3-Bucket, durchlaufen keine Pipeline und müssen beim Schreiben bereinigt werden.

Ein SIEM legt Ereignisinhalte mehr Verbrauchern offen als eine typische Log-Pipeline: Analysten der Stufe 1, MSSP-Partner, KI-Agenten, Slack- und PagerDuty-Benachrichtigungen sowie langfristige Aufbewahrung. Das einmalige Entfernen sensibler Werte, bevor sie an alle diese weitergeleitet werden, ist einfacher zu betreiben und zu prüfen, als Zugriffskontrollen auf jeden Verbraucher zu erzwingen.

Herkunft: SOC Primes LogTotal

Die Bereinigungs-Engine im Pack wurde von SOC Prime entwickelt. SOC Prime veröffentlichte LogTotal am 26. August 2026 als öffentliche Vorschau (Ankündigung). LogTotal bereinigt Protokolldateien lokal im Browser, bevor irgendetwas hochgeladen wird. Die bereinigten Ereignisse werden dann mit SOC Primes Erkennungsinhalt korreliert: etwa eine Million Erkennungsregeln, ein Datensatz mit 13.000 Labels, Höhere-Ordnung-Sigma-Regeln und agentische KI-Korrelation. LogTotal speichert keine hochgeladenen Protokolle.

SOC Prime veröffentlichte die Bereinigungskomponente separat als Open-Source-Bibliothek @socprime/logtotal-sanitizer unter Apache-2.0. Das Cribl Pack ist ein Community-Projekt von M3NIX, das diese Bibliothek umschließt.

Die unten beschriebenen Designentscheidungen folgen SOC Primes Begründung für LogTotal, die drei häufige Fehlermodi der Protokollredaktion identifiziert:

• Statisches Maskieren ersetzt jede IP-Adresse oder jeden Benutzernamen durch denselben Platzhalter. Zehn fehlgeschlagene Anmeldungen sehen dann identisch aus, und ein einzelnes kompromittiertes Konto kann nicht mehr von einem Passwort-Spray-Angriff gegen zehn Konten unterschieden werden.
• Einfaches Suchen-und-Ersetzen übersieht Werte in geschachtelten JSON- oder ungewöhnlichen Codierungen und übermaskiert Werte, die nur empfindlich aussehen, wie Versionsnummern, die wie IP-Adressen geformt sind, oder UUIDs, die als Nachrichten-IDs verwendet werden.
• Unschlüssige Hashes können durch Wörterbuchangriffe rückgängig gemacht werden, und identische unsammelte Hashes von verschiedenen Organisationen können fälschlicherweise nicht zusammenhängende Vorfälle verlinken.

Geknüpfte, getypte Tokens adressieren alle drei.

Wie das Pack funktioniert

Das Pack (cc-stream-logtotal-sanitizer) implementiert eine Cribl benutzerdefinierte Funktion. Standardmäßig wendet die Funktion alle eingebauten Detektoren auf _raw an, ersetzt jedes gefundene Element mit einem Token und setzt __logtotal_sanitized: true bei den Ereignissen, die sie ändert. _time und alle anderen Felder bleiben unverändert.

Detektoren werden in dieser Prioritätsreihenfolge ausgewertet:

1. Geheimnisse: Bearer-Tokens, JWTs, API-Schlüssel, PEM-Blöcke und Cloud-Provider-Tokens
2. Sitzungscookies
3. Zahlungsdaten, validiert mit Luhn- und mod-97-Prüfsummen
4. Staatliche Identifikatoren
5. Gesundheitsidentifikatoren und ICD-ähnliche Codes
6. Telefonnummern
7. IPv4-, IPv6- und MAC-Adressen
8. Hostnamen und FQDNs
9. Benutzernamen und E-Mail-Adressen
10. Geolokalisierung
11. Home-Verzeichnispfade

Bei JSON-Eingaben werden Werte unter bekannten sensitiven Schlüsselnamen basierend auf dem Schlüsselnamen ersetzt. Der Rest des Ereignisses wird weiterhin durch die Regex-Detektoren verarbeitet.

Ein Token ist der HMAC-SHA-256 der Regel-ID und des ursprünglichen Wertes, gekürzt auf 16 hexadezimale Zeichen. Derselbe Schlüssel, dieselbe Regel und derselbe Wert erzeugen immer dasselbe Token. Im Pseudomodus enthält das Token ein Typen-Label. Im Maskenmodus, der für Geheimnisse und Zahlungsdaten verwendet wird, hat das Token die neutrale Form <R:…>. Beispiel, mit gekürzten Token-Werten:

vorher: Benutzer alice@corp.example fehlgeschlagene Anmeldung von 10.20.1.7 zu db-prod-01.corp.example

nachher:  Benutzer <USER:3f9a…> fehlgeschlagene Anmeldung von <IP:b81c…> zu <HOST:0d4e…>

Benutzerdefinierte Regeln sind als JSON-Array in der Funktionkonfiguration definiert. Jede Regel spezifiziert eine ID, einen regulären Ausdruck, einen Modus und ein Token-Präfix. Interne Ticket- oder Mitarbeiternummern können beispielsweise in <TICKET:…> Tokens umgewandelt werden.

Einsatz

Das Pack wird mit Cribls Standard-Pack-Workflow in der Worker-Gruppe installiert, die Daten an Detect sendet. Veröffentlichungsdateien, Anforderungen und Installationsanweisungen befinden sich im Projekt-GitHub-Repository. Im Überblick wird das Pack mit aktivierten benutzerdefinierten Funktionen importiert, ein zufälliger HMAC-Schlüssel als Worker-Gruppengeheimnis gespeichert und die Ausgabe mit dem enthaltenen Vorschausample überprüft. Das Pack wird dann als Pipeline eines Route heruntergeladen, das an Detects Datensätze liefert, mit einem Filter, der die Quellen auswählt, die sensible Daten enthalten.

Drei Implementierungsdetails erfordern Aufmerksamkeit:

• Das Pack überschreibt ein einzelnes Top-Level-Stringfeld, _raw standardmäßig. Felder, die früher in der Pipeline extrahiert wurden, behalten ihre ursprünglichen Werte, daher muss das Pack vor dem Parsen laufen, oder die Felder müssen aus dem bereinigten _raw neu extrahiert werden.
• Alle Worker, die passende Tokens erzeugen müssen, müssen denselben Schlüssel, dieselbe Pack-Version und dieselbe Regelkonfiguration verwenden. Die Drehung des Schlüssels ändert jedes Token, daher sollte die Drehung mit den Aufbewahrungsfristen der Datensätze eingeplant werden.
• Detect ist nur auf Cribl.Cloud verfügbar. Das Pack auf einer kundengemanagten (hybriden) Worker-Gruppe zu betreiben, pseudonymisiert Daten, bevor sie das Kundennetzwerk verlassen. Cribl.Cloud hat historisch benutzerdefinierte Funktionen und Scripting auf hybride Worker beschränkt (Cribl-Blog), daher sollte die Unterstützung bestätigt werden, bevor man sich auf Cribl-gemanagte Worker verlässt.

In diesem Layout existieren unmodifizierte Werte nur innerhalb des Kundennetzwerks. Erkennungen und Anreicherungen, die die ursprünglichen Werte benötigen, laufen vor dem Pack, und alles, was an das Ziel geschrieben wird, enthält Tokens.

Unterscheidende Merkmale

Der Hauptunterschied zu Cribls nativen Optionen ist die geknüpfte Pseudonymisierung. Ursprüngliche Werte werden entfernt, aber Verweise auf dieselbe Entität bleiben über Ereignisse hinweg verknüpfbar.

Geknüpfte Tokens sind nicht anfällig für Wörterbuchangriffe, die gegen einfache Hashes funktionieren. Ein ungeschlüsseltes SHA-256 einer IPv4-Adresse oder eines Benutzernamens kann rückgängig gemacht werden, indem man den kleinen Eingaberaum aufzählt. Ein HMAC-Token kann ohne den geheimen Schlüssel nicht berechnet werden. Das Typen-Label in jedem Token (<HOST:…>, <USER:…>) teilt Analysten und LLM-basierten Einleitungswerkzeugen immer noch mit, auf welche Art von Entität sich ein Ereignis bezieht, sodass Zeitpläne lesbar bleiben.

Elf Detektorenfamilien funktionieren ohne zusätzliche Konfiguration. Die Checksum-Validierung reduziert falsche Positive, wie zufällige Ziffernfolgen, die als Kartennummern erkannt werden.

Für die Re-Identifikation sind keine Massenentschlüsselungsrechte erforderlich. Jeder, der den Schlüssel besitzt, kann das Token für einen bekannten Indikator berechnen, wie z.B. einen verdächtigen Kontonamen, und danach suchen.

Da die Engine die LogTotal-Bibliothek von SOC Prime ist, steht sie auch als LogTotal-Webanwendung, als CLI und als Node.js-Paket zur Verfügung, auch für abgeschottete Umgebungen. Mit demselben Schlüssel und derselben Regelkonfiguration kann ein für ein Lieferantenticket oder einen Vorfall-Reaktions-Retainer vorbereiteter Protokollextrakt konsistent mit SIEM-Daten verarbeitet werden. Der Code ist Open Source, es gibt keine pro-GB-Gebühr und das Pack enthält seine Abhängigkeiten.

Einschränkungen und betriebliche Überlegungen

Die größte betriebliche Auswirkung hat der Erkennungsinhalt, der auf ursprüngliche Werte angewiesen ist.

• Tokenisierte IP-Adressen, Domänen und Benutzernamen stimmen nicht mit IOC-Feeds, GeoIP-Datenbanken, CIDR-basierten Regeln oder Asset-Abfragen überein. Milderungen: In-Stream-Erkennungen und Anreicherung vor dem Pack ausführen, die ips und hosts-Regeln auf der betroffenen Route deaktivieren oder eine Kopie mit voller Wiedergabetreue an ein eingeschränktes Speicherziel senden.
• Die zugrunde liegende Bibliothek unterstützt eine neverRedact-Allowlist, aber die dokumentierten Einstellungen des Packs geben sie nicht preis.
• Jedes Ereignis wird gegen eine große Menge regulärer Ausdrücke ausgewertet. Aggressiver Modus erhöht sowohl die CPU-Kosten als auch falsche Positive, und die Worker-Größe sollte dies berücksichtigen.
• Tokens können nicht entschlüsselt werden. Die Re-Identifikation ist nur durch Neuberechnung des Tokens für einen bekannten Wert möglich.

Fazit

Für Bereitstellungen, die Sicherheitsdaten an Cribl Detect senden, bietet das LogTotal Sanitizer Pack Pseudonymisierung in der Pipeline zu geringen Kosten. Sensible Werte werden entfernt, bevor sie Analysten, KI-Agenten und langfristige Speicher erreichen, während die von Korrelationsregeln verwendeten Entitätsbeziehungen erhalten bleiben. Eine praktische Rollout beginnt mit einer einzigen Hochrisikoquelle. Validieren Sie die Ausgabe mit dem Vorschausample, bestätigen Sie, dass die relevanten Erkennungen weiterhin ausgelöst werden, und erweitern Sie dann das Pack auf weitere Routen.