Pseudonimização de Dados de Log no Cribl Detect com o Pacote LogTotal Sanitizer

Resumo

O Cribl Detect, lançado em 29 de setembro de 2026, é um SIEM que opera na plataforma de dados da Cribl. Os dados que armazena e pesquisa são ingeridos através dos Cribl Stream Routes e Pipelines, de modo que uma etapa de sanitização nesses Pipelines determina o que analistas, triagem assistida por IA, notificações de alertas e conjuntos de dados retidos podem acessar.

The Sanitizador LogTotal da Cribl é um Cribl Pack de código aberto (este projeto não é afiliado à Cribl ou SOC Prime) construído sobre o mecanismo de sanitização do LogTotal da SOC Prime. Ele pseudonimiza dados de logs de texto livre em fluxo. Detecta onze categorias de valores sensíveis e substitui cada um com um token HMAC chaveado que carrega uma etiqueta de tipo, por exemplo, <USER:…> ou <IP:…>. Os tokens são determinísticos, portanto, eventos que fazem referência ao mesmo usuário, host ou endereço ainda podem ser correlacionados após a remoção do valor original.

• Credenciais, dados de pagamento, dados de saúde e identificadores pessoais são removidos antes que os dados sejam armazenados. Isso reduz o impacto de uma violação e o escopo de conformidade do SIEM.
• Detectores baseados em correlação continuam a funcionar em valores tokenizados.
• O Pack é licenciado sob MIT e funciona na capacidade existente do Worker, sem taxa de licença por GB.

Contate Vendas

Onde a sanitização se encaixa no caminho de dados do Detect

O Detect usa o modelo padrão da Cribl de Fontes, Rotas, Pipelines e Destinos. Detecções em fluxo, busca federada, investigação assistida por IA e roteamento de alertas operam em dados que o Stream escreve nos conjuntos de dados do Cribl Lake ou Cribl Search (Visão geral da SOC Prime). Dados que o Detect consulta diretamente por busca federada, como um bucket existente no S3, não passam por um Pipeline e devem ser sanitizados quando são escritos.

Um SIEM expõe o conteúdo dos eventos a mais consumidores do que um pipeline de logs típico: analistas de nível 1, parceiros MSSP, agentes de IA, notificações do Slack e PagerDuty, e retenção a longo prazo. Remover valores sensíveis uma única vez, a montante de todos eles, é mais simples de operar e auditar do que impor controles de acesso em cada consumidor.

Origem: LogTotal da SOC Prime

O mecanismo de sanitização no Pack foi desenvolvido pela SOC Prime. A SOC Prime lançou o LogTotal como uma prévia pública gratuita em 26 de agosto de 2026 (anúncio). O LogTotal sanitiza arquivos de log localmente no navegador antes de qualquer coisa ser carregada. Os eventos sanitizados são então correlacionados com o conteúdo de detecção da SOC Prime: cerca de um milhão de regras de detecção, um conjunto de dados de 13.000 rótulos, Regras Sigma de ordem superior e correlação de IA agentic. O LogTotal não retém logs carregados.

A SOC Prime publicou o componente de sanitização separadamente como a biblioteca de código aberto @socprime/logtotal-sanitizer sob licença Apache-2.0. O Cribl Pack é um projeto comunitário da M3NIX que encapsula esta biblioteca.

As decisões de design descritas abaixo seguem a justificativa do LogTotal da SOC Prime, que identifica três modos comuns de falha na redenção de logs:

• A máscara estática substitui cada endereço IP ou nome de usuário pela mesma indicação. Dez logons falhados então parecem idênticos, e uma única conta comprometida não pode mais ser distinguida de um ataque de pulverização de senhas contra dez contas.
• A busca e substituição simples não encontra valores em JSON aninhado ou codificações incomuns, e over-redact valores que apenas parecem sensíveis, como números de versão com formato de endereços IP ou UUIDs usados como IDs de mensagens.
• Hashes não-chaveados podem ser revertidos por ataques de dicionário, e hashes não salgados idênticos de diferentes organizações podem falsamente vincular incidentes não relacionados.

Tokens chaveados e tipificados abordam todos os três.

Como o Pack funciona

O Pack (cc-stream-logtotal-sanitizer) implementa uma Função personalizada do Cribl. Por padrão, a Função aplica todos os detectores embutidos a _raw, substitui cada correspondência por um token e define __logtotal_sanitized: true em eventos que modifica. _time e todos os outros campos permanecem inalterados.

Os detectores são avaliados na seguinte ordem de prioridade:

1. Segredos: tokens de portador, JWTs, chaves de API, blocos PEM e tokens de provedores de nuvem
2. Cookies de sessão
3. Dados de pagamento, validados com checksums Luhn e mod-97
4. Identificadores governamentais
5. Identificadores de saúde e códigos similares ao ICD
6. Números de telefone
7. Endereços IPv4, IPv6 e MAC
8. Nomes de host e FQDNs
9. Nomes de usuário e endereços de e-mail
10. Geolocalização
11. Caminhos do diretório pessoal

Para entrada JSON, valores sob nomes de chave conhecidos como sensíveis são substituídos com base no nome da chave. O restante do evento ainda é processado pelos detectores regex.

Um token é o HMAC-SHA-256 do ID da regra e do valor original, truncado para 16 caracteres hexadecimais. A mesma chave, regra e valor sempre produzem o mesmo token. No modo pseudo o token inclui uma etiqueta de tipo. No modo máscara, que é usado para segredos e dados de pagamento, o token tem a forma neutra <R:…>. Exemplo, com valores de token encurtados:

antes: usuário alice@corp.example falhou no login de 10.20.1.7 para db-prod-01.corp.example

depois:  usuário <USER:3f9a…> falhou no login de <IP:b81c…> para <HOST:0d4e…>

Regras personalizadas são definidas como um array JSON na configuração da Função. Cada regra especifica um ID, uma expressão regular, um modo e um prefixo de token. Números de tickets internos ou de funcionários, por exemplo, podem ser mapeados para tokens <TICKET:…>.

Implantação

O Pack é instalado com o fluxo de trabalho padrão de Pack do Cribl no Grupo de Workers que envia dados para o Detect. Arquivos de lançamento, requisitos e instruções de instalação estão no repositório GitHub do projeto. De forma resumida, o Pack é importado com funções personalizadas habilitadas, uma chave HMAC aleatória é armazenada como um Segredo do Grupo de Workers, e a saída é verificada contra o exemplo de pré-visualização incluído. O Pack é então definido como o Pipeline de uma Rota que entrega aos conjuntos de dados do Detect, com um filtro que seleciona as fontes contendo dados sensíveis.

Três detalhes de implementação precisam de atenção:

• O Pack reescreve um único campo de string de nível superior, _raw por padrão. Campos extraídos anteriormente no Pipeline mantêm seus valores originais, portanto, o Pack deve ser executado antes da análise, ou os campos devem ser re-extraídos do _raw sanitizado.
• Todos os Workers que precisam produzir tokens correspondentes devem usar a mesma chave, versão do Pack e configuração de regras. A rotatividade da chave altera todos os tokens, então a rotação deve ser agendada considerando os períodos de retenção de conjunto de dados.
• O Detect está disponível apenas no Cribl.Cloud. Executar o Pack em um Grupo de Workers gerenciado pelo cliente (híbrido) pseudonimiza os dados antes que saiam da rede do cliente. Historicamente, o Cribl.Cloud limitou funções personalizadas e scripts a Workers híbridos (blog da Cribl), então o suporte deve ser confirmado antes de depender de Workers gerenciados pela Cribl.

Neste layout, os valores não modificados existem apenas dentro da rede do cliente. Detecções e enriquecimentos que precisam dos valores originais são executados antes do Pack, e tudo o que é escrito para o destino contém tokens.

Características distintivas

A principal diferença técnica em relação às opções nativas do Cribl é a pseudonimização chaveada. Valores originais são removidos, mas referências à mesma entidade permanecem vinculáveis através dos eventos.

Tokens chaveados não são vulneráveis aos ataques de dicionário que funcionam contra hashes simples. Um SHA-256 não chaveado de um endereço IPv4 ou um nome de usuário pode ser revertido enumerando o pequeno espaço de entrada. Um token HMAC não pode ser computado sem a chave secreta. A etiqueta de tipo em cada token (<HOST:…>, <USER:…>) ainda informa aos analistas e às ferramentas de triagem baseadas em LLM de que tipo de entidade um evento se refere, de modo que as linhas do tempo permaneçam legíveis.

Onze famílias de detectores funcionam sem configuração adicional. A validação de checksum reduz falsos positivos, como strings de dígitos aleatórios sendo identificados como números de cartão.

A reidentificação não requer direitos de decriptação em massa. Qualquer pessoa que possua a chave pode calcular o token para um indicador conhecido, como o nome de uma conta suspeita, e procurá-lo.

Como o mecanismo é a biblioteca LogTotal da SOC Prime, ele também está disponível como o aplicativo web LogTotal, uma CLI e um pacote Node.js, incluindo para ambientes com ar isolado. Com a mesma configuração de chave e regras, um extrato de log preparado para um ticket de fornecedor ou um retentor de resposta a incidentes pode ser processado consistentemente com os dados do SIEM. O código é de código aberto, não há taxa por GB, e o Pack agrupa suas dependências.

Limitações e considerações operacionais

O maior impacto operacional é no conteúdo de detecção que depende de valores originais.

• Endereços IP tokenizados, domínios e nomes de usuários não correspondem a feeds de IOC, bancos de dados GeoIP, regras baseadas em CIDR ou buscas de ativos. Mitigações: executar detecções e enriquecimento em fluxo antes do Pack, desativar as regras de ips e hosts na Rota afetada, ou enviar uma cópia de fidelidade total para um armazenamento restrito.
• A biblioteca subjacente suporta uma lista de permissões nuncaRemover, mas as configurações documentadas do Pack não a expõem.
• Cada evento é avaliado em relação a um grande conjunto de expressões regulares. O modo agressivo aumenta tanto o custo de CPU quanto os falsos positivos, e o dimensionamento do Worker deve levar isso em conta.
• Os tokens não podem ser descriptografados. A reidentificação só é possível recomputando o token para um valor conhecido.

Conclusão

Para implantações que enviam dados de segurança para o Cribl Detect, o LogTotal Sanitizer Pack fornece pseudonimização em pipeline a baixo custo. Valores sensíveis são removidos antes de chegarem aos analistas, agentes de IA e armazenamento a longo prazo, enquanto as relações de entidade usadas pelas regras de correlação são preservadas. Um lançamento prático começa com uma fonte de alto risco único. Valide a saída com o exemplo de pré-visualização, confirme que as detecções relevantes ainda são acionadas e, em seguida, estenda o Pack para mais Rotas.