LogTotal 如何在分析前清理日志

LogTotal 如何在分析前清理日志

SOC Prime Team
SOC Prime Team linkedin icon 关注

在 LogTotal 对纯文本、CSV 或 JSON 上传文件运行任何检测逻辑之前,它会用占位符替换识别值:用户名、主机名、IP 地址等。然后,它会显示结果以供您在分析开始前审查。上传的文件在分析后不会保存。目前,EVTX 文件是例外:它们会在上传时就进行分析,不经过清理步骤。

对在线日志分析的反对意见是合理的。日志充满了内部名称、地址,有时还有一些没人打算记录的东西。此页面解释了 LogTotal 会掩盖的内容、故意不改变的内容,以及您仍应自行检查的内容。

免费开始

保持不变的内容,以及原因

检测逻辑关注行为,而不是名称。为了识别密码喷射或经过编码的 PowerShell 负载,规则需要事件 ID、进程和文件名、命令行结构、端口、协议和时间戳。掩盖这些只会使分析失去视野,却无法提供太多保护。

相同的值,相同的占位符

掩码只有在一致时才能有助于调查。如果 jane.doe 在每行都变为 user_1,您仍能看到 user_1 从一个地址失败了 40 次登录后成功了。如果每个用户名变为不同的随机字符串,该模式就消失了。保持一致的占位符在去掉名字的同时保留了整个故事。

您的部分:继续前的审查

自动掩码能捕捉到常见的模式。它不了解您的环境。在您通过清理步骤继续之前,请查看:

  • 自由文本消息中的秘密,例如输入到命令行中的密码或错误消息中的 API 密钥;
  • 包含名字的自定义字段,例如 ticket_owner 或 approved_by;
  • 隐藏在主机名或路径中的项目或客户代号;
  • URL 和查询字符串中的个人数据。

如果您发现了什么问题,在上传前请清理文件。一个 sed 单行命令就能处理大多数情况:

sed -E 's/(password|token|apikey)=[^&[:space:]]+/1=REDACTED/Ig' in.log > clean.log

EVTX:尚未清理

EVTX 文件会在上传时分析,不经过清理步骤。对于测试机器,可以自由上传 EVTX 文件。对于生产主机,请先从负责数据处理的人那里获得批准。如果您今天就需要清理,请使用开源的 evtx_dump 将文件转换为 JSON 行并上传:

evtx_dump -o jsonl Security.evtx > Security.jsonl

FAQ

清理操作是否使我的日志在 GDPR 下匿名?

不一定。一致的占位符是数据假名化,假名化数据在 GDPR 下仍可能被视为个人数据。这不是避免使用该工具的理由,但这是按照组织的数据保护规则行事的理由。如有疑问,请询问您的 DPO。这不是法律建议。

加入 SOC Prime 的 Detection as Code 平台 以提高对与您的业务最相关的威胁的可见性。为了帮助您开始并带来即时价值,现在与 SOC Prime 专家预约会议。