如何导出任何SIEM的日志进行免费分析

如何导出任何SIEM的日志进行免费分析

SOC Prime Team
SOC Prime Team linkedin icon 关注

每个 SIEM 都可以以两种方式之一返回其数据:原始事件或其解析后的 JSON。在 SIEM 外部进行分析时,原始事件几乎总是更好的选择。通过 API 或 CLI 导出它们,而不是通过浏览器,限制在较窄的时间窗口内。下面的表格展示了每个平台的最佳导出路径,并提供了完整指南的链接。

为什么还要从 SIEM 中提取数据?为了获得第二意见,与没有访问权限的 IR 合作伙伴共享,或者运行 SIEM 不具备的检测逻辑。Prime Core 在这些平台上有 100 万条检测规则,映射到 676 个 MITRE ATT&CK 技术,而 LogTotal 会免费针对一个文件运行这些规则。

免费开始

按平台划分

平台最佳导出路径你的收获完整指南
SplunkCLI splunk search -output rawdata, 或 REST search/v2/jobs/export 与 output_mode=raw原始行数据[Splunk]
IBM QRadarAriel REST API 使用 UTF8(payload)原始负载[QRadar]
OpenSearchopensearch-py helpers.scan, 或 _search with PITJSON 文档;如果保存在消息中则为原始行[OpenSearch]
Elasticsearchelasticsearch-py helpers.scan, 使用 search_after 的 PIT,或 ES|QL(最多 10,000 行)JSON 文档;如果保留在 event.original 中则为原始行[Elastic]
CrowdStrike Falcon高级事件搜索导出,或 Falcon 数据复制器Falcon 遥测数据作为 JSON[CrowdStrike]
Microsoft Sentinelaz monitor log-analytics query每行一个 JSON 对象[Sentinel]
Microsoft Defender XDRMicrosoft Graph runHuntingQuery高级狩猎行作为 JSON[Defender XDR]
Google SecOpsUDM search API,或数据导出 API 到云储存UDM JSON,或原始日志[Google SecOps]

适用于所有地方的六条规则

  1. 导出事件,而不是摘要。 任何以 stats、summarize、table 或聚合结尾的都是报告,而不是日志。
  2. 首先缩小范围。 主机、来源、事件类型、时间窗口。在提取之前计数;大多数平台在 UI 中显示数量。
  3. 对于几千个以上的事件,请使用 API 或 CLI。 浏览器导出超时、重新运行搜索,或默默限制行数。
  4. 注意权限边界。 API 令牌通常看到的比你的 UI 会话少:QRadar 安全配置文件、Splunk 角色、Graph 范围。当数字不匹配时,先检查令牌。
  5. 固定时区。 使用 UTC 的绝对窗口或显式偏移。相对窗口(“过去 24 小时”)如果重新运行搜索会漂移。
  6. 解开信封。 许多 API 将每个事件包装:CloudTrailEvent 内的 JSON 字符串,Records 数组,结果键,CloudWatch 消息。在上传前使用 jq 将每行展开为一个事件。

SIEM 无法返回给你的东西

  • 原始二进制文件。 没有 SIEM 返回 Windows EVTX 文件;你得到的是渲染文本或 JSON。对于 EVTX,请转到主机。
  • 数据超过保留期。 一旦过期,或移动到需要恢复的存档层,正常搜索将找不到它。
  • 在摄入时删除的字段。 如果管道丢弃了原始行或字段,它就消失了。在向分析师承诺之前检查。

在 LogTotal 中上传、清理和审查

LogTotal 读取 syslog 风格的文本、JSON 和 EVTX。文本和 JSON 在分析前会经过清理步骤。

  1. 上传。 打开 logtotal.com 并投入你的导出。
  2. 清理。 
  3. 审查。 

FAQ

我的 SIEM 不在表中。这仍然可行吗?

是的。上面的规则适用于任何平台:找到 API 或 CLI 路径,导出狭窄窗口的原始事件,并将 JSON 扁平化为每行一个事件。我们正在为 SOC Prime 支持的其余 65+ 平台添加指南。

为什么不就在 SIEM 中分析?

通常你应该这样做。基于文件的检查适用于当你想获得第二组检测、需要与外部人员分享数据或想测试你的 SIEM 可能会遗漏的内容时。

加入 SOC Prime 的 Detection as Code 平台 以提高对与您的业务最相关的威胁的可见性。为了帮助您开始并带来即时价值,现在与 SOC Prime 专家预约会议。