Аналіз журналів з LogTotal

Що таке аналітика логів?

Аналітика логів — це практика збору, розбору, нормалізації та запитів машинних записів подій, щоб відповісти на операційне або безпекове питання. У SOC це питання зазвичай вузьке: чи цей обліковий запис автентифікувався з неочікуваного джерела, чи цей хост запустив незвичайний процес дитини, які виклики API передували передачі даних.

Сировина є гетерогенною: канали Windows Security і Sysmon у файлах .evtx, вихідні дані Linux auth.log і journald, події з фаєрволів і проксі в CEF, а також аудиторські сліди хмари, такі як AWS CloudTrail або журнали входу Microsoft Entra ID, експортовані у форматі JSON.

Робоча аналітика логів має чотири етапи:

1. Збір. Експорт подій із джерела без втрати полів чи часових міток.
2. Нормалізація. Мапінг src_ip, IpAddress і sourceIPAddress на загальну схему.
3. Виявлення. Запустіть правила Sigma або постачальника і позначте кожен хіт за допомогою технік MITRE ATT&CK.
4. Кореляція. Групуйте пов’язані хіти у часову лінію або атаку, яку аналітик може підтвердити.

Чому аналітика логів важлива для виявлення та реагування

Логи часто є єдиним записом, що виживає при інциденті. Телекартка EDR перезаписується, пам’ять втрачається після перезавантаження, а захоплення пакетів рідко вмикається тоді, коли це потрібно. Ідентифікатори подій Windows 4624, 4672 і 4688 або виклики CloudTrail, такі як ConsoleLogin і CreateAccessKey, зазвичай є основним доказом для окреслення інциденту.

Три чинники роблять аналітику логів основним навиком SOC, а не функцією SIEM:

• Обсяги. Один інцидент може прокласти мільйони подій, а grep знаходить лише те, що ви вже знаєте, щоб шукати.
• Логічні недоліки. Ноутбуки підрядників, OT-сегменти та SaaS-принципали, які нікому не були підключені, не знаходяться в SIEM, але їх логи все ще потребують аналізу.
• Обробка даних. Логи несуть імена користувачів, імена хостів, IP-адреси, файли сесій і маркери аутентифікації. Під GDPR більшість цього є персональними даними, а витік маркера є живим шляхом доступу.

Кожен лог, прикріплений до квитка постачальника або вставлений в AI-чат, розширює коло осіб і юрисдикцій, що можуть прочитати оригінальні значення. Хороша аналітика логів відповідає швидко без створення другого інциденту.

Коротка історія аналітики логів

Syslog, написаний Ерік Аллман для Sendmail на початку 80-х років, був пізніше стандартизований у RFC 3164 (2001) і RFC 5424 (2009). Протягом двох десятиліть аналіз логів означав grep і awk на центральному сервері syslog.

Windows перейшов до структурованого формату. Windows Vista замінив застарілий формат .evt на XML-формат .evtx та модель каналів, яка досі використовується, а Sysmon (2014) додав високу точність процесу та телекартки мережі.

У середині 2000-х з’явився SIEM. ArcSight, QRadar, а згодом Splunk створили централізований пошук та кореляцію як категорію продукту, а CEF ArcSight все ще випромінюється більшістю мережевих пристроїв. У 2010-х додалися відкриті технологічні стеки, такі як ELK, і хмарні аудиторські сліди, такі як CloudTrail (2013).

У 2017 році Sigma дала захисникам формат правил, який не залежить від постачальника. Того ж року SOC Prime почала позначати правила Sigma техніками MITRE ATT&CK і застосувала підхід до публічного розслідування NotPetya. Відображення ATT&CK з того часу стало типовим очікуванням для детекційного контенту.

Куди прямує аналітика логів

Виявлення переміщується вгору по течії. Команди запускають правила Sigma на потокових подіях у потоці до того, як дані досягнуть SIEM, знижуючи витрати на зберігання і скорочуючи середній час виявлення з годин до хвилин.

Кореляція переважає одиночні сповіщення. Ізольовані низькоякісні співпадіння створюють шум. Логіка вищого порядку, що зв’язує техніки між хостами і часовими вікнами у ланцюжки атак, дає аналітикам щось для підтвердження чи закриття.

AI-тріаж стикається з обмеженнями обробки даних. LLM добре пояснюють дерева процесів і підсумовують часові лінії, але відправлення сирої телекартки до постачальника моделей піднімає питання конфіденційності та контрактів, а фронтальні моделі можуть відмовлятися від безпекового контенту взагалі. Під час інциденту з HuggingFace у липні 2026 року спробу відправити близько 17,000 подій до фронтальних моделей блокували обмеження.

Псевдонімізація стає етапом у потоці. Статичне маскування руйнує кореляцію, а звичайні хеші можуть бути повернені через здогадки словників. Ключові токени HMAC зберігають відносини, видаляючи значення. Очікуйте цього кроку перед кожною зовнішньою ціллю: AI-сервіси, підтримка постачальника, MSSP та загальні сховища даних.

Переваги аналітики логів

• Швидше визначення обсягу для респондентів на інциденти. Корельована часова лінія відповідає на питання “які хости, які облікові записи, з якого часу” за хвилини, що веде до локалізації та скорочення часу присутності.
• Підтверджені виявлення для інженерів. Авторозігрування логів за логікою правил показує, які правила Sigma спрацьовують, які є шумними і які техніки ATT&CK не покриті.
• Докази відповідності. Вимога PCI DSS 10, контроль ISO/IEC 27001 A.8.15 та NIS2 всі очікують, що безпекові події будуть зареєстровані та переглянуті.
• Визначення кореневої причини для адміністраторів. Вихід журналу journalctl, що пояснює невдалу послугу, часто розкриває неправильну конфігурацію, яку міг би зловживати нападник.
• Зниження вартості SIEM. Ви можете аналізувати короткострокове джерело один раз без інтеграції його у систему.
• Безпечніша співпраця. Псевдонімізовані логи дозволяють утримувачу, MSSP чи постачальнику TAC кластеризувати хости і користувачів без бачення справжніх ідентичностей.

Використання аналітики логів

Некерована перевірка хосту. Підозрюється компрометація ноутбука підрядника без EDR. Експорт безпеки, Sysmon і логів PowerShell і перевірка висновків LogTotal для доступу до облікових даних (T1003), виконання PowerShell (T1059.001) і запланованих завдань (T1053.005) перед повторним встановленням.

Захоплення хмарного облікового запису. Після незнайомого ConsoleLogin витягніть 72 години входів CloudTrail та Entra ID і шукайте нові ключі доступу, зміни MFA та редагування політики IAM.

Зовнішні IR утримувачі та постачальники TAC. Очистіть докази ключем, який ви зберігаєте. Третя сторона все ще кластеризує хости та користувачів за токенами, а ви можете мапити токени назад внутрішньо.

Інженерія виявлення. Відтворіть логи Atomic Red Team або Caldera, щоб підтвердити які правила спрацьовують, і потім очистіть засоби перед тим, як вони потраплять у Git або артефакти CI.

Порушення конфіденційності. Ключова псевдонімізація є документованим технічним заходом за GDPR Стаття 32: що було замінено, як були згенеровані токени, хто має ключ.

Як виконати аналіз логів: розташування та експорт логів за платформами

Кожна процедура закінчується у форматі, який LogTotal читає нативно: EVTX, CEF, JSON/NDJSON або syslog. Виправте вікно часу UTC і охоплення спершу та хешуйте кожен експорт (Get-FileHash або sha256sum) для збереження підрядності.

Windows (EVTX). Вимагає підвищеної оболонки як місцевий Адміністратор. Живі файли .evtx у %SystemRoot%System32winevtLogs заблоковані службою журналу подій, тому експортуйте їх за допомогою wevtutil:

wevtutil epl Security C:IRSecurity.evtx

wevtutil epl “Microsoft-Windows-Sysmon/Operational” C:IRSysmon.evtx

Додайте /q:”*[System[TimeCreated[timediff(@SystemTime) <= 86400000]]]” для обмеження експорту до 24 годин. Шлях GUI: eventvwr.msc → Windows Logs → Security → Зберегти всі події як…

Linux (syslog або NDJSON). Потребує облікового запису root або членства у adm / systemd-journal. Копіюйте /var/log/auth.log (Debian/Ubuntu) або /var/log/secure (RHEL). Для journald:

sudo journalctl –since “2026-10-20” –until “2026-10-21” –utc -o json > host01.ndjson

AWS CloudTrail (JSON). Вимагає cloudtrail:LookupEvents. CloudTrail → Історія подій → Завантажити події → Завантажити JSON охоплює 90 днів подій управління. З ковшового сліду (s3:GetObject, kms:Decrypt), розплескуйте записи у NDJSON:

zcat ./ct/*.json.gz | jq -c ‘.Records[]’ > cloudtrail.ndjson

Microsoft Entra ID і Microsoft 365 (JSON). Центр адміністрування Entra → Ідентичність → Моніторинг і діагностика → Журнали входу → Завантажити → JSON (Роль читача звітів). Для даних аудиту Purview пропустіть експорт CSV і потягніть JSON напряму (Роль журналів аудиту):

Search-UnifiedAuditLog -StartDate 2026-10-20 -EndDate 2026-10-21 -ResultSize 5000 |

  Вибрати-Об’єкт -РозгорнутиВластивість AuditData | Out-File .m365.ndjson -Кодування utf8

Мережеві пристрої (CEF). Перемкніть пристрій на CEF (на FortiGate: config log syslogd setting → set format cef) і експортуйте лінії, що містять CEF:0| від колектора syslog.

Пропозиції SOC Prime для аналітики логів

• Маркетплейс Виявлення Загроз: понад 1,000,000 правил виявлення, адаптованих для SIEM, EDR і мовних сховищ даних і позначених ATT&CK.
• Prime Hunt: сканує історичні дані SIEM, EDR і сховища даних з актуальними правилами і виводить ланцюжки атак на основі результатів.
• Prime Detect: запускає правила Sigma на потокових подіях до SIEM і корелює їх у реальному часі в ланцюжки атак.
• Uncoder.IO: перетворює правила Sigma і Roota у нативні запити.
• LogTotal: безкоштовний аналіз експортованих файлів журналів без необхідності реєстрації з санітизацією в браузері.
• logtotal-sanitizer: двигун Apache 2.0 за LogTotal, як бібліотека Node.js і CLI для використання на підлозі або в закритих середовищах.

LogTotal охоплює той випадок, про який йдеться у цьому посібнику: файл з джерела поза вашим SIEM, або який ви не можете поділитися у сирому вигляді. Кожен аналіз виконується на одноразовому, спеціально призначеному екземплярі двигуна SOC Prime DetectFlow і потім видаляється.

Як працює аналітика логів з LogTotal

LogTotal є безкоштовним, не вимагає облікових записів і санітизує файли у вашому браузері перед тим, як щось завантажити. SOC Prime не зберігає логи після аналізу або не тренується на них.

1. Відкрити logtotal.com у актуальній збірці Chromium, Firefox або Safari.
2. Завантажте експорт. Перемістіть файл .evtx, .log, .json або .ndjson. Формат визначається автоматично.
3. Перегляньте санітизацію. Секрети, кукі, ідентифікатори платежів, IP, імена хостів, імена користувачів та шляхи до домашньої директорії стають токенами HMAC-SHA-256 з ключем, такими як <USER:…> або <IP:…>. Ідентичні значення отримують однакові токени, тому десять облікових записів все ще виглядають як десять користувачів.
4. Завантажте санітизовану копію для вашого кейс-файлу. Це саме те, що було проаналізовано.
5. Запустіть аналіз. Події перевіряються за приблизно 1,000,000 правилами виявлення та 13,000 мітками, потім корелюються з правилами Sigma вищого порядку та агентним AI. SOC Prime посилається на до 1,7 мільйонів подій менш ніж за хвилину.
6. Прочитайте висновки. Виявлення відображаються на ATT&CK, групуються у ланцюжки атак та пояснюються AI. Токен, що з’являється як у висновках щодо доступу до облікових даних, так і у переміщенні, є вашим рахунком для скидання.

Для кількох хостів, або коли завантаження у браузері недоступні, санітизуйте локально з відкритим CLI (Node.js 20+) і повторно використовуйте один ключ, щоб токени співпадали у файлах:

npm install -g @socprime/logtotal-sanitizer

logtotal-sanitize ./dc01.log -o ./dc01.sanitized.log –print-key

logtotal-sanitize ./ws17.log -o ./ws17.sanitized.log –key “$KEY”