Аналіз журналів з LogTotal

Що таке аналітика журналів?

Аналітика журналів – це практика збору, розбору, нормалізації та пошуку подій, згенерованих машинами, для відповіді на оперативне або безпекове питання. У SOC це питання зазвичай вузьке: чи відбулося автентифікація цього аккаунту з несподіваного джерела, чи створений цей процес на хості є незвичайним, які API-виклики передували передачі даних.

Сировина є гетерогенною: канали безпеки Windows і Sysmon у файлах .evtx, вивід auth.log та journald у Linux, події брандмауера та проксі у форматі CEF, а також хмара аудит-слідів, таких як AWS CloudTrail або Microsoft Entra ID журнали входу, експортовані у формі JSON.

Працююча аналітична трубопровід журналів має чотири стадії:

1. Збір. Експорт подій з джерела без втрати полів або часових міток.
2. Нормалізація. Карта src_ip, IpAddress і sourceIPAddress до однієї загальної схеми.
3. Виявлення. Запуск Sigma або правил постачальників і маркування кожного збігу техніками MITRE ATT&CK.
4. Кореляція. Групування пов’язаних збігів у таймлайн або атаку, яку аналітик може валідувати.

Почніть безкоштовно

Чому аналітика журналів важлива для виявлення і реагування

Журнали часто є єдиним записом, який виживає після вторгнення. Телеметрія EDR перезаписується, пам’ять втрачається при перезавантаженні, а захоплення пакетів рідко працює тоді, коли це потрібно. Ідентифікатори подій Windows 4624, 4672, і 4688 або виклики CloudTrail, такі як ConsoleLogin і CreateAccessKey, зазвичай є основним доказом для обмеження інциденту.

Три фактори роблять аналітику журналів основною навичкою SOC, а не функцією SIEM:

• Об’єм. Єдиний інцидент може супроводжуватися мільйонами подій, і grep знаходить тільки те, що ви вже знаєте.
• Прогалини в покритті. Підрядницькі ноутбуки, сегменти OT і орендарі SaaS, які ніхто не підключив, не в SIEM, але їх журнали все ще потребують аналізу.
• Обробка даних. Журнали містять імена користувачів, імена хостів, IP-адреси, файли cookie сеансу та маркери-токени. Згідно з GDPR більша частина цього є особистими даними, і просочений токен є живим шляхом доступу.

Кожен журнал, прикріплений до квитка постачальника або вставлений у чат AI, розширює коло людей та юрисдикцій, які можуть читати оригінальні значення. Хороша аналітика журналів швидко відповідає на питання без створення другого інциденту.

Коротка історія аналітики журналів

Syslog, написаний Еріком Олманом для Sendmail на початку 1980-х, був пізніше стандартизований у RFC 3164 (2001 рік) та RFC 5424 (2009 рік). Протягом двох десятиліть аналіз журналів означав використання grep і awk на центральному сервері syslog.

Windows став структурованим. Windows Vista замінив застарілий формат .evt на формат .evtx на базі XML та модель каналів, яка все ще використовується сьогодні, а Sysmon (2014) додав високу деталізацію процесів та телеметрії мережі.

Середина 2000-х привнесла SIEM. ArcSight, QRadar, а згодом Splunk, зробили централізований пошук та кореляцію продуктом, і CEF ArcSight все ще викидають більшість мережевих приладів. 2010-ті додали відкриті стекі, такі як ELK, і маршрути аудиту хмари, такі як CloudTrail (2013).

У 2017 році Sigma надала захисникам нейтральний формат правил постачальника. Того ж року SOC Prime почав маркувати правила Sigma техніками MITRE ATT&CK і застосував підхід до публічного розслідування NotPetya. Відображення ATT&CK стало очікуваною за замовчуванням умовою для вмісту виявлення.

Куди рухається аналітика журналів

Виявлення перейшло вгору за струменем. Команди запускають правила Sigma на подіях у потоці до того, як дані потраплять в SIEM, скорочуючи витрати на зберігання і зменшуючи середній час виявлення з годин до хвилин.

Кореляція перевершує одиночні оповіщення. Ізольовані збіги низької достовірності є шумом. Логіка вищого порядку, яка пов’язує техніки через хості та часові інтервали в ланцюжки атак, дає аналітикам щось для підтвердження або закриття.

AI тріаж зустрічає обмеження в обробці даних. LLM добре пояснюють дерева процесів і підсумовують таймлайни, але відправка сирої телеметрії до постачальника моделі порушує питання конфіденційності та контракту, і передові моделі можуть відмовитися від безпекового контенту взагалі. Під час реагування на інцидент у липні 2026 року на HuggingFace спробу надіслати близько 17,000 подій до передових моделей було заблоковано запобіжними засобами.

Псевдонімізація стає етапом трубопроводу. Статичне маскування руйнує кореляцію, а звичайні хеші можуть бути розгадані методом словника. Ключові HMAC-токени зберігають відносини, одночасно видаляючи значення. Очікуйте цей крок попереду кожного зовнішнього призначення: AI-сервіси, підтримка постачальників, MSSP та спільні сховища даних.

Переваги аналітики журналів

• Швидше обмеження для інцидентних відповідників. Корельований таймлайн відповідає “які хости, які аккаунти, з якого часу” за хвилини, що сприяє обмеженню та скорочує час знаходження.
• Перевірені виявлення для інженерів. Відтворення журналів проти логіки правил показує, які правила Sigma спрацьовують, які є шумними, а які техніки ATT&CK не покриті.
• Докази для дотримання. PCI DSS Вимога 10, ISO/IEC 27001 контроль A.8.15 та NIS2 всі вимагають, щоб безпекові події були записані та переглянуті.
• Причина збою для адміністраторів. Вивід journalctl, який пояснює невдалу службу, часто розкриває неправильну конфігурацію, якою зловмисник може скористатися.
• Зниження вартості SIEM. Ви можете проаналізувати короткоживуче джерело один раз без його підключення.
• Безпечніше співробітництво. Псевдонімізовані журнали дозволяють ретейнеру, MSSP або TAC постачальника об’єднати хости та користувачів без перегляду реальних ідентичностей.

Випадки використання аналітики журналів

Тріаж некерованих хостів. Підозра на компрометацію підрядницького ноутбука без EDR. Експортуйте журнали безпеки, Sysmon та PowerShell і перевірте результати LogTotal на доступ до облікових даних (T1003), виконання PowerShell (T1059.001) та заплановані завдання (T1053.005) перед відновленням.

Захоплення хмарного акаунту. Після незнайомого входу ConsoleLogin, витягніть 72 години записів CloudTrail і Entra ID та подивіться на нові ключі доступу, зміни MFA та редагування політик IAM.

Зовнішні утримувачі IR і TAC постачальників. Знеособте докази за допомогою ключа, який ви зберігаєте. Зовнішня сторона все ще об’єднує хости та користувачів за допомогою токена, а ви розшифровуєте токени внутрішньо.

Інженерія виявлення. Відтворіть журнали Atomic Red Team або Caldera, щоб підтвердити, які правила спрацьовують, а потім знеособте фікстури перед їхнім досягненням до Git або артефактів CI.

Огляди конфіденційності. Ключова псевдонімізація є документованим технічним заходом згідно з статтею GDPR 32: що було замінено, як генерувалися токени, хто тримає ключ.

Як виконати аналіз журналів: знайти та експортувати журнали за платформою

Кожна процедура нижче закінчується у форматі, який LogTotal читає нативно: EVTX, CEF, JSON/NDJSON або syslog. Спочатку виправте часовий інтервал UTC та обсяг, і хешуйте кожний експорт (Get-FileHash або sha256sum) для ланцюга зберігання.

Windows (EVTX). Потребує підвищеної оболонки як локального адміністратора. Живі файли .evtx під %SystemRoot%System32winevtLogs заблоковані службою журналу подій, тому експортуйте їх за допомогою wevtutil:

wevtutil epl Security C:IRSecurity.evtx

wevtutil epl “Microsoft-Windows-Sysmon/Operational” C:IRSysmon.evtx

Додайте /q:”*[System[TimeCreated[timediff(@SystemTime) <= 86400000]]]”, щоб обмежити експорт 24 годинами. Шлях GUI: eventvwr.msc → Журнали Windows → Безпека → Зберегти всі події як…

Linux (syslog або NDJSON). Потребує root або членства в adm / systemd-journal. Копіюйте /var/log/auth.log (Debian/Ubuntu) або /var/log/secure (RHEL). Для journald:

sudo journalctl –since “2026-10-20” –until “2026-10-21” –utc -o json > host01.ndjson

AWS CloudTrail (JSON). Вимагає cloudtrail:LookupEvents. CloudTrail → Історія подій → Завантажити події → Завантажити JSON охоплює 90 днів управлінських подій. З відстежуваного ковша (s3:GetObject, kms:Decrypt), сплюстіть записи в NDJSON:

zcat ./ct/*.json.gz | jq -c ‘.Records[]’ > cloudtrail.ndjson

Microsoft Entra ID і Microsoft 365 (JSON). Entra admin center → Ідентифікація → Моніторинг та здоров’я → Журнали входу → Завантажити → JSON (роль Читача звітів). Для даних аудиту Purview, пропустіть експорт CSV і потягніть JSON безпосередньо (роль Журналів Аудиту):

Search-UnifiedAuditLog -StartDate 2026-10-20 -EndDate 2026-10-21 -ResultSize 5000 |

  Select-Object -ExpandProperty AuditData | Out-File .m365.ndjson -Encoding utf8

Мережеві пристрої (CEF). Перемкніть пристрій на CEF (на FortiGate: config log syslogd setting → set format cef) та експортуйте рядки, що містять CEF:0| з колектора syslog.

Пропозиції SOC Prime для аналітики журналів

• Маркетплейс Виявлення Загроз: понад 1,000,000 Sigma-нативних правил виявлення, перекладених у мови SIEM, EDR і data lake та позначених методом ATT&CK.
• Prime Hunt: сканує історичні дані SIEM, EDR і data lake з відповідними правилами та виводить з отриманих результатів ланцюжки атак.
• Prime Detect: запускає правила Sigma на подіях потоку перед SIEM і корелює їх у реальному часі в ланцюжки атак.
• Uncoder.IO: переводить правила Sigma і Roota в нативні запити.
• LogTotal: безкоштовний аналіз експортованих файлів журналів без реєстрації з обробкою всередині браузера.
• logtotal-sanitizer: двигун Apache 2.0 за LogTotal, як бібліотека Node.js і CLI для використання на приміщенні або в ізольованій мережі.

LogTotal охоплює випадок, описаний у цьому керівництві: файл із джерела поза вашим SIEM, або той, який ви не можете поширювати в сирому вигляді. Кожен аналіз виконується на одноразовому, виділеному екземплярі SOC Prime’s DetectFlow двигуна та видаляється після цього.

Як працює аналітика журналів з LogTotal

LogTotal є безкоштовним, не вимагає облікового запису та обробляє файли у вашому браузері перед тим, як що-небудь завантажити. SOC Prime не зберігає журнали після аналізу або навчання на них.

1. Відкрийте logtotal.com у поточній версії Chromium, Firefox або Safari.
2. Завантажте експорт. Помістіть файл .evtx, .log, .json або .ndjson. Формат визначається автоматично.
3. Перегляньте обробку. Секрети, файли cookie, ідентифікатори платежів, IP-адреси, імена хостів, імена користувачів та шляхи до домашніх каталогів стають ключованими HMAC-SHA-256 токенами, такими як <USER:…> або <IP:…>. Ідентичні значення отримують однакові токени, тож десять розприсканих акаунтів все ще виглядають як десять користувачів.
4. Завантажте оброблену копію для вашої справи. Це точно те, що було проаналізовано.
5. Запустіть аналіз. Події перевіряються проти приблизно 1,000,000 правил виявлення та 13,000 міток, потім корелюються з вищорядними правилами Sigma і агентським AI. SOC Prime зазначає до 1.7 мільйонів подій менш ніж за хвилину.
6. Прочитайте висновки. Виявлення відображено в ATT&CK, згруповано в ланцюжки атак і пояснено AI. Токен, який з’являється у висновках доступу до облікових даних та пересуванні з боку до боку, – це ваш аккаунт для скидання.

Для кількох хостів, або коли завантаження браузера заборонені, обробляйте локально з відкритим вихідним кодом CLI (Node.js 20+) та повторно використовуйте один ключ, щоб токени збігалися по файлах:

npm install -g @socprime/logtotal-sanitizer

logtotal-sanitize ./dc01.log -o ./dc01.sanitized.log –print-key

logtotal-sanitize ./ws17.log -o ./ws17.sanitized.log –key “$KEY”