Стежити Amazon Security Lake зберігає ваші дані в S3 як файли Parquet у схемі OCSF, тому ви їх не завантажуєте безпосередньо. Ви їх запитуєте. Використовуйте Amazon Athena з оператором UNLOAD і формат = ‘JSON’: Athena записує результати як JSON-лінії до префіксу S3, який ви вибираєте, і ви це завантажуєте. Таблиці Security Lake містяться в базі даних Glue під назвою amazon_security_lake_glue_db_<region>, по одній таблиці на джерело.
Security Lake централізує CloudTrail, VPC Flow Logs, Route 53, Security Hub findings, журнали аудитів EKS та сторонні джерела в одному нормалізованому форматі. Prime Core має понад 24,000 унікальних правил виявлення, зіставлених з 676 техніками MITRE ATT&CK. Нижче показано, як вивантажити дані, очистити їх та безкоштовно розслідувати у LogTotal.
Перед початком
Доступ до запитів. Використовуйте обліковий запис делегованого адміністратора Security Lake або підписника з доступом до запитів. Доступ регулюється Lake Formation, тому вам потрібен SELECT на таблиці, а також дозволи Athena і права запису на бакет S3 для експорту.
Знайдіть таблиці. У Athena відкрийте базу даних для вашого регіону. Імена таблиць слідують шаблону amazon_security_lake_table_<region>_<source>_<version>, наприклад amazon_security_lake_table_eu_west_1_cloud_trail_mgmt_2_0. Регіон використовує підкреслення.
Розділення знижують вартість. Таблиці розділено за регіоном, accountid та eventday (YYYYMMDD). Athena обчислює оплату за скановані дані, тому завжди фільтруйте за eventday.
Експорт з Athena UNLOAD
У консолі Athena або з aws athena start-query-execution:
UNLOAD (
SELECT *
FROM amazon_security_lake_glue_db_eu_west_1.amazon_security_lake_table_eu_west_1_cloud_trail_mgmt_2_0
WHERE eventday = '20261019'
AND accountid = '123456789012'
)
TO 's3://my-athena-exports/security-lake/ct-20261019/'
WITH (format = 'JSON', compression = 'NONE')
Цільовий префікс повинен бути пустим. Коли запит виконається успішно, завантажте і об’єднайте файли:
aws s3 cp s3://my-athena-exports/security-lake/ct-20261019/ ./ct-20261019/ --recursive
cat ./ct-20261019/* > securitylake_ct_20261019.jsonl
Кожен рядок є одним OCSF подією. Щоб звузити далі, відфільтруйте за полями OCSF, такими як api.operation, actor.user.uid або src_endpoint.ip.
Завантажте, очистіть та перегляньте в LogTotal
- Завантажити. Відкрити logtotal.com і перетягніть .jsonl файл.
- Очистити.
- Переглянути.
Коли щось йде не так
| Симптом | Ймовірна причина | Fix |
|---|---|---|
| Недостатньо дозволів Lake Formation | Немає права SELECT на таблицю | Запитайте у адміністратора Security Lake дозвіл на Lake Formation |
| Таблицю не знайдено | Неправильний регіон в назві бази даних або таблиці | Використовуйте підкреслення: eu_west_1 |
| HIVE_PATH_ALREADY_EXISTS або подібне | Цільовий префікс не порожній | Використовуйте новий, пустий префікс |
| Велика вартість сканування | Немає фільтру по eventday | Завжди фільтруйте по розділенням |
| Файли стиснуті в gzipped | Стиснення залишено за замовчуванням | Встановіть compression = ‘NONE’ або використовуйте zcat |
FAQ
Чи можу я безпосередньо читати файли Parquet?
Можете, використовуючи інструменти, які читають Parquet, але Athena налаштовує схему та розділення для вас. Для LogTotal це найпростіший шлях через JSON-лінії з UNLOAD.
Чи є OCSF таким же, як і сировинний CloudTrail?
Ні. Security Lake нормалізує події в OCSF, тому назви полів відрізняються від оригінального джерела.
