Folgen Amazon Security Lake speichert Ihre Daten in S3 als Parquet-Dateien im OCSF-Schema, daher laden Sie sie nicht direkt herunter. Sie queryen sie. Verwenden Sie Amazon Athena mit einer UNLOAD-Anweisung und format = ‚JSON‘: Athena schreibt die Ergebnisse als JSON-Zeilen an ein von Ihnen gewähltes S3-Präfix, und Sie laden diese herunter. Security Lake-Tabellen befinden sich in einer Glue-Datenbank namens amazon_security_lake_glue_db_<region>, eine Tabelle pro Quelle.
Security Lake zentralisiert CloudTrail, VPC-Flow-Protokolle, Route 53, Security Hub-Ergebnisse, EKS-Prüfprotokolle und Drittquellen in einem normalisierten Format. Prime Core verfügt über mehr als 24.000 einzigartige Erkennungsregeln, die 676 MITRE ATT&CK-Techniken zugeordnet sind. Nachfolgend erfahren Sie, wie Sie Daten extrahieren, bereinigen und kostenlos in LogTotal untersuchen können.
Bevor Sie beginnen
Query-Zugriff. Verwenden Sie das Security Lake-Administratorkonto oder einen Abonnenten mit Query-Zugriff. Der Zugriff wird durch Lake Formation verwaltet, daher benötigen Sie SELECT auf den Tabellen, zusätzlich zu Athena-Berechtigungen und Schreibzugriff auf einen S3-Bucket für den Export.
Finden Sie die Tabellen. Öffnen Sie in Athena die Datenbank für Ihre Region. Tabellennamen folgen dem Muster amazon_security_lake_table_<region>_<source>_<version>, zum Beispiel amazon_security_lake_table_eu_west_1_cloud_trail_mgmt_2_0. Die Region verwendet Unterstriche.
Partitionen halten die Kosten niedrig. Tabellen sind nach Region, Konto-ID und Ereignistag (JJJJMMTT) partitioniert. Athena berechnet nach gescannten Daten, daher sollten Sie immer nach dem Ereignistag filtern.
Exportieren mit Athena UNLOAD
In der Athena-Konsole oder mit aws athena start-query-execution:
UNLOAD (
SELECT *
FROM amazon_security_lake_glue_db_eu_west_1.amazon_security_lake_table_eu_west_1_cloud_trail_mgmt_2_0
WHERE eventday = '20261019'
AND accountid = '123456789012'
)
TO 's3://my-athena-exports/security-lake/ct-20261019/'
WITH (format = 'JSON', compression = 'NONE')
Das Zielpräfix muss leer sein. Wenn die Query erfolgreich ist, laden Sie die Dateien herunter und kombinieren Sie sie:
aws s3 cp s3://my-athena-exports/security-lake/ct-20261019/ ./ct-20261019/ --recursive
cat ./ct-20261019/* > securitylake_ct_20261019.jsonl
Jede Zeile ist ein OCSF-Ereignis. Um es weiter einzugrenzen, filtern Sie nach OCSF-Feldern wie api.operation, actor.user.uid oder src_endpoint.ip.
Hochladen, bereinigen und in LogTotal überprüfen
- Hochladen. Öffnen logtotal.com und laden Sie die .jsonl-Datei hoch.
- Bereinigen.
- Überprüfen.
Wenn es schiefgeht
| Symptom | Wahrscheinliche Ursache | Fix |
|---|---|---|
| Unzureichende Lake Formation-Berechtigungen | Kein SELECT-Recht auf der Tabelle | Fragen Sie den Security Lake-Administrator nach einer Lake Formation-Zuweisung |
| Tabelle nicht gefunden | Falsche Region in der Datenbank oder im Tabellennamen | Verwenden Sie Unterstriche: eu_west_1 |
| HIVE_PATH_ALREADY_EXISTS oder ähnlich | Zielpräfix ist nicht leer | Verwenden Sie ein neues, leeres Präfix |
| Hohe Scan-Kosten | Kein Ereignistag-Filter | Filtern Sie immer nach Partitionen |
| Dateien sind gzipped | Kompression auf Standard belassen | Stellen Sie die Kompression auf ‚NONE‘, oder verwenden Sie zcat |
FAQ
Kann ich die Parquet-Dateien direkt lesen?
Ja, mit Tools, die Parquet lesen können, aber Athena verwaltet das Schema und die Partitionen für Sie. Für LogTotal sind JSON-Zeilen aus UNLOAD der einfachste Weg.
Ist OCSF dasselbe wie roher CloudTrail?
Nein. Security Lake normalisiert Ereignisse zu OCSF, sodass sich die Feldnamen von der ursprünglichen Quelle unterscheiden.
