Suivre Amazon Security Lake stocke vos données dans S3 sous forme de fichiers Parquet selon le schéma OCSF, vous ne les téléchargez donc pas directement. Vous les interrogez. Utilisez Amazon Athena avec une instruction UNLOAD et format = ‘JSON’ : Athena écrit les résultats sous forme de lignes JSON dans un préfixe S3 que vous choisissez, et vous téléchargez cela. Les tables Security Lake résident dans une base de données Glue nommée amazon_security_lake_glue_db_<region>, une table par source.
Security Lake centralise CloudTrail, VPC Flow Logs, Route 53, des conclusions de Security Hub, des journaux d’audit EKS et des sources tierces dans un format normalisé. Prime Core possède plus de 24 000 règles de détection uniques, mappées à 676 techniques MITRE ATT&CK. Voici comment extraire les données, les désinfecter et les investiguer gratuitement dans LogTotal.
Avant de commencer
Accès à l’interrogation. Utilisez le compte administrateur délégué de Security Lake, ou un abonné avec accès aux requêtes. L’accès est régi par Lake Formation, vous avez donc besoin de la permission SELECT sur les tables, ainsi que des permissions Athena et un accès en écriture à un bucket S3 pour l’exportation.
Trouver les tables. Dans Athena, ouvrez la base de données pour votre région. Les noms des tables suivent le modèle amazon_security_lake_table_<region>_<source>_<version>, par exemple amazon_security_lake_table_eu_west_1_cloud_trail_mgmt_2_0. La région utilise des underscores.
Les partitions réduisent les coûts. Les tables sont partitionnées par région, accountid et eventday (YYYYMMDD). Athena facture par données scannées, alors filtrez toujours par eventday.
Exportation avec Athena UNLOAD
Dans la console Athena, ou avec aws athena start-query-execution :
UNLOAD (
SELECT *
FROM amazon_security_lake_glue_db_eu_west_1.amazon_security_lake_table_eu_west_1_cloud_trail_mgmt_2_0
WHERE eventday = '20261019'
AND accountid = '123456789012'
)
TO 's3://my-athena-exports/security-lake/ct-20261019/'
WITH (format = 'JSON', compression = 'NONE')
Le préfixe cible doit être vide. Lorsque la requête réussit, téléchargez et combinez les fichiers :
aws s3 cp s3://my-athena-exports/security-lake/ct-20261019/ ./ct-20261019/ --recursive
cat ./ct-20261019/* > securitylake_ct_20261019.jsonl
Chaque ligne est un événement OCSF. Pour le restreindre davantage, filtrez sur des champs OCSF tels que api.operation, actor.user.uid ou src_endpoint.ip.
Télécharger, désinfecter et réviser dans LogTotal
- Télécharger. Ouvrir logtotal.com et déposez le fichier .jsonl.
- Désinfecter.
- Réviser.
Quand ça ne va pas
| Symptôme | Cause probable | Fix |
|---|---|---|
| Permissions insuffisantes de Lake Formation | Aucune autorisation SELECT sur la table | Demandez à l’administrateur de Security Lake une autorisation Lake Formation |
| Table non trouvée | Région erronée dans le nom de la base de données ou de la table | Utilisez des underscores : eu_west_1 |
| HIVE_PATH_ALREADY_EXISTS ou similaire | Le préfixe cible n’est pas vide | Utilisez un nouveau préfixe vide |
| Grand coût de scan | Pas de filtre sur eventday | Filtrez toujours sur les partitions |
| Les fichiers sont gzippés | Compression laissée à la valeur par défaut | Définissez compression = ‘NONE’, ou utilisez zcat |
FAQ
Puis-je lire directement les fichiers Parquet ?
Vous pouvez, avec des outils qui lisent Parquet, mais Athena gère le schéma et les partitions pour vous. Pour LogTotal, les lignes JSON provenant d’UNLOAD sont la voie la plus simple.
L’OCSF est-il le même que CloudTrail brut ?
Non. Security Lake normalise les événements en OCSF, donc les noms de champ diffèrent de la source originale.
