Come Esportare Log con Amazon Athena

Athena non memorizza i log di per sé. Interroga i file di log in S3, come CloudTrail, VPC Flow Logs, log bilanciatori di carico e WAF, tramite tabelle che definisci. I risultati delle query normali vengono salvati come CSV nel tuo bucket dei risultati. Per ottenere JSON invece, inserisci la query in UNLOAD … WITH (format = ‘JSON’): Athena scrive JSON delimitati da nuove righe in un prefisso S3, e lo scarichi.

Molti team AWS mantengono mesi di log in S3 e li interrogano con Athena piuttosto che inviare tutto a un SIEM. Prime Core ha più di 24.000 regole di rilevamento uniche, mappate su 676 tecniche MITRE ATT&CK. Di seguito è illustrato come estrarre una porzione, sanificarla e indagarla gratuitamente in LogTotal.

Inizia Gratis

Prima di iniziare

Permessi. Devi eseguire query Athena (athena:StartQueryExecution e correlate), leggere le definizioni delle tabelle in Glue, leggere il bucket di origine e scrivere a un bucket di esportazione. Aggiungi kms:Decrypt se i log sono criptati con KMS.

Conosci la tabella e le sue partizioni. Una tabella CloudTrail è solitamente suddivisa per regione e data, sia con proiezione di partizione che con partizioni che hai aggiunto. Athena addebita in base ai dati scansionati, quindi filtra sempre sulle partizioni. Una query senza di esse può scansionare anni di log.

Un gruppo di lavoro. Athena esegue query in un gruppo di lavoro con una posizione di risultati. UNLOAD scrive al proprio obiettivo, ma è comunque necessario configurare il gruppo di lavoro.

Esporta con UNLOAD

UNLOAD (
  SELECT *
  FROM cloudtrail_logs
  WHERE region = 'eu-west-1'
    AND day = '2026/10/19'
    AND useridentity.arn LIKE '%suspicious-user%'
)
TO 's3://my-athena-exports/ct-1019/'
WITH (format = 'JSON', compression = 'NONE')

Adatta le colonne di partizione (regione, giorno) alla definizione della tua tabella. Il prefisso di destinazione deve essere vuoto.

Dalla linea di comando:

QID=$(aws athena start-query-execution –work-group primary
  –query-string “$(cat unload.sql)”
  –query ‘QueryExecutionId’ –output text)

# aspetta fino a SUCCEEDED
fino a [ “$(aws athena get-query-execution –query-execution-id “$QID”
  –query ‘QueryExecution.Status.State’ –output text)” = “SUCCEEDED” ]; do sleep 5; done

aws s3 cp s3://my-athena-exports/ct-1019/ ./ct-1019/ –recursive
zcat -f ./ct-1019/* > ct_1019.jsonl

zcat -f gestisce sia output compressi che non compressi, nel caso in cui la compressione sia stata lasciata di default. Se la query fallisce, il ciclo di attesa non termina mai. Controlla anche per FAILED se scripti questo regolarmente.

Perché non get-query-results? Funziona, ma restituisce righe come elenchi di stringhe, 1.000 per pagina, che poi devi ricomporre in oggetti. UNLOAD ti dà JSON pulito in un solo passaggio.

Carica, pulisci e revisiona in LogTotal

1. Carica. Apri logtotal.com e inserisci il file .jsonl.
2. Pulisci. 
3. Revisione. 

Quando qualcosa va storto