Seguir O Amazon Security Lake armazena seus dados no S3 como arquivos Parquet no esquema OCSF, portanto, você não faz o download diretamente. Você consulta-os. Use Amazon Athena com uma instrução UNLOAD e formato = ‘JSON’: o Athena escreve os resultados como linhas JSON para um prefixo S3 que você escolhe, e você baixa isso. As tabelas do Security Lake estão em um banco de dados Glue chamado amazon_security_lake_glue_db_<region>, uma tabela por fonte.
O Security Lake centraliza o CloudTrail, VPC Flow Logs, Route 53, descobertas do Security Hub, logs de auditoria do EKS e fontes de terceiros em um formato normalizado. O Prime Core possui mais de 24.000 regras de detecção exclusivas, mapeadas para 676 técnicas MITRE ATT&CK. Abaixo está como extrair dados, sanitizá-los e investigá-los gratuitamente no LogTotal.
Antes de começar
Acesso para consultas. Use a conta de administrador delegado do Security Lake, ou um assinante com acesso para consultas. O acesso é governado pela Lake Formation, então você precisa de SELECT nas tabelas, além de permissões do Athena e acesso de escrita para um bucket S3 para a exportação.
Encontre as tabelas. No Athena, abra o banco de dados para sua região. Os nomes das tabelas seguem o padrão amazon_security_lake_table_<region>_<source>_<version>, por exemplo amazon_security_lake_table_eu_west_1_cloud_trail_mgmt_2_0. A região usa underscores.
Partições ajudam a reduzir custos. As tabelas são particionadas por região, accountid e eventday (YYYYMMDD). O Athena cobra pelo dado escaneado, então sempre filtre por eventday.
Exporte com Athena UNLOAD
No console do Athena, ou com aws athena start-query-execution:
UNLOAD (
SELECT *
FROM amazon_security_lake_glue_db_eu_west_1.amazon_security_lake_table_eu_west_1_cloud_trail_mgmt_2_0
WHERE eventday = '20261019'
AND accountid = '123456789012'
)
TO 's3://my-athena-exports/security-lake/ct-20261019/'
WITH (format = 'JSON', compression = 'NONE')
O prefixo de destino deve estar vazio. Quando a consulta for bem-sucedida, baixe e combine os arquivos:
aws s3 cp s3://my-athena-exports/security-lake/ct-20261019/ ./ct-20261019/ --recursive
cat ./ct-20261019/* > securitylake_ct_20261019.jsonl
Cada linha é um evento OCSF. Para estreitar ainda mais, filtre por campos OCSF como api.operation, actor.user.uid ou src_endpoint.ip.
Envie, sanitize e revise no LogTotal
- Envie. Abra logtotal.com e solte o arquivo .jsonl.
- Sanitize.
- Revise.
Quando algo dá errado
| Sintoma | Causa provável | Fix |
|---|---|---|
| Permissões insuficientes de Lake Formation | Sem concessão SELECT na tabela | Peça ao administrador do Security Lake uma concessão de Lake Formation |
| Tabela não encontrada | Região errada no nome do banco de dados ou da tabela | Use underscores: eu_west_1 |
| HIVE_PATH_ALREADY_EXISTS ou similar | O prefixo de destino não está vazio | Use um novo prefixo vazio |
| Custo alto de escaneamento | Sem filtro de eventday | Sempre filtre por partições |
| Os arquivos estão compactados em gzip | Compressão deixada no padrão | Defina compression = ‘NONE’, ou use zcat |
FAQ
Posso ler os arquivos Parquet diretamente?
Você pode, com ferramentas que leem Parquet, mas o Athena lida com o esquema e as partições para você. Para o LogTotal, linhas JSON do UNLOAD é a rota mais simples.
OCSF é o mesmo que o CloudTrail bruto?
Não. O Security Lake normaliza eventos em OCSF, então os nomes dos campos diferem da fonte original.
