Comment exporter les journaux BigQuery

Lorsque les journaux de sécurité sont dans BigQuery (à partir d’un export Cloud Logging, d’un export Google Workspace ou de votre propre pipeline), exportez-les avec EXPORT DATA. Cela écrit du JSON délimité par des sauts de ligne dans un bucket Cloud Storage, et vous téléchargez cela. Pour de petits résultats, bq query –format=json imprime directement les lignes. Dans les deux cas, filtrez d’abord sur la colonne de temps ou de partition du tableau, car BigQuery facture selon les données scannées.

BigQuery est l’endroit où de nombreuses équipes de Google Cloud conservent l’historique des journaux longtemps après que la rétention par défaut de Cloud Logging a expiré. Prime Core dispose de plus de 24 000 règles de détection uniques, mappées à 676 techniques MITRE ATT&CK. Voici comment extraire un échantillon, le nettoyer et l’examiner gratuitement dans LogTotal.

Commencez gratuitement

Avant de commencer

Autorisations. Vous devez lancer des tâches (utilisateur de tâches BigQuery), lire le dataset (lecteur de données BigQuery) et écrire dans le bucket d’exportation.

Connaître les tables. Un sink Cloud Logging vers BigQuery crée des tables nommées d’après les journaux, par exemple cloudaudit_googleapis_com_activity, souvent partitionnées par timestamp. Les exports Workspace ont leur propre schéma.

Vérifiez d’abord le coût. Ajoutez –dry_run à une requête bq pour voir combien d’octets cela scannerait. Si le nombre vous fait grimacer, ajoutez un filtre temporel plus strict.

Option 1 : EXPORT DATA vers Cloud Storage

OPTIONS D'EXPORTATION DE DONNÉES (
  uri = 'gs://my-bq-exports/audit-20261019/*.json',
  format = 'JSON',
  overwrite = true
) AS
SELECT *
FROM `my-project.audit_logs.cloudaudit_googleapis_com_activity`
WHERE timestamp >= TIMESTAMP('2026-10-19') AND timestamp < TIMESTAMP('2026-10-20');

L’URI nécessite un caractère générique (*), car BigQuery peut écrire plusieurs fichiers. Téléchargez-les et combinez-les :

gcloud storage cp 'gs://my-bq-exports/audit-20261019/*' ./audit-20261019/
cat ./audit-20261019/*.json > bq_audit_20261019.jsonl

Option 2 : requête bq pour de petits résultats

bq query --nouse_legacy_sql --format=json --max_rows=10000 
  'SELECT * FROM `my-project.audit_logs.cloudaudit_googleapis_com_activity`
   WHERE timestamp >= TIMESTAMP("2026-10-19") AND timestamp < TIMESTAMP("2026-10-20")' 
  > bq_audit_small.json

jq -c '.[]' bq_audit_small.json > bq_audit_small.jsonl

–format=json imprime un tableau JSON, que jq aplatie en une ligne par entrée.

Télécharger, nettoyer et examiner dans LogTotal

1. Télécharger. Ouvrir logtotal.com et déposez le fichier .jsonl.
2. Nettoyer. 
3. Examiner. 

Lorsque cela tourne mal