Wie man BigQuery-Logs exportiert

Wenn Sicherheitsprotokolle in BigQuery liegen (von einem Cloud Logging-Sink, einem Google Workspace-Export oder Ihrer eigenen Pipeline), exportieren Sie sie mit EXPORT DATA. Es schreibt newline-delimited JSON in einen Cloud Storage-Bucket, und Sie laden es herunter. Für kleine Ergebnisse druckt bq query –format=json die Zeilen direkt. In jedem Fall filtern Sie zuerst die Zeit- oder Partitionsspalte der Tabelle, da BigQuery nach gescannten Daten abrechnet.

BigQuery ist der Ort, an dem viele Google Cloud-Teams Protokollhistorien lange nach Ablauf des Standardaufbewahrungszeitraums von Cloud Logging aufbewahren. Prime Core hat mehr als 24.000 einzigartige Erkennungsregeln, die 676 MITRE ATT&CK-Techniken zugeordnet sind. Im Folgenden wird beschrieben, wie Sie ein Stück herausnehmen, es bereinigen und kostenlos in LogTotal untersuchen können.

Kostenlos loslegen

Bevor Sie anfangen

Berechtigungen. Sie müssen Jobs ausführen (BigQuery Jobbenutzer), das Dataset lesen (BigQuery Datenseher) und in den Export-Bucket schreiben können.

Kennen Sie die Tabellen. Ein Cloud Logging-Sink zu BigQuery erstellt Tabellen, die nach den Protokollen benannt sind, zum Beispiel cloudaudit_googleapis_com_activity, oft nach Zeitstempel partitioniert. Workspace-Exporte haben ihr eigenes Schema.

Prüfen Sie zuerst die Kosten. Fügen Sie –dry_run zu einer bq-Abfrage hinzu, um zu sehen, wie viele Bytes gescannt würden. Wenn die Zahl Sie erschreckt, fügen Sie einen engeren Zeitfilter hinzu.

Option 1: EXPORT DATA zu Cloud Storage

EXPORT DATA OPTIONS (
  uri = 'gs://my-bq-exports/audit-20261019/*.json',
  format = 'JSON',
  overwrite = true
) AS
SELECT *
FROM `my-project.audit_logs.cloudaudit_googleapis_com_activity`
WHERE timestamp >= TIMESTAMP('2026-10-19') AND timestamp < TIMESTAMP('2026-10-20');

Die URI benötigt ein Platzhalterzeichen (*), da BigQuery möglicherweise mehrere Dateien schreibt. Laden Sie sie herunter und kombinieren Sie sie:

gcloud storage cp 'gs://my-bq-exports/audit-20261019/*' ./audit-20261019/
cat ./audit-20261019/*.json > bq_audit_20261019.jsonl

Option 2: bq query für kleine Ergebnisse

bq query --nouse_legacy_sql --format=json --max_rows=10000 
  'SELECT * FROM `my-project.audit_logs.cloudaudit_googleapis_com_activity`
   WHERE timestamp >= TIMESTAMP("2026-10-19") AND timestamp < TIMESTAMP("2026-10-20")' 
  > bq_audit_small.json

jq -c '.[]' bq_audit_small.json > bq_audit_small.jsonl

–format=json druckt ein JSON-Array, das jq zu einer Zeile pro Zeile flacht.

Hochladen, bereinigen und in LogTotal überprüfen

1. Hochladen. Öffnen logtotal.com und die .jsonl-Datei ablegen.
2. Bereinigen. 
3. Überprüfen. 

Wenn es schief geht