Databricksログのエクスポート方法

Snowflakeと同様に、「Databricksログ」とは、Deltaテーブルに保持しているセキュリティデータ、またはsystem.access.auditシステムテーブルのDatabricks独自の監査ログを指します。最も簡単なエクスポートは、どちらもノートブックセルです。Spark SQLでクエリを実行し、結果をJSONとしてUnity Catalogのボリュームに書き込み、Databricks CLIでダウンロードします。Sparkは改行区切りのJSONを書き込むため、ファイルはアップロード準備完了です。

Databricksはセキュリティデータレイクとしてますます使用されており、その監査ログは、それ自体で重要です。誰がログインしたか、誰がトークンを作成したか、誰が許可を変更したか。Prime Coreには24,000を超えるユニークな検出ルールがあり、676のMITRE ATT&CKテクニックにマッピングされています。以下に、データを取得し、サニタイズし、無料でLogTotalで調査する方法を示します。

無料で始める

開始する前に

アクセス。 system.access.auditを読むには、メタストア用にシステムスキーマが有効になっていることと、アカウントまたはメタストア管理者からのSELECT権限が必要です。自身のテーブルには、通常のUnity Catalog権限が必要です。

書き込み用ボリューム。 書き込み可能なUnity Catalogボリュームが必要です。例えば、/Volumes/security/exports/logtotal。さらに、Databricks CLIがマシンに設定されている必要があります。

コンピュート。 ノートブックにはクラスターまたはサーバーレスのコンピュートが必要です。必要以上のスキャンを避けるために日付でフィルタリングしてください。

ノートブックからのエクスポート

(spark.sql("""
    SELECT *
    FROM system.access.audit
    WHERE event_date = '2026-10-19'
    AND action_name IN ('login', 'tokenLogin', 'generateDbToken')
""")
 .write.mode("overwrite")
 .json("/Volumes/security/exports/logtotal/audit_20261019"))

Sparkは複数のpart-*.jsonファイルとマーカーファイルを書き込みます。これらをダウンロードして結合します:

databricks fs cp -r dbfs:/Volumes/security/exports/logtotal/audit_20261019 ./audit_20261019
cat ./audit_20261019/part-*.json > databricks_audit_20261019.jsonl

自身のセキュリティテーブルの場合、クエリを変更してください: 自分のテーブルから選択し、そのタイムスタンプ列でフィルタリングします。

ノートブックなしで、SQLステートメント実行APIは、SQLウェアハウスで同じクエリを実行し、JSONを返すことができます。行は配列として戻り、カラム名は別のマニフェストにあるため、オブジェクトに変換するためには追加の手順が必要です。規模が大きい場合は、ノートブックの方が簡単です。

監査ログで何を探すべきか

珍しいIPアドレスからのログインやトークンログイン、新しい個人アクセス用トークン、権限やグループメンバーシップの変更、通常の営業時間外のワークスペースやクラスター設定の変更を確認します。ノートブックや結果の大量ダウンロードも確認する価値があります。

LogTotalでアップロード、サニタイズ、レビュー

1. アップロード。 開く logtotal.com そして.jsonlファイルをドロップしてください。
2. サニタイズ。
3. レビュー。

問題が発生した場合