Cómo exportar registros de Databricks

Al igual que con Snowflake, “registros de Databricks” puede significar datos de seguridad que guardas en tablas Delta o el propio registro de auditoría de Databricks en la tabla de sistema system.access.audit. La exportación más simple para ambos es una celda de cuaderno. Realiza una consulta con Spark SQL, escribe el resultado como JSON en un volumen de Unity Catalog y luego descárgalo con la CLI de Databricks. Spark escribe JSON delimitado por nuevas líneas, por lo que los archivos están listos para cargar.

Databricks se utiliza cada vez más como un lago de datos de seguridad, y su registro de auditoría es importante por sí mismo: quién inició sesión, quién creó tokens, quién cambió permisos. Prime Core tiene más de 24,000 reglas de detección únicas, mapeadas a 676 técnicas MITRE ATT&CK. A continuación, se muestra cómo sacar los datos, desinfectarlos e investigarlos de forma gratuita en LogTotal.

Comienza Gratis

Antes de comenzar

Acceso. Leer system.access.audit requiere el esquema del sistema habilitado para tu metastore y una concesión de SELECT de un administrador de cuenta o metastore. Para tus propias tablas, necesitas las concesiones habituales de Unity Catalog.

Un volumen para escribir. Necesitas un volumen de Unity Catalog al que puedas escribir, por ejemplo, /Volumes/security/exports/logtotal, y la CLI de Databricks configurada en tu máquina.

Computar. Un cuaderno necesita un clúster o cómputo sin servidor. Filtra por fecha para no escanear más de lo necesario.

Exportar desde un cuaderno

(spark.sql("""
    SELECT *
    FROM system.access.audit
    WHERE event_date = '2026-10-19'
      AND action_name IN ('login', 'tokenLogin', 'generateDbToken')
""")
 .write.mode("overwrite")
 .json("/Volumes/security/exports/logtotal/audit_20261019"))

Spark escribe varios archivos part-*.json más archivos marcadores. Descarga y combina:

databricks fs cp -r dbfs:/Volumes/security/exports/logtotal/audit_20261019 ./audit_20261019
cat ./audit_20261019/part-*.json > databricks_audit_20261019.jsonl

Para tus propias tablas de seguridad, cambia la consulta: selecciona de tu tabla y filtra en su columna de marca de tiempo.

Sin un cuaderno, la API de Ejecución de Declaraciones SQL puede ejecutar la misma consulta en un almacén de datos SQL y devolver JSON. Las filas regresan como matrices, con los nombres de columnas en un manifiesto separado, por lo que necesitas un paso adicional para convertirlas en objetos. Para cualquier cosa considerable, la ruta del cuaderno es más sencilla.

Qué buscar en el registro de auditoría

Observa inicios de sesión y logins de tokens desde direcciones IP inusuales, nuevos tokens de acceso personal, cambios en permisos y membresía de grupos, y cambios en la configuración de espacios de trabajo o clústeres fuera de las horas normales. Las descargas de cuadernos o resultados en masa también merecen atención.

Cargar, desinfectar y revisar en LogTotal

1. Subir. Abre logtotal.com y arrastra el archivo .jsonl.
2. Desinfectar.
3. Revisar.

Cuando algo sale mal