데이터브릭스 로그 내보내는 방법

Snowflake과 마찬가지로, “Databricks 로그”는 Delta 테이블에 보관하는 보안 데이터를 의미할 수 있으며, 또는 Databricks 자체의 감사 로그인 system.access.audit 시스템 테이블을 의미할 수 있습니다. 둘 다의 가장 간단한 내보내기는 노트북 셀입니다. Spark SQL로 쿼리하여 결과를 Unity Catalog 볼륨에 JSON으로 작성한 다음 Databricks CLI로 다운로드하십시오. Spark는 줄바꿈으로 구분된 JSON을 작성하므로 파일이 업로드 준비가 되어 있습니다.

Databricks는 보안 데이터 레이크로 점점 더 많이 사용되며, 그 감사 로그 자체도 중요합니다: 누가 로그인했는지, 누가 토큰을 생성했는지, 누가 권한을 변경했는지. Prime Core에는 676개의 MITRE ATT&CK 기술에 매핑된 24,000개 이상의 고유 탐지 규칙이 있습니다. 아래는 데이터를 추출하고, 정리하고, LogTotal에서 무료로 조사하는 방법입니다.

무료로 시작하기

시작하기 전에

접근. system.access.audit를 읽으려면 메타스토어에 대한 시스템 스키마가 사용으로 활성화되어야 하며, 계정이나 메타스토어 관리자로부터의 SELECT 권한이 필요합니다. 자체 테이블의 경우 일반적인 Unity Catalog 권한이 필요합니다.

작성할 볼륨. 쓰기 가능한 Unity Catalog 볼륨이 필요합니다. 예를 들어 /Volumes/security/exports/logtotal와 같은 볼륨이며, Databricks CLI가 컴퓨터에 구성되어 있어야 합니다.

컴퓨팅. 노트북에는 클러스터 또는 서버리스 컴퓨팅이 필요합니다. 날짜별로 필터링하여 필요한 것보다 더 많이 스캔하지 않도록 하십시오.

노트북에서 내보내기

(spark.sql("""
    SELECT *
    FROM system.access.audit
    WHERE event_date = '2026-10-19'
      AND action_name IN ('login', 'tokenLogin', 'generateDbToken')
""")
 .write.mode("overwrite")
 .json("/Volumes/security/exports/logtotal/audit_20261019"))

Spark는 여러 part-*.json 파일과 마커 파일을 작성합니다. 다운로드하고 결합하십시오:

databricks fs cp -r dbfs:/Volumes/security/exports/logtotal/audit_20261019 ./audit_20261019
cat ./audit_20261019/part-*.json > databricks_audit_20261019.jsonl

자체 보안 테이블의 경우 쿼리를 변경하십시오: 테이블에서 선택하고 타임스탬프 열로 필터링하십시오.

노트북 없이, SQL Statement Execution API는 SQL 웨어하우스에서 동일한 쿼리를 실행하고 JSON을 반환할 수 있습니다. 행은 배열로 반환되며, 열 이름은 별도의 매니페스트에 있으므로 객체로 변환하려면 추가 단계가 필요합니다. 상당한 크기가 있는 경우, 노트북 경로가 더 간단합니다.

감사 로그에서 찾아볼 내용

비정상 IP 주소에서의 로그인 및 토큰 로그인을 확인하고, 새로운 개인 액세스 토큰, 권한 변경 및 그룹 멤버십 변경, 비정상 시간 외의 워크스페이스 또는 클러스터 구성 변경 등을 살펴보십시오. 대량의 노트북이나 결과 다운로드도 주의해서 볼 만합니다.

LogTotal에서 업로드, 정리 및 검토

1. 업로드. 열기 logtotal.com 그리고 .jsonl 파일을 드롭하십시오.
2. 정리.
3. 검토.

문제가 발생했을 때