AI 에이전트 확산으로 데이터 인프라의 실시간 처리 요구가 높아지는 가운데, 데이터브릭스(Databricks)가 트랜잭션과 분석 워크로드를 단일 스토리지 레이어에서 통합하는 새로운 데이터 처리 아키텍처를 내놨다.

데이터브릭스는 25일 ‘LTAP(Lake Transactional/Analytical Processing)’ 아키텍처를 공개했다.

LTAP는 온라인 분석 처리(OLAP)와 온라인 트랜잭션 처리(OLTP)를 레이크 내 단일 데이터 사본 기반으로 통합한 구조로, 서버리스 포스트그레스(Postgres) 기반 서비스 ‘레이크베이스(Lakebase)’와 ‘레이크하우스(Lakehouse)’를 결합해 구현된다.

레이크베이스는 이미 전 세계 수천 개 고객사에 도입돼 일일 1,200만 건의 데이터베이스 실행을 처리하고 있다고 회사 측은 밝혔다.

기존 HTAP(하이브리드 트랜잭션·분석 처리)는 단일 엔진에서 두 워크로드를 통합하려다 성능 저하와 독점 인프라 의존 문제를 낳았다.

‘제로 ETL’ 방식도 파이프라인을 제거하기보다 숨기는 데 그쳤다는 게 회사 측 설명이다.

LTAP는 이와 달리 스토리지 레이어 자체에서 데이터를 통합하는 방식을 택했다.

레이크베이스가 아이스버그(Iceberg), 델타(Delta) 등 개방형 포맷으로 유니티 카탈로그(Unity Catalog)에 데이터를 직접 저장하는 구조다.

LTAP의 주요 특징은 세 가지다.

단일 진실 공급원(source of truth) 기반 통합 거버넌스로는 모든 데이터가 변환 없이 개방형 오브젝트 스토리지에 저장되며 단일 ID·권한·감사 모델이 적용된다.

△트랜잭션 워크로드는 완전한 ACID를 보장하는 포스트그레스에서, 분석 워크로드는 레이크하우스 전반에서 각각 독립적으로 확장되어 성능 저하 없이 운영된다.

ETL 파이프라인과 시스템 간 데이터 이동 커넥터를 아키텍처 단계에서 원천 제거해 운영 비용을 줄이고 데이터 최신성을 유지한다고 회사 측은 설명했다.

데이터브릭스는 이번 발표와 함께 레이크베이스의 기능도 확장했다.

크로스 클라우드(Cross-cloud)·크로스 리전(Cross-region) 재해 복구 기능이 추가됐으며, 깃(Git) 스타일의 브랜칭 및 스냅샷 기능으로 운영 데이터에 영향 없이 테스트가 가능해졌다.

또한 자율형 데이터베이스 운영 기능을 통해 에이전트가 시스템 상태 모니터링, 성능 저하 감지, 인덱스 제안, 장애 복구를 자체적으로 수행할 수 있다고 회사 측은 전했다.

데이터브릭스 공동창립자 겸 CEO 알리 고드시(Ali Ghodsi)는 “에이전트는 사람이 따라갈 수 없는 속도로 코드를 작성하고 루프를 실행한다”며 “이전 컴퓨팅 시대를 지탱했던 인프라는 이제 병목 현상이 됐으며, LTAP는 이를 제거한다”고 밝혔다.