LTAP가 해결하는 고질적인 문제: 데이터의 이중 생활

수십 년간 기업들은 데이터를 위해 두 개의 분리된 세계를 유지해 왔다. 온라인 트랜잭션 처리(OLTP) 시스템은 주문, 재고 업데이트, 고객 기록과 같은 일상적인 운영을 처리한다. 반면 온라인 분석 처리(OLAP) 시스템은 리포팅, 대시보드, 머신러닝 모델 훈련을 담당한다. 이 두 시스템 간에 데이터를 옮기려면 ETL 파이프라인이 필요했고, 이는 필연적으로 지연 시간, 비용 증가, 그리고 데이터 거버넌스 문제를 야기했다 .

LTAP의 핵심 목표는 이 두 워크로드를 데이터 레이크에 저장된 단일 데이터 사본에서 통합하는 것이다. Databricks에 따르면, 이 아키텍처는 설계 단계부터 ETL, 데이터 복제본, 그리고 불필요한 데이터 이동 자체를 제거한다 . 트랜잭션 데이터는 별도의 변환이나 파이프라인 유지 보수 없이도 분석에 즉시 활용 가능해진다.

이 LTAP의 기반이 되는 것은 Databricks의 서버리스 Postgres 서비스인 Lakebase다. 이미 수천 명의 고객을 보유하고 있으며 플랫폼 전반에서 하루 1,200만 건의 데이터베이스 실행을 처리하고 있다 . LTAP 모델 하에서 Lakebase는 데이터를 Unity Catalog에 개방형 포맷(Delta Lake 및 Apache Iceberg)으로 직접 저장한다. 이를 통해 엄격한 거버넌스가 적용된 트랜잭션 데이터를 분석 워크로드가 즉시 쿼리할 수 있게 된다 .

이 아키텍처의 주요 특징으로는 단일 소스 기반의 통합된 거버넌스, 트랜잭션 및 분석 워크로드의 독립적인 확장, Postgres 워크로드에 대한 완전한 ACID 지원, 그리고 유지 관리가 필요한 숨겨진 파이프라인이나 커넥터의 부재를 들 수 있다 .

Lakebase의 새로운 기능들

LTAP 발표와 함께 Databricks는 Lakebase 자체의 여러 개선 사항도 선보였다.

• 프로덕션 Postgres 데이터베이스를 위한 크로스 클라우드, 크로스 리전 재해 복구
• Git 스타일의 브랜칭 및 스냅샷: 프로덕션 데이터에서 직접 안전한 실험을 가능하게 한다.
• 자율 데이터베이스 운영: 성능 저하를 모니터링하고, 이상 징후를 탐지하며, 자동 복구를 트리거한다 .

이러한 기능들은 Lakebase가 단순한 분석 편의 계층이 아닌, 애플리케이션과 AI 에이전트를 위한 ‘퍼스트 클래스’ 운영 데이터베이스로 자리매김하려는 Databricks의 의지를 보여준다.

레이크하우스//RT (Lakehouse//RT): 거버넌스 데이터 위에서 펼쳐지는 실시간 분석

두 번째 주요 인프라 발표는 레이크하우스//RT(Lakehouse//RT) 였다. 이는 레이든(Reyden) 이라는 새로운 컴퓨트 엔진으로 구동되는 실시간 레이크하우스다. ‘Reyden’이라는 이름은 공동 창립자 Reynold Xin의 이름을 딴 ‘Reynold’s Dream Engine’의 약자다 .

Databricks는 Reyden이 거버넌스가 적용된 Delta Lake 및 Apache Iceberg 테이블 위에서 직접 수만 명의 동시 사용자와 에이전트에게 밀리초 단위의 쿼리 지연 시간을 제공한다고 밝혔다 .

이 발표의 의미는 상당하다. 기업은 더 이상 실시간 성능을 확보하기 위해 캐싱 레이어, 구체화된 뷰(Materialized Views), 외부 쿼리 엔진과 같은 별도의 서빙 인프라를 구축할 필요가 없어지는 것이다. BI 도구인 Sigma Computing이 이 파트너로 참여하여 임베디드 분석을 위해 레이크하우스//RT에 직접 연결된다 .

Databricks 공동 창립자 Reynold Xin은 이번 출시가 “레이크하우스 출시 이후 가장 큰 단일 규모의 도입”일 것이라고 언급했다 .

AI 에이전트를 향한 대담한 걸음: Genie One과 Agent Bricks

Databricks는 이번 서밋을 자사 플랫폼을 기업용 AI 에이전트의 기반으로 자리매김하는 데 활용했다. 관련 주요 발표는 다음과 같다.

• Genie One: 실제 비즈니스 데이터를 기반으로 업무를 자동화하도록 설계된 AI 에이전트 동료로, 에이전트 컨텍스트에 대한 이해를 강화했다 .
• Genie Agents 및 Agent Bricks: 기업 데이터를 관찰, 추론, 실행할 수 있는 AI 에이전트를 구축하고 배포하기 위한 도구다. Agent Bricks는 거버넌스가 적용된 데이터를 사용하여 에이전트를 자동으로 최적화하는 사전 구축된 구성 요소다 .
• Unity AI Gateway: 여러 AI 모델 제공업체를 관리하는 조직을 위한 멀티 AI 거버넌스 및 비용 관리 기능이다 .

업계 분석가들이 포착한 더 큰 그림은, LTAP와 레이크하우스//RT가 에이전트 중심 기업 아키텍처의 하부 데이터 서빙 계층이라는 점이다. Databricks는 운영 데이터를 개방형 포맷으로 거버넌스 스토리지에 배치함으로써, AI 에이전트가 데이터를 이동하거나 복사하지 않고도 프로덕션 데이터베이스에 접근하고, 이를 추론하며, 행동할 수 있다고 믿는다 .

Azure 및 Microsoft와의 통합 강화

Databricks는 Azure 에코시스템과의 통합도 한층 강화했다. 공동 발표된 주요 기능은 다음과 같다.

• Copilot Studio 및 GitHub Copilot: 사용자가 단일 MCP(Model-Centric-Protocol) 연결을 통해 전체 Azure Databricks 작업 공간을 추론하는 Copilot Studio 에이전트를 만들 수 있다 .
• Genie for Microsoft Teams 및 M365 Copilot (Beta): 사용자가 Teams 스레드에서 Genie를 태그하면 Azure Databricks 환경에서 직접 상황에 맞는 답변을 받을 수 있다 .
• Azure Databricks Excel Add-in (공개 미리 보기) 및 네이티브 Excel 수집 (정식 출시): 스프레드시트를 통한 무인 분석(Driverless Analytics)을 가능하게 한다 .
• Databricks CustomerLake: 최초의 레이크하우스 기반 고객 데이터 플랫폼(CDP)으로, Azure Databricks를 위해 공개되었다 .

이러한 통합은 비즈니스 의사 결정이 일어나는 협업 도구 안에 Databricks의 거버넌스 및 AI 기능을 내재화하려는 전략을 시사한다. 사용자가 별도의 분석 인터페이스로 이동할 필요 없이, 익숙한 도구에서 데이터의 가치를 바로 활용하게 하려는 것이다.

기업 데이터 아키텍처의 미래를 위한 승부수

종합적으로, 이번 서밋 발표는 차세대 기업 애플리케이션은 에이전트 중심적이고, 실시간이며, 엄격하게 관리될 것이라는 일관된 플랫폼 전략을 보여준다. LTAP는 트랜잭션과 분석의 경계를 없애고, 레이크하우스//RT는 분석 쿼리의 지연 시간 문제를 해결하며, Genie 제품군은 그 위에서 에이전트를 조율하는 계층을 제공한다.

만약 이 전략이 성공한다면, 이 아키텍처는 일반적인 기업 데이터 스택의 복잡성을 획기적으로 줄일 수 있다. 더 적은 데이터베이스, 더 적은 파이프라인, 더 적은 서빙 레이어만으로도 AI 에이전트가 비즈니스 데이터를 바탕으로 자율적으로 행동하는 데 필요한, 거버넌스가 적용된 실시간 컨텍스트를 제공할 수 있게 되는 것이다.

데이터 관리의 융합을 추구하는 것은 Databricks만이 아니다. 하지만 이미 하루 1,200만 건의 Lakebase 데이터베이스 실행과 30,000명 이상의 현장 참석자를 동원한 이번 서밋의 규모를 고려할 때 , 이번 LTAP 발표는 레이크하우스 아키텍처가 단순한 분석 플랫폼에서 운영 데이터의 중추로 진화하는 중요한 이정표로 기록될 전망이다.

LTAP가 해결하는 고질적인 문제: 데이터의 이중 생활

수십 년간 기업들은 데이터를 위해 두 개의 분리된 세계를 유지해 왔다. 온라인 트랜잭션 처리(OLTP) 시스템은 주문, 재고 업데이트, 고객 기록과 같은 일상적인 운영을 처리한다. 반면 온라인 분석 처리(OLAP) 시스템은 리포팅, 대시보드, 머신러닝 모델 훈련을 담당한다. 이 두 시스템 간에 데이터를 옮기려면 ETL 파이프라인이 필요했고, 이는 필연적으로 지연 시간, 비용 증가, 그리고 데이터 거버넌스 문제를 야기했다 .

LTAP의 핵심 목표는 이 두 워크로드를 데이터 레이크에 저장된 단일 데이터 사본에서 통합하는 것이다. Databricks에 따르면, 이 아키텍처는 설계 단계부터 ETL, 데이터 복제본, 그리고 불필요한 데이터 이동 자체를 제거한다 . 트랜잭션 데이터는 별도의 변환이나 파이프라인 유지 보수 없이도 분석에 즉시 활용 가능해진다.

이 LTAP의 기반이 되는 것은 Databricks의 서버리스 Postgres 서비스인 Lakebase다. 이미 수천 명의 고객을 보유하고 있으며 플랫폼 전반에서 하루 1,200만 건의 데이터베이스 실행을 처리하고 있다 . LTAP 모델 하에서 Lakebase는 데이터를 Unity Catalog에 개방형 포맷(Delta Lake 및 Apache Iceberg)으로 직접 저장한다. 이를 통해 엄격한 거버넌스가 적용된 트랜잭션 데이터를 분석 워크로드가 즉시 쿼리할 수 있게 된다 .

이 아키텍처의 주요 특징으로는 단일 소스 기반의 통합된 거버넌스, 트랜잭션 및 분석 워크로드의 독립적인 확장, Postgres 워크로드에 대한 완전한 ACID 지원, 그리고 유지 관리가 필요한 숨겨진 파이프라인이나 커넥터의 부재를 들 수 있다 .

Lakebase의 새로운 기능들

LTAP 발표와 함께 Databricks는 Lakebase 자체의 여러 개선 사항도 선보였다.

• 프로덕션 Postgres 데이터베이스를 위한 크로스 클라우드, 크로스 리전 재해 복구
• Git 스타일의 브랜칭 및 스냅샷: 프로덕션 데이터에서 직접 안전한 실험을 가능하게 한다.
• 자율 데이터베이스 운영: 성능 저하를 모니터링하고, 이상 징후를 탐지하며, 자동 복구를 트리거한다 .

이러한 기능들은 Lakebase가 단순한 분석 편의 계층이 아닌, 애플리케이션과 AI 에이전트를 위한 ‘퍼스트 클래스’ 운영 데이터베이스로 자리매김하려는 Databricks의 의지를 보여준다.

레이크하우스//RT (Lakehouse//RT): 거버넌스 데이터 위에서 펼쳐지는 실시간 분석

두 번째 주요 인프라 발표는 레이크하우스//RT(Lakehouse//RT) 였다. 이는 레이든(Reyden) 이라는 새로운 컴퓨트 엔진으로 구동되는 실시간 레이크하우스다. ‘Reyden’이라는 이름은 공동 창립자 Reynold Xin의 이름을 딴 ‘Reynold’s Dream Engine’의 약자다 .

Databricks는 Reyden이 거버넌스가 적용된 Delta Lake 및 Apache Iceberg 테이블 위에서 직접 수만 명의 동시 사용자와 에이전트에게 밀리초 단위의 쿼리 지연 시간을 제공한다고 밝혔다 .

이 발표의 의미는 상당하다. 기업은 더 이상 실시간 성능을 확보하기 위해 캐싱 레이어, 구체화된 뷰(Materialized Views), 외부 쿼리 엔진과 같은 별도의 서빙 인프라를 구축할 필요가 없어지는 것이다. BI 도구인 Sigma Computing이 이 파트너로 참여하여 임베디드 분석을 위해 레이크하우스//RT에 직접 연결된다 .

Databricks 공동 창립자 Reynold Xin은 이번 출시가 “레이크하우스 출시 이후 가장 큰 단일 규모의 도입”일 것이라고 언급했다 .

AI 에이전트를 향한 대담한 걸음: Genie One과 Agent Bricks

Databricks는 이번 서밋을 자사 플랫폼을 기업용 AI 에이전트의 기반으로 자리매김하는 데 활용했다. 관련 주요 발표는 다음과 같다.

• Genie One: 실제 비즈니스 데이터를 기반으로 업무를 자동화하도록 설계된 AI 에이전트 동료로, 에이전트 컨텍스트에 대한 이해를 강화했다 .
• Genie Agents 및 Agent Bricks: 기업 데이터를 관찰, 추론, 실행할 수 있는 AI 에이전트를 구축하고 배포하기 위한 도구다. Agent Bricks는 거버넌스가 적용된 데이터를 사용하여 에이전트를 자동으로 최적화하는 사전 구축된 구성 요소다 .
• Unity AI Gateway: 여러 AI 모델 제공업체를 관리하는 조직을 위한 멀티 AI 거버넌스 및 비용 관리 기능이다 .

업계 분석가들이 포착한 더 큰 그림은, LTAP와 레이크하우스//RT가 에이전트 중심 기업 아키텍처의 하부 데이터 서빙 계층이라는 점이다. Databricks는 운영 데이터를 개방형 포맷으로 거버넌스 스토리지에 배치함으로써, AI 에이전트가 데이터를 이동하거나 복사하지 않고도 프로덕션 데이터베이스에 접근하고, 이를 추론하며, 행동할 수 있다고 믿는다 .

Azure 및 Microsoft와의 통합 강화

Databricks는 Azure 에코시스템과의 통합도 한층 강화했다. 공동 발표된 주요 기능은 다음과 같다.

• Copilot Studio 및 GitHub Copilot: 사용자가 단일 MCP(Model-Centric-Protocol) 연결을 통해 전체 Azure Databricks 작업 공간을 추론하는 Copilot Studio 에이전트를 만들 수 있다 .
• Genie for Microsoft Teams 및 M365 Copilot (Beta): 사용자가 Teams 스레드에서 Genie를 태그하면 Azure Databricks 환경에서 직접 상황에 맞는 답변을 받을 수 있다 .
• Azure Databricks Excel Add-in (공개 미리 보기) 및 네이티브 Excel 수집 (정식 출시): 스프레드시트를 통한 무인 분석(Driverless Analytics)을 가능하게 한다 .
• Databricks CustomerLake: 최초의 레이크하우스 기반 고객 데이터 플랫폼(CDP)으로, Azure Databricks를 위해 공개되었다 .

이러한 통합은 비즈니스 의사 결정이 일어나는 협업 도구 안에 Databricks의 거버넌스 및 AI 기능을 내재화하려는 전략을 시사한다. 사용자가 별도의 분석 인터페이스로 이동할 필요 없이, 익숙한 도구에서 데이터의 가치를 바로 활용하게 하려는 것이다.

기업 데이터 아키텍처의 미래를 위한 승부수

종합적으로, 이번 서밋 발표는 차세대 기업 애플리케이션은 에이전트 중심적이고, 실시간이며, 엄격하게 관리될 것이라는 일관된 플랫폼 전략을 보여준다. LTAP는 트랜잭션과 분석의 경계를 없애고, 레이크하우스//RT는 분석 쿼리의 지연 시간 문제를 해결하며, Genie 제품군은 그 위에서 에이전트를 조율하는 계층을 제공한다.

만약 이 전략이 성공한다면, 이 아키텍처는 일반적인 기업 데이터 스택의 복잡성을 획기적으로 줄일 수 있다. 더 적은 데이터베이스, 더 적은 파이프라인, 더 적은 서빙 레이어만으로도 AI 에이전트가 비즈니스 데이터를 바탕으로 자율적으로 행동하는 데 필요한, 거버넌스가 적용된 실시간 컨텍스트를 제공할 수 있게 되는 것이다.

데이터 관리의 융합을 추구하는 것은 Databricks만이 아니다. 하지만 이미 하루 1,200만 건의 Lakebase 데이터베이스 실행과 30,000명 이상의 현장 참석자를 동원한 이번 서밋의 규모를 고려할 때 , 이번 LTAP 발표는 레이크하우스 아키텍처가 단순한 분석 플랫폼에서 운영 데이터의 중추로 진화하는 중요한 이정표로 기록될 전망이다.