Databricks Genie는 왜 기업 데이터 질문에서 더 정확할 수 있나

Databricks Genie를 ‘SQL 생성 챗봇’ 정도로 보면 핵심을 놓치기 쉽다. 기업 데이터 분석에서 오답은 문법 오류보다 맥락 부족에서 자주 나온다. 질문 속 ‘매출’이 총매출인지 순매출인지, 어떤 테이블이 공식 기준인지, 기존 대시보드가 무엇을 말하고 있는지 모르면 그럴듯한 SQL도 틀린 답을 낼 수 있다.

Databricks가 Genie에 대해 내세우는 논리는 바로 이 지점이다. Databricks는 실제 데이터 분석 작업으로 구성한 내부 벤치마크에서 Genie의 전체 정확도가 선도적 코딩 에이전트의 32%에서 90% 이상 수준으로 올라갔고, 비용과 지연시간도 줄었다고 밝혔다 . 다만 이 수치는 독립기관 검증이 아니라 Databricks가 보고한 내부 실험 결과라는 점을 분명히 봐야 한다.

정확도 문제는 SQL 문법보다 ‘업무 의미’에 가깝다

범용 코딩 에이전트는 SQL이나 Python 코드를 꽤 능숙하게 만들어낼 수 있다. 문제는 기업 분석 질문이 대개 코드 생성만으로 끝나지 않는다는 점이다. 예를 들어 ‘왜 매출이 떨어졌나?’라는 질문에는 매출의 정의, 기준 기간, 제외해야 할 거래, 공식 데이터셋, 이미 조직에서 쓰는 대시보드까지 따라붙는다.

마이크로소프트의 Azure Databricks 문서는 Genie를 비즈니스 팀이 자연어로 데이터와 상호작용하도록 하는 기능으로 설명하며, 조직의 용어와 데이터에 맞춘 생성형 AI를 사용한다고 소개한다 . 다시 말해 Genie의 목표는 사용자의 질문을 곧바로 SQL로 바꾸는 데 그치지 않고, 조직 안에서 그 질문이 실제로 무엇을 뜻하는지 먼저 좁히는 데 있다.

Genie 공간은 기업별 맥락을 담는 장치다

Genie에서 중요한 설정 단위는 ‘Genie 공간’이다. Microsoft 문서에 따르면 데이터 분석가 같은 도메인 전문가는 Genie 공간에 데이터셋, 샘플 쿼리, 텍스트 지침을 설정해 Genie가 비즈니스 질문을 분석 쿼리로 바꾸도록 돕는다 . 또한 팀은 사용자 피드백을 통해 Genie의 성능을 모니터링하고 개선할 수 있다 .

이 부분이 중요한 이유는 기업 데이터의 단어가 생각보다 지역적이기 때문이다. ‘활성 고객’, ‘순매출’, ‘예약’, ‘이탈’, ‘파이프라인’ 같은 표현은 회사마다, 심지어 같은 회사 안의 부서마다 다르게 쓰일 수 있다. 프롬프트만 보는 코딩 에이전트는 문법상 맞는 쿼리를 만들더라도 잘못된 지표 정의를 적용할 수 있다. 반면 Genie 공간은 애초에 분석 범위를 조직의 데이터와 용어 체계 안으로 좁힌다.

기존 데이터 자산에 발을 붙이고 답한다

Databricks는 데이터 에이전트가 테이블, 노트북, 대시보드, 문서 전반에 의미적 맥락이 퍼져 있는 동적인 레이크하우스 환경에서 작동한다고 설명한다 . 외부 보도 역시 Genie가 기존 데이터 자산을 대상으로 전문화된 지식 검색을 수행하고, 자산 탐색을 개선하기 위한 검색 인덱스를 활용한다고 설명한다 .

기업 분석에서는 ‘무엇을 계산할 것인가’만큼이나 ‘어디에서 시작할 것인가’가 중요하다. 기술적으로 유효한 쿼리라도 잘못된 테이블을 조인하거나, 공식 대시보드를 무시하거나, 핵심 비즈니스 정의를 놓치면 분석적으로는 틀린 답이 된다. Genie의 차별점은 답을 프롬프트 안에서만 찾기보다, 기업의 데이터 환경 안에서 관련 자산을 찾고 그 맥락 위에서 추론하도록 설계됐다는 데 있다.

Agent Mode는 한 번에 답하기보다 조사한다

많은 비즈니스 질문은 단순한 텍스트-to-SQL 문제가 아니다. ‘전환율이 왜 떨어졌나?’, ‘마진을 높이려면 어디를 봐야 하나?’ 같은 질문은 추세 확인, 세그먼트별 분해, 가능한 원인 검토, 기간 비교, 데이터가 뒷받침하는 결론 요약으로 이어진다.

Databricks는 Genie Agent Mode가 ‘왜?’, ‘만약 ~라면?’, ‘어떻게 개선할 수 있나?’ 같은 더 복잡한 질문을 지원한다고 설명한다 . Databricks에 따르면 Agent Mode는 내부적으로 계획을 세우고, 가설을 테스트하며, 여러 쿼리에 걸쳐 추론해 비즈니스 질문에 답한다 . 또한 질문의 복잡도에 맞춰 추론 규모를 조절해 일상적인 질문은 더 빠르게, 복잡한 주제는 더 엄밀하게 분석하도록 조정됐다고 밝힌다 .

이는 단순히 SQL 한 줄을 출력하는 방식보다 실제 분석가의 작업 방식에 가깝다. 목표는 ‘코드를 만들기’가 아니라 기업 데이터 위에서 구조화된 조사를 수행하는 것이다.

범용 코딩 에이전트가 기업 데이터에서 흔들리는 지점

전통적인 코딩 에이전트는 코드 생성과 수정에 강하다. SQL, 노트북, 대시보드, 데이터 파이프라인 작업에서 유용할 수 있다. 하지만 기업 분석에는 별도의 맥락 격차가 있다. 모델이 코드 문법만 아는 것이 아니라, 비즈니스 정의와 관리되는 데이터 자산, 지표의 의미를 알아야 하기 때문이다.

Databricks 기반 에이전틱 분석 가이드는 LLM이 SQL을 작성할 때 이런 맥락 격차에 직접 부딪히며, 명시적인 비즈니스 정의가 없으면 테이블을 환각할 수 있다고 지적한다 . 핵심 위험은 여기에 있다. 생성된 쿼리가 그럴듯하고 문법적으로 맞아 보여도, 실제로는 엉뚱한 테이블이나 잘못된 지표 로직을 가리킬 수 있다.

Genie의 정확도 주장은 이 격차를 줄이는 데서 나온다. Databricks는 정확도 향상을 데이터 에이전트에 특화된 기법 덕분으로 설명하고, 외부 보도도 Genie가 전문화된 검색, 병렬적 사고, 다중 LLM 설계를 활용한다고 설명한다 . 이런 기법은 단순 코드 생성보다 맥락 검색, 데이터 기반 추론, 결과 설명이 중요한 기업 분석 워크플로를 겨냥한다.

90%라는 숫자는 의미 있지만, 만능 보증은 아니다

비교에서 가장 눈에 띄는 수치는 Databricks가 공개한 ‘90% 이상 대 32%’다. Databricks는 실제 데이터 분석 작업으로 구성한 내부 벤치마크에서 Genie가 선도적 코딩 에이전트보다 높은 정확도를 보였다고 밝혔다 . 이는 데이터 에이전트가 전문화된 맥락과 추론 능력을 가져야 한다는 Databricks의 주장을 뒷받침하는 근거로 볼 수 있다.

하지만 한계도 분명하다. 이 벤치마크는 Databricks 내부 실험이며, Databricks가 직접 보고한 결과다 . 따라서 모든 조직에서 같은 정확도가 나온다고 받아들이기는 어렵다. 실제 성능은 각 조직이 Genie 공간을 얼마나 잘 구성했는지, 지표 정의가 얼마나 명확한지, 샘플 쿼리와 텍스트 지침이 얼마나 충실한지, 피드백 루프가 작동하는지에 달려 있다 .

데이터 품질 문제도 피할 수 없다. Databricks에서 의미 계층을 운영화하는 방법을 다룬 해설은 기본 테이블이나 모델이 부실하면 Genie 성능도 떨어질 수 있다는, 이른바 ‘garbage in, garbage out’ 문제를 지적한다 . 또 다른 개요 역시 Genie는 기반 데이터 모델이 비즈니스 정의, 관계, 신뢰할 수 있는 지표를 잘 담고 있을수록 더 가치가 커진다고 설명한다 .

Genie가 코딩 에이전트보다 유리한 경우

Genie는 일반 프로그래밍 도구라기보다 비즈니스 분석 질문에 맞는 도구에 가깝다. 특히 다음 조건에 가까울수록 강점이 커진다.

• 도메인 전문가가 관련 Genie 공간에 데이터셋, 샘플 쿼리, 지침을 설정해둔 경우
• 조직 안에 명확한 지표 정의와 신뢰할 수 있는 데이터 모델이 있는 경우
• 답변이 올바른 테이블, 대시보드, 노트북, 문서를 찾는 일에 달려 있는 경우
• 원인 분석이나 시나리오 검토처럼 여러 단계의 조사가 필요한 경우
• 팀이 답변 품질을 지속적으로 모니터링하고 피드백으로 공간을 개선하는 경우

반대로 범용 코딩 에이전트가 더 적합한 영역도 있다. 소프트웨어 엔지니어링 전반, 데이터 파이프라인 구현, 일반적인 노트북 편집, 코드 리팩터링처럼 ‘코드를 잘 쓰는 능력’ 자체가 중심인 작업에서는 코딩 에이전트가 더 알맞을 수 있다.

실무자가 가져갈 결론

Databricks Genie가 전통적인 코딩 에이전트보다 기업 데이터 질문에서 더 정확할 수 있는 이유는 기업 분석을 코드 문제가 아니라 맥락과 추론 문제로 다루기 때문이다. 조직별 용어, 도메인 전문가의 설정, 데이터 자산 검색, 분석가식 다단계 조사를 결합해 ‘그럴듯하지만 틀린 답’의 가능성을 줄이려는 구조다 .

다만 Genie가 전문화된 도구라고 해서 자동으로 정확한 것은 아니다. 가장 강한 정확도 주장은 Databricks의 내부 벤치마크에서 나온 것이며, 실제 결과는 데이터 품질, 의미 모델, 지표 정의, 지속적인 피드백 체계에 크게 좌우된다 . 도입을 검토하는 팀이라면 먼저 자사에서 정답을 알고 있는 질문, 공식 지표, 중요 의사결정 워크플로를 기준으로 테스트해야 한다.