Akamai Valkey Managed Database, 기업용 AI의 실시간 메모리 계층을 겨냥하다

대규모언어모델(LLM)을 한 번 호출하는 것만으로는 실제 AI 서비스를 운영할 수 없다. 기업용 AI 비서, 검색증강생성(RAG) 시스템, 자율형 에이전트는 대화 맥락과 임베딩, 검색 결과, 세션 상태를 빠르게 불러오고 여러 단계의 작업 상태를 이어가야 한다.

Akamai는 이 ‘운영 메모리’ 역할을 겨냥해 Valkey Managed Database를 공개했다. 오픈소스 Valkey 생태계를 기반으로 한 완전 관리형 인메모리 데이터 플랫폼으로, 자주 사용하는 AI 데이터를 애플리케이션과 추론 리소스 가까이에 두는 것이 핵심이다. Akamai는 2026년 8월 18일 서비스를 발표했으며, 현재 기술 문서상으로는 로스앤젤레스에서 제한적 이용 가능성(limited availability) 형태로 제공되고 있다.

AI 애플리케이션에 ‘실시간 메모리’가 필요한 이유

AI 서비스의 응답 속도는 모델 자체의 처리 시간뿐 아니라 모델이 참고할 데이터를 가져오는 데 걸리는 시간에도 좌우된다. 중앙 집중형 구조에서는 사용자 가까이에서 추론을 수행하더라도 대화 기록이나 임베딩을 먼 데이터베이스에서 반복적으로 조회해야 할 수 있다. 이때 네트워크 왕복이 늘어나면서 전체 응답 경로가 길어진다.

Akamai의 문서는 Valkey Managed Database의 주요 용도로 벡터 검색 결과, AI 비서의 대화 맥락, 임베딩 캐시, 에이전트 세션 상태, 검색 파이프라인을 제시한다. 모두 데이터베이스 지연시간에 민감한 작업이다.

이는 Akamai가 추진해 온 Inference Cloud 전략과도 맞닿아 있다. Akamai Inference Cloud는 2025년 10월 공개된 분산형 AI 추론 플랫폼으로, 사용자와 디바이스 가까이에서 에이전트형 AI 추론을 수행하는 것을 목표로 한다. 추론을 엣지에 가깝게 옮겼다면, 추론에 필요한 자주 쓰는 데이터 역시 같은 분산 구조 안에 두는 편이 자연스럽다.

Valkey가 줄이려는 지연시간과 비용

프롬프트·임베딩 캐싱

캐시는 애플리케이션이 같은 작업을 반복하지 않도록 도와준다. 정확한 프롬프트 캐싱은 동일한 요청의 결과를 저장해 재사용하는 방식이다. 반면 시맨틱 캐싱은 벡터 유사도를 이용해 표현은 다르지만 의미가 비슷한 요청을 찾아 기존 결과를 재활용한다. 일반적인 흐름은 새 질의를 임베딩한 뒤 캐시에서 유사 요청을 검색하고, 유효한 결과가 없을 때만 모델을 호출하는 방식이다.

캐시 적중률이 높은 업무라면 모델 호출 횟수와 응답 시간을 함께 줄일 수 있다. 다만 효과는 캐시 적중률, 데이터 최신성 요구, 캐시 무효화 정책, 모델 워크플로에 따라 달라진다. 캐싱이 검색이나 추론을 모든 상황에서 대체하는 것은 아니다.

RAG를 위한 네이티브 벡터 검색

RAG 시스템은 문서와 사용자 질의를 임베딩으로 변환한 다음, 서로 가까운 벡터를 검색해 관련 문맥을 모델에 전달한다. Valkey는 벡터 검색 워크플로를 지원하므로 키-값 데이터, 캐시 콘텐츠, 벡터 검색을 하나의 인메모리 운영 계층에서 처리할 수 있다.

일부 애플리케이션에서는 이 구조가 검색 경로를 단순화하고 별도의 벡터 데이터베이스를 운영해야 할 필요를 줄일 수 있다. 그렇다고 모든 RAG 시스템이 전문 벡터 데이터베이스를 포기해야 한다는 의미는 아니다. 데이터 규모, 내구성, 필터링, 인덱싱, 일관성 요구사항에 따라 적합한 아키텍처는 달라진다.

다단계 AI 에이전트를 위한 상태 저장

AI 에이전트는 대개 한 번의 모델 요청으로 끝나지 않는다. 대화를 기억하고, 도구 실행 결과를 보존하며, 작업 진행 상황을 추적하고, 중단된 지점의 체크포인트에서 다시 시작해야 한다.

Valkey의 인메모리 자료구조와 벡터 저장 기능은 이런 작업을 위한 빠른 작업 메모리 계층으로 활용될 수 있다. Valkey는 세션 저장소와 기타 실시간 워크로드에도 사용되는 것으로 문서화돼 있다.

여기서 중요한 구분은 모델 호출과 그 주변의 애플리케이션이다. Valkey가 에이전트의 추론 능력을 제공하거나 올바른 행동을 보장하는 것은 아니다. 대신 여러 모델·도구 호출을 조정하는 애플리케이션이 빠르게 접근할 수 있는 상태 정보를 제공하는 역할을 한다.

‘관리형’ 서비스가 기업에 의미하는 것

Valkey를 직접 운영하려면 인스턴스 프로비저닝, 복제와 장애 조치 설정, 성능 모니터링, 업데이트, 용량 확장, 가용성 계획이 필요하다. Akamai의 관리형 서비스는 이런 데이터베이스 운영 업무를 플랫폼 측으로 넘기고, 개발자가 Valkey를 직접 구축하는 대신 서비스로 이용하도록 설계됐다. Akamai는 이를 운영 복잡성을 낮추고 서비스 도입까지 걸리는 시간을 줄이는 완전 관리형 고성능 플랫폼으로 설명한다.

이는 기업용 AI 팀에 중요한 선택지다. 관리형 데이터베이스는 인프라 운영 부담을 줄일 수 있지만, 데이터 보존 기간, 캐시 무효화, 접근 제어, 내구성, 관측성, 복구 정책까지 자동으로 해결해 주는 것은 아니다. 실제 서비스에서는 이런 정책을 별도로 설계해야 한다.

Akamai Inference Cloud와 어떻게 결합되나

Akamai Inference Cloud가 분산형 AI 전략의 컴퓨팅·라우팅 계층이라면, Valkey Managed Database는 그 옆에서 애플리케이션 상태와 검색 데이터를 담당하는 메모리·데이터 계층이다.

의도된 구조는 다음과 같이 정리할 수 있다.

1. 추론 리소스가 사용자와 데이터에 가까운 위치에서 모델 워크로드를 실행한다.
2. Valkey가 자주 접근하는 문맥, 임베딩, 캐시 결과, 세션 상태를 메모리에 저장한다.
3. 벡터 검색이 RAG와 시맨틱 캐싱에 필요한 의미 기반 검색을 지원한다.
4. 관리형 운영이 데이터 계층의 배포와 확장, 가용성 유지에 필요한 작업을 줄인다.

Akamai는 분산 AI 인프라를 확대하기 위해 수천 개의 NVIDIA Blackwell GPU를 배치하겠다고 발표했으며, 네트워크 전반의 지능형 라우팅을 통해 중앙 데이터센터에서 발생하는 지연시간과 데이터 이그레스 문제를 줄이겠다는 구상을 제시했다. Valkey는 이 컴퓨팅 계층을 대체하는 제품이 아니라, 저지연 추론을 둘러싼 데이터 경로를 개선하는 구성 요소에 가깝다.

Akamai 클라우드 전략에서의 의미

이번 출시는 Akamai가 콘텐츠 전송과 보안 중심의 사업에서 컴퓨팅, 데이터 서비스, 엣지 실행, 보호 기능을 결합한 분산 클라우드 스택으로 영역을 넓히려는 흐름을 보여준다.

사업 측면에서도 클라우드 인프라가 성장 영역으로 부상하고 있다. Akamai의 클라우드 인프라 서비스 매출은 2026년 2분기 9,900만 달러로 전년 동기 대비 39% 증가했다. 또한 회사는 2026년 1분기 실적 발표에서 한 선도 프런티어 모델 제공업체가 클라우드 인프라 서비스에 7년간 18억 달러를 약정했다고 밝혔다.

다만 이 약정은 Valkey에만 해당하는 계약으로 해석해서는 안 된다. Akamai의 분산 AI 로드맵 전체가 이미 광범위하게 배포됐다는 증거로 확대해석하는 것도 주의해야 한다.

Akamai가 Valkey를 선택한 이유

Valkey는 Redis에서 분기한 오픈소스 커뮤니티 주도 인메모리 키-값 데이터베이스다. Redis 프로토콜과 자료구조와의 호환성을 유지하면서 캐싱과 기타 실시간 워크로드를 지원하는 것을 목표로 한다.

Akamai 입장에서는 Redis 스타일의 캐싱과 세션 저장에 익숙한 개발자에게 친숙한 고성능 데이터 모델을 제공하면서, 오픈소스 생태계에 기반한 서비스를 구축할 수 있다. 동시에 시맨틱 캐싱과 벡터 검색 같은 AI 활용 사례로 확장할 기반도 마련할 수 있다.

그러나 Valkey가 모든 데이터베이스 범주를 대체하는 범용 데이터베이스라는 뜻은 아니다. 트랜잭션 처리, 장기 보관, 대규모 분석 등은 여전히 각 워크로드에 맞는 별도 데이터 시스템이 필요할 수 있다.

결론: AI의 ‘두뇌’ 옆에 붙는 빠른 작업 기억

Valkey Managed Database는 Akamai의 분산 AI 아키텍처에서 메모리와 검색을 담당하는 계층으로 보는 것이 가장 정확하다. 핵심 제안은 단순하다. 자주 쓰는 AI 데이터를 메모리에 저장하고, 추론 및 사용자와 가까운 위치에 배치하며, 재사용 가능한 결과는 캐시하고, 벡터 기반 검색을 지원하며, 데이터베이스 운영은 관리형 서비스로 넘기는 것이다.

주요 대상은 지연시간에 민감한 AI 비서, RAG 파이프라인, 시맨틱 캐싱, 상태를 유지하는 에이전트다. 이번 출시는 Akamai의 엣지 추론 전략과 그에 필요한 데이터 인프라를 연결했다는 점에서 의미가 있다.

다만 현재 제품은 제한적 이용 가능성으로 안내되고 있다. 정확한 글로벌 적용 범위, 채널 파트너를 통한 이용 가능 여부, 향후 추가 지역에 대한 구체적인 내용은 별도의 제품 문서나 파트너 발표가 확인되기 전까지 확정된 사실로 보기 어렵다.