150억 투자 유치한 제너럴 컴퓨트, AI 데이터센터의 두 가지 난제를 동시에 해결할 비책은?

AI 인프라를 둘러싼 경쟁이 점점 더 거대한 모델 훈련에 집중되는 가운데, 한 신생 스타트업이 정반대의 길을 걸으며 150억 원의 투자금을 유치했습니다 . 주인공은 제너럴 컴퓨트(General Compute) 로, AI가 학습을 마치고 실제 사용자에게 답변을 생성하는 '추론(Inference)' 단계에 특화된 클라우드 서비스를 제공하는 이른바 '네오클라우드'입니다.

이들의 도전 과제는 단순히 '더 좋은 칩'을 확보하는 것이 아닙니다. 칩을 꽂을 데이터센터를 어떻게 마련할 것인지가 업계 전체의 발목을 잡고 있기 때문입니다. 제너럴 컴퓨트는 이 두 가지 문제를 하나의 하드웨어 선택으로 동시에 해결하려 합니다. 바로 공랭식 특수 목적 칩(ASIC) 입니다.

엔비디아 GPU 대신 '삼바노바'를 선택한 이유

현재 AI 가속기 시장은 엔비디아의 범용 GPU가 평정하고 있습니다. 하지만 제너럴 컴퓨트는 추론 작업에는 '전용 가속기'가 정답이라고 확신하며, 과감하게 삼바노바(SambaNova)의 신형 칩 SN50을 선택했습니다.

삼바노바가 공개한 스펙에 따르면, SN50 칩은 경쟁 가속기 대비 최대 5배 빠른 컴퓨팅 성능을 제공하며, GPU 기반 시스템과 비교해 총소유비용(TCO)을 최대 3분의 1 수준으로 낮춰줍니다 . 단순한 스펙 시트 위의 숫자가 아닌, 실제 비즈니스로 직결되는 지점입니다.

제너럴 컴퓨트의 CEO 핀 푸클로스키(Finn Puklowski) 는 SN50 칩이 초당 600~700개의 토큰을 생성할 수 있다고 밝혔습니다. 이는 GPU가 처리하는 초당 약 250 토큰의 3배에 가까운 속도입니다 . 이 차이는 밀리초 단위의 지연만으로도 전체 성능이 좌우되는 자율형 AI 에이전트 간의 실시간 협업에서 결정적인 경쟁력이 됩니다.

또한 이 선택은 단독적인 도박이 아닙니다. 엔비디아가 추론 특화 칩 스타트업 그록(Groq)을 약 26조 원(200억 달러)에 인수하고, 세레브라스(Cerebras)가 약 74조 원(570억 달러) 규모의 IPO를 진행하는 등 시장의 큰 흐름 또한 범용 GPU에서 추론 최적화 실리콘으로 이동하고 있음을 보여줍니다 .