Kog AI, 커스텀 실리콘 없이 표준 GPU에서 초당 3,000 토큰 처리…업계 패러다임 전환 예고

'30배 빠르다'는 주장은 고급 GPU에서 2B8B 모델의 일반적인 디코딩 속도(초당 100300토큰)와 Kog의 초당 3,000토큰을 비교한 수치다 .

기술 프리뷰 결과: 인상적이지만 명확한 한계

결과:

• 단일 8× AMD MI300X 노드에서 Laneformer 2B 모델(FP16, 배치 크기 1, 추측 디코딩 없음) 기준 요청당 초당 3,000개 이상의 출력 토큰 처리
• 동일 조건에서 8× NVIDIA H200에서는 요청당 초당 2,100개 출력 토큰 처리
• 실시간 대화형 사용이 가능할 정도로 낮은 단일 사용자 지연 시간 (데모: playground.kog.ai)
• Laneformer 2B 모델은 Greedy Decoding 기준 HumanEval+ 45.1%, MBPP+ 51.6% 기록

한계:

• 프리뷰는 2.3B 매개변수 모델(Laneformer 2B) 에서만 실행됐다. 더 큰 모델은 시연되지 않았다 .
• 단일 요청, 단일 사용자 환경이며, 멀티유저 생산 서비스 환경(배치 처리)이나 동시 부하 상태의 처리량은 공개되지 않았다 .
• AMD MI300X와 NVIDIA H200 두 가지 GPU 유형만 지원한다 .
• 회사 규모는 11명에 불과해 야망에 비해 매우 작은 팀이다 .

타겟 사용 사례 및 초기 비즈니스 성과

Kog는 세 가지 주요 시나리오를 겨냥한다:

• AI 에이전트 워크플로우 — 회사는 GPU가 반복적이고 저지연성을 요구하는 AI 에이전트에 부적합하다는 인식이 잘못됐으며, 자사 엔진이 이 문제를 해결한다고 주장한다 .
• 실시간 LLM 추론 — 코딩 코파일럿, 챗봇 등 토큰당 100ms 미만의 지연 시간이 중요한 애플리케이션 .
• 자체 호스팅 엔터프라이즈 추론 — 이미 데이터센터 GPU를 보유하고 있으며, 전용 추론 하드웨어 구매를 원하지 않는 기업 .

비즈니스 측면에서 Kog는 2026년 8월 기준 200개 이상의 실질적인 비즈니스 리드를 확보했다고 CEO Delalleau가 밝혔다 . 기술 프리뷰는 2026년 5월 Hacker News 첫 페이지에 오르기도 했다 . 회사는 Varsity VC가 공동 주도한 시드 라운드 투자를 유치했다 (파트너 Kamel Zeroual은 Delalleau의 첫 스타트업 Stribe의 공동 창업자) .

고체 물리학자 출신 해커 CEO의 방법론

CEO Gaël Delalleau는 AI 인프라 분야에서는 보기 드문 이색적인 배경을 가지고 있다: 고체 물리학과 공격적 사이버 보안 .

• 고체 물리학은 물리적 하드웨어(전자, 메모리 대역폭, 트랜지스터 수준 제약)가 저수준에서 어떻게 작동하는지 첫 번째 원리부터 추론하도록 훈련시켰다. 그의 팀은 GPU 최적화를 소프트웨어 공학 문제가 아닌 물리학 문제로 접근한다 .
• 공격적 사이버 보안은 적대적 역공학 사고방식을 심어주었다. Kog 엔진은 GPU를 어셈블리 및 바이너리 수준에서 분석하여 표준 드라이버나 라이브러리가 노출하지 않는 숨겨진 성능 여유 공간을 찾아낸다. 이는 하드웨어 성능 최적화에 '공격자 사고방식'을 적용한 전형적인 사례다 .
• Delalleau는 전통적인 ML 연구자가 아니다. 그의 첫 스타트업(Stribe, 2009 TechCrunch50 출신)은 AI와 무관했다. 그는 스스로를 첫 번째 원리부터 생각하는 사람이자, 하드웨어 위에서 알고리즘을 설계하는 인물로 묘사한다 .

확장 과제: 팀 규모, 칩 지원, 모델 규모

Kog가 직면한 세 가지 주요 확장 걸림돌:

• 팀 규모: 단 11명의 직원으로, 수작업으로 고도로 최적화된 모노커널을 새로운 GPU 아키텍처로 포팅하는 것은 노동 집약적이다 .
• 신규 칩 지원: 엔진은 현재 AMD MI300X와 NVIDIA H200만 지원한다. 각각의 새 GPU는 어셈블리 수준에서 수동 역공학이 필요하다. CEO Delalleau는 이것이 병목 현상임을 인정하지만, 더 높은 메모리 대역폭을 가진 최신 GPU 아키텍처가 더 쉬운 목표가 될 것이라고 기대한다 .
• 모델 규모: 2B 모델에서 70B+ 풀스케일 LLM으로의 확장은 Delalleau가 표현한 대로 '거대한 도약' 이다. 소형 모델에 효과적인 기술이 훨씬 더 큰 메모리와 컴퓨트 풋프린트에 쉽게 적용되지 않을 수 있다 .

성패를 가를 이정표: 대형 언어 모델

Kog의 다음 중요한 이정표는 대형 언어 모델(70B+ 매개변수)에서 자체 접근 방식이 작동함을 입증하는 것이다. CEO Delalleau는 회사가 현재 기술을 풀스케일 LLM으로 확장하는 데 집중하고 있다고 밝혔다. 자신감의 근원은 표준 소프트웨어 스택이 여전히 근본적으로 활용하지 못하는 훨씬 더 높은 메모리 대역폭을 제공하는 최신 GPU 아키텍처에 있다 . 회사는 구체적인 일정을 발표하지 않았지만, 이 데모는 Kog의 전체 기술 철학이 옳음을 증명할 '성패를 가를' 결정적 증거로 널리 간주된다.