소프트웨어 대 실리콘: 맞춤형 하드웨어에 도전하는 Kog의 베팅

Cerebras는 웨이퍼 스케일의 전용 칩을, Groq과 SambaNova도 자체 하드웨어를 구축한다. Kog는 정반대의 길을 택했다. 즉, 기존 GPU에는 비효율적인 소프트웨어 스택 때문에 활용되지 않는 막대한 성능 여력이 있으며, 깊은 수준의 소프트웨어 최적화만으로 새로운 칩 없이도 전용 하드웨어 속도에 필적하거나 능가할 수 있다는 것이다 .

핵심 혁신은 모노커널(monokernel) 이다. 이는 지속적으로 GPU에 상주하는 단일 프로그램으로, LLM 디코드 과정(프리필, 디코드, LM-헤드 샘플링) 전체를 한 번에 실행하여 표준 스택에서 문제가 되는 토큰당 커널 실행 오버헤드를 제거한다 . 표준 추론 프레임워크(vLLM, SGLang, TensorRT-LLM 등)는 토큰당 하나의 GPU 커널을 실행하며, 각각 약 4.5μs의 실행 오버헤드와 HBM 재시작 지연 시간이 발생한다 . Kog의 엔진은 표준 통신 라이브러리를 우회하고, 토큰 생성 시간의 35%를 소비하는 그리드 동기화(grid synchronization)를 완전히 제거했다 .

'30배 빠르다'는 주장은 고급 GPU에서 2B8B 모델의 일반적인 디코딩 속도(초당 100300토큰)와 Kog의 초당 3,000토큰을 비교한 수치다 .

기술 프리뷰 결과: 인상적이지만 명확한 한계

결과:

• 단일 8× AMD MI300X 노드에서 Laneformer 2B 모델(FP16, 배치 크기 1, 추측 디코딩 없음) 기준 요청당 초당 3,000개 이상의 출력 토큰 처리
• 동일 조건에서 8× NVIDIA H200에서는 요청당 초당 2,100개 출력 토큰 처리
• 실시간 대화형 사용이 가능할 정도로 낮은 단일 사용자 지연 시간 (데모: playground.kog.ai)
• Laneformer 2B 모델은 Greedy Decoding 기준 HumanEval+ 45.1%, MBPP+ 51.6% 기록

한계:

• 프리뷰는 2.3B 매개변수 모델(Laneformer 2B) 에서만 실행됐다. 더 큰 모델은 시연되지 않았다 .
• 단일 요청, 단일 사용자 환경이며, 멀티유저 생산 서비스 환경(배치 처리)이나 동시 부하 상태의 처리량은 공개되지 않았다 .
• AMD MI300X와 NVIDIA H200 두 가지 GPU 유형만 지원한다 .
• 회사 규모는 11명에 불과해 야망에 비해 매우 작은 팀이다 .

타겟 사용 사례 및 초기 비즈니스 성과

Kog는 세 가지 주요 시나리오를 겨냥한다:

• AI 에이전트 워크플로우 — 회사는 GPU가 반복적이고 저지연성을 요구하는 AI 에이전트에 부적합하다는 인식이 잘못됐으며, 자사 엔진이 이 문제를 해결한다고 주장한다 .
• 실시간 LLM 추론 — 코딩 코파일럿, 챗봇 등 토큰당 100ms 미만의 지연 시간이 중요한 애플리케이션 .
• 자체 호스팅 엔터프라이즈 추론 — 이미 데이터센터 GPU를 보유하고 있으며, 전용 추론 하드웨어 구매를 원하지 않는 기업 .

비즈니스 측면에서 Kog는 2026년 8월 기준 200개 이상의 실질적인 비즈니스 리드를 확보했다고 CEO Delalleau가 밝혔다 . 기술 프리뷰는 2026년 5월 Hacker News 첫 페이지에 오르기도 했다 . 회사는 Varsity VC가 공동 주도한 시드 라운드 투자를 유치했다 (파트너 Kamel Zeroual은 Delalleau의 첫 스타트업 Stribe의 공동 창업자) .

고체 물리학자 출신 해커 CEO의 방법론

CEO Gaël Delalleau는 AI 인프라 분야에서는 보기 드문 이색적인 배경을 가지고 있다: 고체 물리학과 공격적 사이버 보안 .

• 고체 물리학은 물리적 하드웨어(전자, 메모리 대역폭, 트랜지스터 수준 제약)가 저수준에서 어떻게 작동하는지 첫 번째 원리부터 추론하도록 훈련시켰다. 그의 팀은 GPU 최적화를 소프트웨어 공학 문제가 아닌 물리학 문제로 접근한다 .
• 공격적 사이버 보안은 적대적 역공학 사고방식을 심어주었다. Kog 엔진은 GPU를 어셈블리 및 바이너리 수준에서 분석하여 표준 드라이버나 라이브러리가 노출하지 않는 숨겨진 성능 여유 공간을 찾아낸다. 이는 하드웨어 성능 최적화에 '공격자 사고방식'을 적용한 전형적인 사례다 .
• Delalleau는 전통적인 ML 연구자가 아니다. 그의 첫 스타트업(Stribe, 2009 TechCrunch50 출신)은 AI와 무관했다. 그는 스스로를 첫 번째 원리부터 생각하는 사람이자, 하드웨어 위에서 알고리즘을 설계하는 인물로 묘사한다 .

확장 과제: 팀 규모, 칩 지원, 모델 규모

Kog가 직면한 세 가지 주요 확장 걸림돌:

• 팀 규모: 단 11명의 직원으로, 수작업으로 고도로 최적화된 모노커널을 새로운 GPU 아키텍처로 포팅하는 것은 노동 집약적이다 .
• 신규 칩 지원: 엔진은 현재 AMD MI300X와 NVIDIA H200만 지원한다. 각각의 새 GPU는 어셈블리 수준에서 수동 역공학이 필요하다. CEO Delalleau는 이것이 병목 현상임을 인정하지만, 더 높은 메모리 대역폭을 가진 최신 GPU 아키텍처가 더 쉬운 목표가 될 것이라고 기대한다 .
• 모델 규모: 2B 모델에서 70B+ 풀스케일 LLM으로의 확장은 Delalleau가 표현한 대로 '거대한 도약' 이다. 소형 모델에 효과적인 기술이 훨씬 더 큰 메모리와 컴퓨트 풋프린트에 쉽게 적용되지 않을 수 있다 .

성패를 가를 이정표: 대형 언어 모델

Kog의 다음 중요한 이정표는 대형 언어 모델(70B+ 매개변수)에서 자체 접근 방식이 작동함을 입증하는 것이다. CEO Delalleau는 회사가 현재 기술을 풀스케일 LLM으로 확장하는 데 집중하고 있다고 밝혔다. 자신감의 근원은 표준 소프트웨어 스택이 여전히 근본적으로 활용하지 못하는 훨씬 더 높은 메모리 대역폭을 제공하는 최신 GPU 아키텍처에 있다 . 회사는 구체적인 일정을 발표하지 않았지만, 이 데모는 Kog의 전체 기술 철학이 옳음을 증명할 '성패를 가를' 결정적 증거로 널리 간주된다.

소프트웨어 대 실리콘: 맞춤형 하드웨어에 도전하는 Kog의 베팅

Cerebras는 웨이퍼 스케일의 전용 칩을, Groq과 SambaNova도 자체 하드웨어를 구축한다. Kog는 정반대의 길을 택했다. 즉, 기존 GPU에는 비효율적인 소프트웨어 스택 때문에 활용되지 않는 막대한 성능 여력이 있으며, 깊은 수준의 소프트웨어 최적화만으로 새로운 칩 없이도 전용 하드웨어 속도에 필적하거나 능가할 수 있다는 것이다 .

핵심 혁신은 모노커널(monokernel) 이다. 이는 지속적으로 GPU에 상주하는 단일 프로그램으로, LLM 디코드 과정(프리필, 디코드, LM-헤드 샘플링) 전체를 한 번에 실행하여 표준 스택에서 문제가 되는 토큰당 커널 실행 오버헤드를 제거한다 . 표준 추론 프레임워크(vLLM, SGLang, TensorRT-LLM 등)는 토큰당 하나의 GPU 커널을 실행하며, 각각 약 4.5μs의 실행 오버헤드와 HBM 재시작 지연 시간이 발생한다 . Kog의 엔진은 표준 통신 라이브러리를 우회하고, 토큰 생성 시간의 35%를 소비하는 그리드 동기화(grid synchronization)를 완전히 제거했다 .

'30배 빠르다'는 주장은 고급 GPU에서 2B8B 모델의 일반적인 디코딩 속도(초당 100300토큰)와 Kog의 초당 3,000토큰을 비교한 수치다 .

기술 프리뷰 결과: 인상적이지만 명확한 한계

결과:

• 단일 8× AMD MI300X 노드에서 Laneformer 2B 모델(FP16, 배치 크기 1, 추측 디코딩 없음) 기준 요청당 초당 3,000개 이상의 출력 토큰 처리
• 동일 조건에서 8× NVIDIA H200에서는 요청당 초당 2,100개 출력 토큰 처리
• 실시간 대화형 사용이 가능할 정도로 낮은 단일 사용자 지연 시간 (데모: playground.kog.ai)
• Laneformer 2B 모델은 Greedy Decoding 기준 HumanEval+ 45.1%, MBPP+ 51.6% 기록

한계:

• 프리뷰는 2.3B 매개변수 모델(Laneformer 2B) 에서만 실행됐다. 더 큰 모델은 시연되지 않았다 .
• 단일 요청, 단일 사용자 환경이며, 멀티유저 생산 서비스 환경(배치 처리)이나 동시 부하 상태의 처리량은 공개되지 않았다 .
• AMD MI300X와 NVIDIA H200 두 가지 GPU 유형만 지원한다 .
• 회사 규모는 11명에 불과해 야망에 비해 매우 작은 팀이다 .

타겟 사용 사례 및 초기 비즈니스 성과

Kog는 세 가지 주요 시나리오를 겨냥한다:

• AI 에이전트 워크플로우 — 회사는 GPU가 반복적이고 저지연성을 요구하는 AI 에이전트에 부적합하다는 인식이 잘못됐으며, 자사 엔진이 이 문제를 해결한다고 주장한다 .
• 실시간 LLM 추론 — 코딩 코파일럿, 챗봇 등 토큰당 100ms 미만의 지연 시간이 중요한 애플리케이션 .
• 자체 호스팅 엔터프라이즈 추론 — 이미 데이터센터 GPU를 보유하고 있으며, 전용 추론 하드웨어 구매를 원하지 않는 기업 .

비즈니스 측면에서 Kog는 2026년 8월 기준 200개 이상의 실질적인 비즈니스 리드를 확보했다고 CEO Delalleau가 밝혔다 . 기술 프리뷰는 2026년 5월 Hacker News 첫 페이지에 오르기도 했다 . 회사는 Varsity VC가 공동 주도한 시드 라운드 투자를 유치했다 (파트너 Kamel Zeroual은 Delalleau의 첫 스타트업 Stribe의 공동 창업자) .

고체 물리학자 출신 해커 CEO의 방법론

CEO Gaël Delalleau는 AI 인프라 분야에서는 보기 드문 이색적인 배경을 가지고 있다: 고체 물리학과 공격적 사이버 보안 .

• 고체 물리학은 물리적 하드웨어(전자, 메모리 대역폭, 트랜지스터 수준 제약)가 저수준에서 어떻게 작동하는지 첫 번째 원리부터 추론하도록 훈련시켰다. 그의 팀은 GPU 최적화를 소프트웨어 공학 문제가 아닌 물리학 문제로 접근한다 .
• 공격적 사이버 보안은 적대적 역공학 사고방식을 심어주었다. Kog 엔진은 GPU를 어셈블리 및 바이너리 수준에서 분석하여 표준 드라이버나 라이브러리가 노출하지 않는 숨겨진 성능 여유 공간을 찾아낸다. 이는 하드웨어 성능 최적화에 '공격자 사고방식'을 적용한 전형적인 사례다 .
• Delalleau는 전통적인 ML 연구자가 아니다. 그의 첫 스타트업(Stribe, 2009 TechCrunch50 출신)은 AI와 무관했다. 그는 스스로를 첫 번째 원리부터 생각하는 사람이자, 하드웨어 위에서 알고리즘을 설계하는 인물로 묘사한다 .

확장 과제: 팀 규모, 칩 지원, 모델 규모

Kog가 직면한 세 가지 주요 확장 걸림돌:

• 팀 규모: 단 11명의 직원으로, 수작업으로 고도로 최적화된 모노커널을 새로운 GPU 아키텍처로 포팅하는 것은 노동 집약적이다 .
• 신규 칩 지원: 엔진은 현재 AMD MI300X와 NVIDIA H200만 지원한다. 각각의 새 GPU는 어셈블리 수준에서 수동 역공학이 필요하다. CEO Delalleau는 이것이 병목 현상임을 인정하지만, 더 높은 메모리 대역폭을 가진 최신 GPU 아키텍처가 더 쉬운 목표가 될 것이라고 기대한다 .
• 모델 규모: 2B 모델에서 70B+ 풀스케일 LLM으로의 확장은 Delalleau가 표현한 대로 '거대한 도약' 이다. 소형 모델에 효과적인 기술이 훨씬 더 큰 메모리와 컴퓨트 풋프린트에 쉽게 적용되지 않을 수 있다 .

성패를 가를 이정표: 대형 언어 모델

Kog의 다음 중요한 이정표는 대형 언어 모델(70B+ 매개변수)에서 자체 접근 방식이 작동함을 입증하는 것이다. CEO Delalleau는 회사가 현재 기술을 풀스케일 LLM으로 확장하는 데 집중하고 있다고 밝혔다. 자신감의 근원은 표준 소프트웨어 스택이 여전히 근본적으로 활용하지 못하는 훨씬 더 높은 메모리 대역폭을 제공하는 최신 GPU 아키텍처에 있다 . 회사는 구체적인 일정을 발표하지 않았지만, 이 데모는 Kog의 전체 기술 철학이 옳음을 증명할 '성패를 가를' 결정적 증거로 널리 간주된다.