Kog vs. GPU의 한계: 소프트웨어만으로 LLM 추론을 30배 빠르게 만드는 법

Kog는 프랑스 AI 스타트업으로, 기존 데이터센터 GPU에서 LLM 추론 속도를 최대 30배까지 높일 수 있다고 주장합니다. 이를 위해 자체 모델 아키텍처(Laneformer), 단일 커널 추론 엔진(KIE), 맞춤형 통신 라이브러리(KCCL)를 하나의 시스템으로 공동 설계하여 디코딩 루프의 모든 지연 원인을 제거하는 소프트웨어 우선 최적화 스택을 구축했습니다.

Kog는 커스텀 ASIC을 만들거나 특수 하드웨어를 도입하는 대신, 다음 세 가지 계층을 하나의 공동 설계 시스템으로 취급합니다:

• 모노커널(단일 상주 CUDA 커널): 전체 LLM 디코드 과정이 하나의 지속적인 커널로 실행됩니다. 레이어 간 커널 런칭이나 중단이 없어 GPU 런칭 오버헤드를 완전히 제거합니다.
• 지연된 텐서 병렬화(DTP): 표준 텐서 병렬화는 모든 레이어에서 all-reduce를 기다리며 차단됩니다. Kog는 각 all-reduce를 δ=2 레이어만큼 지연시켜, 통신을 연산 및 가중치 스트리밍과 겹치게 함으로써 GPU가 데이터를 기다리며 유휴 상태가 되는 것을 방지합니다.
• 레인 구조 트랜스포머 아키텍처: Laneformer는 모델을 DTP의 통신 스케줄에 맞춰 8개의 병렬 '레인'으로 나누어 엔진이 텐서 병렬화 오버헤드를 완벽하게 숨길 수 있도록 합니다.
• 맞춤형 통신 라이브러리(KCCL): 표준 NCCL/RCCL을 대체하여 GPU 간 텐서 병렬화의 지연 시간을 낮추고 선형 확장을 가능하게 합니다.
• 어셈블리 수준 최적화: Kog는 CUDA나 ROCm 위에 트윅을 쌓는 대신 C++/어셈블리 수준에서 작업하여 GPU 메모리 대역폭과 컴퓨트 활용도의 모든 사이클을 목표로 합니다.

Laneformer 2B: 입증된 결과

Kog는 디코딩 속도에 최적화된 명령어 튜닝 코딩 모델인 Laneformer 2B(2.3B 파라미터)를 오픈소스로 공개했습니다. 이 속도는 동일한 크기의 모델에 대한 일반적인 vLLM 처리량보다 약 10배 빠른 수준입니다.

지표	결과
8× AMD MI300X 디코드 속도	요청당 초당 3,000 출력 토큰 (FP16, 배치 크기 1)
8× NVIDIA H200 디코드 속도	요청당 초당 2,100 출력 토큰 (FP16, 배치 크기 1)
HumanEval+ (greedy)	45.1%
MBPP+ (greedy)	51.6%
방법	양자화 없음, 추측 디코딩 없음, 프루닝 없음

다음 이정표: 확장

Kog의 공개 기술 미리보기는 2B 모델에서 실행됩니다. 회사는 이제 기술을 대규모 모델로 확장하기 위해 경쟁하고 있습니다:

• 단기 목표: 주요 산업 규모 모델(예: 70B+ 밀집 또는 MoE)에서 10배 속도 향상을 입증하는 것입니다. 회사는 앞으로 몇 달 안에 이를 달성할 것으로 예상합니다.
• 장기 비전: 이 접근 방식이 Laneformer 2B에서 달성한 것과 유사한 속도로 대규모 프론티어 MoE 모델에서 30배 더 빠른 추론을 제공할 수 있음을 보여주는 것입니다. Kog는 DTP와 모노커널 기술이 MoE 아키텍처에 유리하게 확장된다고 공개적으로 주장해 왔습니다.
• 2026년 5월 출시 이후, Kog는 200개 이상의 실질적인 비즈니스 리드를 창출했으며, 기업 수요를 충족시키기 위해 대규모 모델 지원에 전적으로 집중하고 있습니다.

경쟁사와의 비교

ZML — 얀 르쿤(Yann LeCun)의 지지를 받는 또 다른 프랑스 AI 스타트업으로, ZML은 다른 접근 방식을 취합니다. 통합 컴파일러 기반 접근 방식을 통해 다양한 칩(NVIDIA, AMD, Google TPU, Apple Metal, Intel Arc)에서 많은 오픈소스 모델을 실행할 수 있는 무료 추론 엔진 LLMD를 출시했습니다. ZML은 극도의 단일 요청 지연 시간보다 하드웨어 이식성과 멀티 칩 지원을 우선시합니다. 반면 Kog는 특정 고급 데이터센터 GPU(MI300X, H200)에서의 최대 지연 시간 감소를 위해 심층적인 하드웨어 특화 최적화를 통해 구축되었습니다.

Cerebras — 근본적으로 하드웨어 우선 전략을 사용합니다. 웨이퍼 스케일 엔진(WSE-3)은 멀티 GPU 통신의 필요성을 없애는 거대한 단일 칩입니다. Cerebras는 WSE-3 하드웨어에서 Llama 3.1 70B(배치 1)에 대해 약 2,100토큰/초를 달성합니다 — 주목할 점은 이 속도가 2B 모델이 아닌 70B 모델에 대한 것이라는 점입니다.

차원	Kog	Cerebras
접근 방식	표준 GPU에서의 소프트웨어 전용	커스텀 웨이퍼 스케일 하드웨어
최고 데모	2B 모델에서 3,000 토큰/초	70B 모델에서 약 2,100 토큰/초
지연 시간 주장	프론티어 모델 대상 30배 목표	70B 모델에서 H100 대비 약 4배
하드웨어 비용	기존 GPU 인프라 사용	독점 CS-3 시스템 필요
성숙도	초기 단계(기술 미리보기, 2B 전용)	여러 오픈 모델에 대한 프로덕션 수준

핵심 주의사항: Kog의 3,000토큰/초 결과는 2.3B 모델에 대한 것입니다. 이는 Cerebras가 비슷한 속도로 서비스하는 70B 모델보다 한 자릿수 작은 규모입니다. Kog는 아직 대규모에서 30배 주장을 입증하지 못했습니다. 회사의 다음 이정표(대규모 산업 모델에서 10배)가 중요한 증명 지점이 될 것입니다.