AMD의 출시는 솔직히 재앙에 가까웠다. MI355X는 출시 당일 FP8만 실행할 수 있었고(네이티브 FP4+FP8 체크포인트는 사용 불가), 8K/1K 워크로드에서 GPU당 고작 20.4 tok/s, 사용자당 2.4 tok/s라는 초라한 성능을 보였다 . ROCm 스택은 최적화どころか ‘임시 방편’ 수준이었다.

AMD의 110.5배 반전: 소프트웨어 질주

이후 펼쳐진 이야기는 최근 AI 인프라 역사에서 가장 극적인 소프트웨어 기반 성능 회복이다. 26일 동안, HaiShaw가 기술적으로 이끄는 AMD SGLang 엔지니어링 팀은 amd/deepseek_v4 사이드 브랜치에 **31건의 성능 최적화 풀 리퀘스트(PR)**를 병합했다 . 각 PR은 이 규모의 MoE 모델로는 사실상 테스트된 적이 없었던 ROCm 스택의 각 계층을 집중 공략했다.

26일 차인 5월 20일, MI355X는 8K/1K 워크로드에서 GPU당 2,256 tok/s, 사용자당 9.4 tok/s를 달성하며 GPU당 처리량을 110.5배 향상시켰고, 동시에 사용자 반응 속도는 3.85배 개선됐다 . 일반적으로 두 지표는 상충 관계에 있지만, 이번 최적화는 두 마리 토끼를 모두 잡은 드문 사례다.

인퍼런스X의 비슷한 반응 속도 지점에서 비교하면, 26일 차 MI355X는 약 1,411 tok/s/GPU를 기록하며 낮은 반응 속도 설정에서 엔비디아 B200과 동급 경쟁을 펼쳤다 . 여전히 최적 조건에서 최대 11,474 tok/s/GPU에 도달하는 엔비디아 GB300 NVL72에는 미치지 못하지만, MI355X가 작동 불가 수준에서 실용적인 추론 제품(SKU)으로 거듭난 궤적 자체가 중요하다 .

43일 차 전체 순위표

100만 토큰당 비용은 경제성을 잘 보여준다. 낮은 반응 속도(동시 접속자 많음) 환경에서 GB300 NVL72는 토큰당 $0.064/M tok으로 MI355X($0.291/M tok)보다 약 4.5배 저렴하다 . 반응 속도가 높아질수록(동시 접속자 감소, 개인 속도 향상) MI355X는 B200과 비용 경쟁력을 갖추며, 두 제품 모두 동시 사용자 23~24명 수준에서 약 $1.22–$1.45/M tok를 기록한다 .

진정한 동력: DeepSeek V4의 하이브리드 어텐션 구조

벤치마크 수치는 인상적이지만, DeepSeek의 구조적 혁신이 없었다면 경제적 의미는 없었을 것이다. 표준 트랜스포머 어텐션은 컨텍스트 길이에 따라 계산량이 제곱(quadratic)으로 증가한다. 100만 토큰에서는 연산 및 메모리 비용이 너무 커져 어떤 하드웨어로도 경제적인 서비스가 불가능하다. DeepSeek V4는 표준 어텐션을 서로 다른 두 메커니즘의 하이브리드로 대체했다.

**압축 희소 어텐션(CSA, Compressed Sparse Attention)**은 세밀한 수준에서 작동한다. 대략 4개의 토큰을 데이터 의존적 가중치와 중첩 윈도우를 사용한 학습된 KV 항목 하나로 그룹화한 후, 희소 선택(sparse selection)을 적용한다. 각 쿼리는 ‘라이트닝 인덱서(Lightning Indexer)’라는 구성 요소에 의해 색인된, 가장 관련성 높은 압축 항목들(top-k)에만 주목한다 . 로컬 정밀도를 유지하기 위해 슬라이딩 윈도우 어텐션 분기가 함께 작동한다 .

**고압축 어텐션(HCA, Heavily Compressed Attention)**은 더 거친 수준의 베팅을 한다. 최대 128개의 토큰을 단일 KV 항목으로 압축하고, 이 고압축된 스트림 전체에 조밀 어텐션(dense attention)을 적용한다 . 정밀한 검색보다는 거의 제로에 가까운 추가 비용으로 포괄적인 전역 문맥을 제공하는 데 초점을 맞춘다. HCA는 초기 레이어에서 저렴한 문맥 파노라마를 제공하고, 마지막 레이어는 최대 정밀도를 위해 전체 어텐션을 유지한다 .

이러한 결합 효율성은 기존 모델 대비 압도적이다.

• 토큰당 추론 FLOPs: V3.2 대비 27% (73% 감소)
• KV 캐시 메모리: V3.2 대비 약 10% (약 90% 감소)
• GQA bfloat16 베이스라인 대비: 약 2% 수준의 캐시 사용량

더 작은 V4 Flash 모델에서는 이 수치가 더 낮아져 각각 10%와 7%까지 떨어진다 .

CSA와 HCA가 없었다면, 100만 컨텍스트의 1.6조 매개변수 Pro 모델은 과학 실험에 불과했을 것이다. 그러나 이제는 상용 제품이 되었다.

이것이 의미하는 바

세미애널리시스의 43일 데이터는 세 가지 이야기를 동시에 들려준다. 첫째, 엔비디아의 생태계 우위는 여전히 구조적으로 막강하다: CUDA는 매번 데이 제로에 완벽히 작동하며, 하드웨어 자체도 진정으로 앞서 있다. 둘째, 화웨이는 소프트웨어 준비도 격차를 완전히 해소했다. 이는 지정학적 파장을 가져올 역사적 전환점이며, 그 영향력은 다음 하드웨어 세대에서 본격화될 것이다. 셋째, AMD의 하드웨어는 충분히 경쟁력 있지만, ROCm 소프트웨어 스택이 여전히 병목 현상을 일으키며 새로운 프론티어 모델이 나올 때마다 영웅적인 엔지니어링 노력이 필요하다는 점을 보여준다. 26일 만의 110.5배 성능 향상은 인상적이지만, 원래 필요하지 않았어야 할 일이다.

더 큰 그림은 아키텍트들의 것이다. DeepSeek의 CSA + HCA 하이브리드 어텐션은 효율성을 개선하는 것을 넘어, 상업적으로 서비스 가능한 범위 자체를 근본적으로 바꿔놓았다. 100만 토큰 컨텍스트의 1.6조 매개변수 모델을 올바른 하드웨어에서 100만 토큰당 수 센트(단위: 달러)로 서비스할 수 있다면, 대화의 초점은 ‘우리가 이걸 할 수 있을까?’에서 ‘이걸로 무엇을 만들까?’로 이동한다.

AMD의 출시는 솔직히 재앙에 가까웠다. MI355X는 출시 당일 FP8만 실행할 수 있었고(네이티브 FP4+FP8 체크포인트는 사용 불가), 8K/1K 워크로드에서 GPU당 고작 20.4 tok/s, 사용자당 2.4 tok/s라는 초라한 성능을 보였다 . ROCm 스택은 최적화どころか ‘임시 방편’ 수준이었다.

AMD의 110.5배 반전: 소프트웨어 질주

이후 펼쳐진 이야기는 최근 AI 인프라 역사에서 가장 극적인 소프트웨어 기반 성능 회복이다. 26일 동안, HaiShaw가 기술적으로 이끄는 AMD SGLang 엔지니어링 팀은 amd/deepseek_v4 사이드 브랜치에 **31건의 성능 최적화 풀 리퀘스트(PR)**를 병합했다 . 각 PR은 이 규모의 MoE 모델로는 사실상 테스트된 적이 없었던 ROCm 스택의 각 계층을 집중 공략했다.

26일 차인 5월 20일, MI355X는 8K/1K 워크로드에서 GPU당 2,256 tok/s, 사용자당 9.4 tok/s를 달성하며 GPU당 처리량을 110.5배 향상시켰고, 동시에 사용자 반응 속도는 3.85배 개선됐다 . 일반적으로 두 지표는 상충 관계에 있지만, 이번 최적화는 두 마리 토끼를 모두 잡은 드문 사례다.

인퍼런스X의 비슷한 반응 속도 지점에서 비교하면, 26일 차 MI355X는 약 1,411 tok/s/GPU를 기록하며 낮은 반응 속도 설정에서 엔비디아 B200과 동급 경쟁을 펼쳤다 . 여전히 최적 조건에서 최대 11,474 tok/s/GPU에 도달하는 엔비디아 GB300 NVL72에는 미치지 못하지만, MI355X가 작동 불가 수준에서 실용적인 추론 제품(SKU)으로 거듭난 궤적 자체가 중요하다 .

43일 차 전체 순위표

100만 토큰당 비용은 경제성을 잘 보여준다. 낮은 반응 속도(동시 접속자 많음) 환경에서 GB300 NVL72는 토큰당 $0.064/M tok으로 MI355X($0.291/M tok)보다 약 4.5배 저렴하다 . 반응 속도가 높아질수록(동시 접속자 감소, 개인 속도 향상) MI355X는 B200과 비용 경쟁력을 갖추며, 두 제품 모두 동시 사용자 23~24명 수준에서 약 $1.22–$1.45/M tok를 기록한다 .

진정한 동력: DeepSeek V4의 하이브리드 어텐션 구조

벤치마크 수치는 인상적이지만, DeepSeek의 구조적 혁신이 없었다면 경제적 의미는 없었을 것이다. 표준 트랜스포머 어텐션은 컨텍스트 길이에 따라 계산량이 제곱(quadratic)으로 증가한다. 100만 토큰에서는 연산 및 메모리 비용이 너무 커져 어떤 하드웨어로도 경제적인 서비스가 불가능하다. DeepSeek V4는 표준 어텐션을 서로 다른 두 메커니즘의 하이브리드로 대체했다.

**압축 희소 어텐션(CSA, Compressed Sparse Attention)**은 세밀한 수준에서 작동한다. 대략 4개의 토큰을 데이터 의존적 가중치와 중첩 윈도우를 사용한 학습된 KV 항목 하나로 그룹화한 후, 희소 선택(sparse selection)을 적용한다. 각 쿼리는 ‘라이트닝 인덱서(Lightning Indexer)’라는 구성 요소에 의해 색인된, 가장 관련성 높은 압축 항목들(top-k)에만 주목한다 . 로컬 정밀도를 유지하기 위해 슬라이딩 윈도우 어텐션 분기가 함께 작동한다 .

**고압축 어텐션(HCA, Heavily Compressed Attention)**은 더 거친 수준의 베팅을 한다. 최대 128개의 토큰을 단일 KV 항목으로 압축하고, 이 고압축된 스트림 전체에 조밀 어텐션(dense attention)을 적용한다 . 정밀한 검색보다는 거의 제로에 가까운 추가 비용으로 포괄적인 전역 문맥을 제공하는 데 초점을 맞춘다. HCA는 초기 레이어에서 저렴한 문맥 파노라마를 제공하고, 마지막 레이어는 최대 정밀도를 위해 전체 어텐션을 유지한다 .

이러한 결합 효율성은 기존 모델 대비 압도적이다.

• 토큰당 추론 FLOPs: V3.2 대비 27% (73% 감소)
• KV 캐시 메모리: V3.2 대비 약 10% (약 90% 감소)
• GQA bfloat16 베이스라인 대비: 약 2% 수준의 캐시 사용량

더 작은 V4 Flash 모델에서는 이 수치가 더 낮아져 각각 10%와 7%까지 떨어진다 .

CSA와 HCA가 없었다면, 100만 컨텍스트의 1.6조 매개변수 Pro 모델은 과학 실험에 불과했을 것이다. 그러나 이제는 상용 제품이 되었다.

이것이 의미하는 바

세미애널리시스의 43일 데이터는 세 가지 이야기를 동시에 들려준다. 첫째, 엔비디아의 생태계 우위는 여전히 구조적으로 막강하다: CUDA는 매번 데이 제로에 완벽히 작동하며, 하드웨어 자체도 진정으로 앞서 있다. 둘째, 화웨이는 소프트웨어 준비도 격차를 완전히 해소했다. 이는 지정학적 파장을 가져올 역사적 전환점이며, 그 영향력은 다음 하드웨어 세대에서 본격화될 것이다. 셋째, AMD의 하드웨어는 충분히 경쟁력 있지만, ROCm 소프트웨어 스택이 여전히 병목 현상을 일으키며 새로운 프론티어 모델이 나올 때마다 영웅적인 엔지니어링 노력이 필요하다는 점을 보여준다. 26일 만의 110.5배 성능 향상은 인상적이지만, 원래 필요하지 않았어야 할 일이다.

더 큰 그림은 아키텍트들의 것이다. DeepSeek의 CSA + HCA 하이브리드 어텐션은 효율성을 개선하는 것을 넘어, 상업적으로 서비스 가능한 범위 자체를 근본적으로 바꿔놓았다. 100만 토큰 컨텍스트의 1.6조 매개변수 모델을 올바른 하드웨어에서 100만 토큰당 수 센트(단위: 달러)로 서비스할 수 있다면, 대화의 초점은 ‘우리가 이걸 할 수 있을까?’에서 ‘이걸로 무엇을 만들까?’로 이동한다.