10조 파라미터 모델의 규모와 현재 상황

파이낸셜 타임스(FT)의 2026년 8월 7일 보도에 따르면, 바이트댄스는 최대 10조 개의 총 파라미터를 가진 대규모 언어 모델(LLM)의 사전 학습을 시작했습니다 . 이는 중국 기업 최대 규모이며, 아직 초기 사전 학습 단계에 있어 미세 조정(Fine-tuning)과 최종 공개까지는 보통 3~6개월이 소요됩니다 . 최종 파라미터 수는 아직 확정되지 않았으며, 바이트댄스는 10조까지 학습을 진행할지 여부를 계속 평가 중입니다 . 같은 날 중국 매체 ‘레이포스트(LatePost)’의 보도에 따르면, 바이트댄스는 당초 5조 개 이상의 파라미터를 가진 모델을 논의하고 있었던 것으로 알려져 프로젝트 규모가 확장되었음을 시사합니다 . 로이터 통신은 이 FT 보도를 독자적으로 확인할 수 없었다고 밝혔습니다 .

앤트로픽 미토스 5 및 주요 모델과의 비교

바이트댄스의 10조 파라미터 목표는 업계에서 약 8조 파라미터로 추정되는 앤트로픽의 미토스 5에 근접하거나 이를 약간 웃도는 수준입니다 . 현재까지 알려진 주요 모델들의 파라미터 규모를 비교하면 다음과 같습니다.

하지만 raw 파라미터 수는 모델 성능을 직접적으로 나타내는 지표가 아닙니다. 이는 대략적인 아키텍처적 척도에 불과합니다.

중요한 전제: '총 파라미터(total parameters)'와 '활성 파라미터(active parameters)'

보고된 '10조 개의 총 파라미터'는 모델 아키텍처의 전체 파라미터 수를 의미합니다. 최신 모델들은 혼합 전문가(Mixture-of-Experts, MoE) 아키텍처를 사용하는 경우가 많습니다. 이는 추론 시 모델의 일부 파라미터만 활성화되는 방식으로, 예를 들어 총 파라미터가 10조인 모델의 경우 한 번에 활성화되는 파라미터는 1~2조에 불과할 수 있습니다. FT 보도와 이후 관련 기사들은 10조라는 숫자가 총 파라미터인지, 활성 파라미터인지, 혹은 혼합된 수치인지 명확히 밝히지 않았습니다. 따라서 타 모델과의 공정한 비교를 위해서는 이 구분이 매우 중요합니다 .

장이밍의 '안티-증류(Anti-Distillation)' 지시

바이트댄스 창업자 **장이밍(Zhang Yiming)**은 시드(Seed)팀에 이번 10조 파라미터 모델을 개발함에 있어 경쟁사의 모델 결과물을 이용한 AI 증류(AI distillation) 기술을 사용하지 말 것을 지시했습니다. 이로 인해 단기적으로 국내 경쟁사에 뒤처질지라도 말입니다 . 보도에 따르면 그는 2026년 8월 6일경 열린 경영진 회의에서 이 입장을 재확인하며, 이를 '지연된 만족(delayed gratification)'이자 독자적인 기술 역량을 구축하기 위한 장기 전략이라고 강조했습니다 . 이 결정은 틱톡을 둘러싼 바이트댄스와 미국 정부 간의 복잡한 규제 관계와, 법적 문제 및 수출 통제 리스크를 피하려는 의도에서 비롯된 측면도 있습니다 .

증류 기술은 중국 AI 연구소들이 미국의 최첨단 모델을 빠르게 모방하기 위해 널리 사용해 온 방법입니다. 장이밍의 지시는 이러한 관행에서 벗어나려는 주목할 만한 전략적 변화로 평가됩니다 .

바이트댄스 시드(Seed)팀: 규모와 리더십

바이트댄스는 2023년 초, 오픈AI의 챗GPT 등장에 대응하여 시드(Seed) 부서를 설립했습니다 . 이 10조 파라미터 모델을 개발하는 시드팀의 핵심 정보는 다음과 같습니다.

• 규모: 시드팀은 연구원, 인프라 엔지니어, 데이터 라벨링 직원 등 중국 전역에 약 2,000명의 인력을 두고 있습니다 .
• 연구 총괄: 우융후이(Wu Yonghui) — 전 구글 딥마인드 부사장 겸 구글 펠로우로, 2025년 2월 바이트댄스에 합류했습니다 .
• 파운데이션 모델 프로젝트 리드: **샹량(Xiang Liang, 项亮)**이 시드 파운데이션(Seed Foundation)을 총괄하며, 사전 학습 데이터 책임자인 **션커(Shen Ke, 沈科)**와 협업하고 있습니다 .
• 보고 체계: 우융후이는 바이트댄스 CEO **량루보(Liang Rubo)**에게 직접 보고합니다 .
• 조직 개편: 2025년, 바이트댄스는 기존의 AI 연구소와 로보틱스 팀을 시드(Seed)로 흡수하여 모든 파운데이션 모델 R&D를 하나로 통합했습니다 .

미-중 AI 경쟁의 역학 관계

바이트댄스의 10조 파라미터 프로젝트는 미국의 최첨단 연구소, 특히 앤트로픽 및 오픈AI와의 격차를 줄이기 위한 직접적인 시도로 널리 해석됩니다 . 더 넓은 맥락은 다음과 같습니다.

• 미국 정부는 첨단 AI 칩에 대한 수출 통제를 중국에 가하고 있어, 바이트댄스는 국산 또는 비축된 하드웨어에 의존해야 합니다 .
• 바이트댄스의 이번 모델을 위한 대규모 인프라 구축은 장이밍이 컴퓨팅 자원 할당을 직접 검토하는 등, 테크타임스(TechTimes)가 표현한 대로 '준군사적 규모 확장(paramilitary-style scale-up)' 의 성격을 띱니다 .
• 이 프로젝트는 중국 AI 업계가 딥시크(DeepSeek) R1(2025년 1월 출시)을 통해 칩 수출 규제 속에서도 최첨단에 필적하는 결과를 낼 수 있음을 증명한 이후 추진력을 얻었습니다 .
• 앤트로픽의 미토스 5는 미국 국가 안보 논란에 휩싸였습니다. 2026년 6월, 사이버 보안 및 생물 방어 능력이 미 정부에 의해 일시 중단되었다가 ‘신뢰할 수 있는’ 조직에 한해 부분적으로 복원된 사례는 , 최첨단 AI 모델 자체가 미-중 경쟁의 전략적 자산이 되고 있음을 보여줍니다.

바이트댄스의 폐쇄형 소스 전략과 제품 라인업

바이트댄스는 이 10조 파라미터 모델을 공개할지 여부에 대해 밝히지 않았습니다. 그러나 회사의 일반적인 기조는 폐쇄형 소스(closed-source) 이며, 기존 제품과 통합하는 방식을 취하고 있습니다.

• 바이트댄스는 메타(Meta의 라마)나 일부 중국 경쟁사(딥시크)와 달리 자사의 플래그십 대규모 모델을 오픈소스로 공개하지 않습니다.
• 회사의 소비자 대상 AI 브랜드는 더우바오(Doubao, 豆包) 로, 바이트댄스의 시드(Seed) 시리즈 파운데이션 모델을 채팅, 어시스턴트, 콘텐츠 생성 제품에 통합합니다 .
• 우융후이가 밝힌 2026년 AI 우선순위는 월드 모델(2026년 말까지 구글 Genie 3와 동등한 수준 목표), 시던스(Seedance) 코딩 에이전트, 그리고 더우바오의 지속적인 상업화입니다 .
• 이 10조 파라미터 모델이 완성된다면, 별도의 오픈 모델로 출시되기보다는 더우바오 및 기타 내부 제품의 기반이 될 가능성이 높습니다.

요약하면, 바이트댄스는 독자적인 최첨단 AI에 대한 막대한 장기적 베팅을 하고 있습니다. 이는 창업자 장이밍의 '지름길(증류) 금지' 지시 아래, 우융후이가 이끄는 2,000명 규모의 시드팀이 주도하며, 치열해지는 미-중 기술 패권 경쟁이 그 배경에 있습니다. 이 프로젝트는 아직 초기 사전 학습 단계로, 최종 파라미터 수, 일정, 그리고 능력 측면에서 여전히 상당한 불확실성이 존재합니다.

10조 파라미터 모델의 규모와 현재 상황

파이낸셜 타임스(FT)의 2026년 8월 7일 보도에 따르면, 바이트댄스는 최대 10조 개의 총 파라미터를 가진 대규모 언어 모델(LLM)의 사전 학습을 시작했습니다 . 이는 중국 기업 최대 규모이며, 아직 초기 사전 학습 단계에 있어 미세 조정(Fine-tuning)과 최종 공개까지는 보통 3~6개월이 소요됩니다 . 최종 파라미터 수는 아직 확정되지 않았으며, 바이트댄스는 10조까지 학습을 진행할지 여부를 계속 평가 중입니다 . 같은 날 중국 매체 ‘레이포스트(LatePost)’의 보도에 따르면, 바이트댄스는 당초 5조 개 이상의 파라미터를 가진 모델을 논의하고 있었던 것으로 알려져 프로젝트 규모가 확장되었음을 시사합니다 . 로이터 통신은 이 FT 보도를 독자적으로 확인할 수 없었다고 밝혔습니다 .

앤트로픽 미토스 5 및 주요 모델과의 비교

바이트댄스의 10조 파라미터 목표는 업계에서 약 8조 파라미터로 추정되는 앤트로픽의 미토스 5에 근접하거나 이를 약간 웃도는 수준입니다 . 현재까지 알려진 주요 모델들의 파라미터 규모를 비교하면 다음과 같습니다.

하지만 raw 파라미터 수는 모델 성능을 직접적으로 나타내는 지표가 아닙니다. 이는 대략적인 아키텍처적 척도에 불과합니다.

중요한 전제: '총 파라미터(total parameters)'와 '활성 파라미터(active parameters)'

보고된 '10조 개의 총 파라미터'는 모델 아키텍처의 전체 파라미터 수를 의미합니다. 최신 모델들은 혼합 전문가(Mixture-of-Experts, MoE) 아키텍처를 사용하는 경우가 많습니다. 이는 추론 시 모델의 일부 파라미터만 활성화되는 방식으로, 예를 들어 총 파라미터가 10조인 모델의 경우 한 번에 활성화되는 파라미터는 1~2조에 불과할 수 있습니다. FT 보도와 이후 관련 기사들은 10조라는 숫자가 총 파라미터인지, 활성 파라미터인지, 혹은 혼합된 수치인지 명확히 밝히지 않았습니다. 따라서 타 모델과의 공정한 비교를 위해서는 이 구분이 매우 중요합니다 .

장이밍의 '안티-증류(Anti-Distillation)' 지시

바이트댄스 창업자 **장이밍(Zhang Yiming)**은 시드(Seed)팀에 이번 10조 파라미터 모델을 개발함에 있어 경쟁사의 모델 결과물을 이용한 AI 증류(AI distillation) 기술을 사용하지 말 것을 지시했습니다. 이로 인해 단기적으로 국내 경쟁사에 뒤처질지라도 말입니다 . 보도에 따르면 그는 2026년 8월 6일경 열린 경영진 회의에서 이 입장을 재확인하며, 이를 '지연된 만족(delayed gratification)'이자 독자적인 기술 역량을 구축하기 위한 장기 전략이라고 강조했습니다 . 이 결정은 틱톡을 둘러싼 바이트댄스와 미국 정부 간의 복잡한 규제 관계와, 법적 문제 및 수출 통제 리스크를 피하려는 의도에서 비롯된 측면도 있습니다 .

증류 기술은 중국 AI 연구소들이 미국의 최첨단 모델을 빠르게 모방하기 위해 널리 사용해 온 방법입니다. 장이밍의 지시는 이러한 관행에서 벗어나려는 주목할 만한 전략적 변화로 평가됩니다 .

바이트댄스 시드(Seed)팀: 규모와 리더십

바이트댄스는 2023년 초, 오픈AI의 챗GPT 등장에 대응하여 시드(Seed) 부서를 설립했습니다 . 이 10조 파라미터 모델을 개발하는 시드팀의 핵심 정보는 다음과 같습니다.

• 규모: 시드팀은 연구원, 인프라 엔지니어, 데이터 라벨링 직원 등 중국 전역에 약 2,000명의 인력을 두고 있습니다 .
• 연구 총괄: 우융후이(Wu Yonghui) — 전 구글 딥마인드 부사장 겸 구글 펠로우로, 2025년 2월 바이트댄스에 합류했습니다 .
• 파운데이션 모델 프로젝트 리드: **샹량(Xiang Liang, 项亮)**이 시드 파운데이션(Seed Foundation)을 총괄하며, 사전 학습 데이터 책임자인 **션커(Shen Ke, 沈科)**와 협업하고 있습니다 .
• 보고 체계: 우융후이는 바이트댄스 CEO **량루보(Liang Rubo)**에게 직접 보고합니다 .
• 조직 개편: 2025년, 바이트댄스는 기존의 AI 연구소와 로보틱스 팀을 시드(Seed)로 흡수하여 모든 파운데이션 모델 R&D를 하나로 통합했습니다 .

미-중 AI 경쟁의 역학 관계

바이트댄스의 10조 파라미터 프로젝트는 미국의 최첨단 연구소, 특히 앤트로픽 및 오픈AI와의 격차를 줄이기 위한 직접적인 시도로 널리 해석됩니다 . 더 넓은 맥락은 다음과 같습니다.

• 미국 정부는 첨단 AI 칩에 대한 수출 통제를 중국에 가하고 있어, 바이트댄스는 국산 또는 비축된 하드웨어에 의존해야 합니다 .
• 바이트댄스의 이번 모델을 위한 대규모 인프라 구축은 장이밍이 컴퓨팅 자원 할당을 직접 검토하는 등, 테크타임스(TechTimes)가 표현한 대로 '준군사적 규모 확장(paramilitary-style scale-up)' 의 성격을 띱니다 .
• 이 프로젝트는 중국 AI 업계가 딥시크(DeepSeek) R1(2025년 1월 출시)을 통해 칩 수출 규제 속에서도 최첨단에 필적하는 결과를 낼 수 있음을 증명한 이후 추진력을 얻었습니다 .
• 앤트로픽의 미토스 5는 미국 국가 안보 논란에 휩싸였습니다. 2026년 6월, 사이버 보안 및 생물 방어 능력이 미 정부에 의해 일시 중단되었다가 ‘신뢰할 수 있는’ 조직에 한해 부분적으로 복원된 사례는 , 최첨단 AI 모델 자체가 미-중 경쟁의 전략적 자산이 되고 있음을 보여줍니다.

바이트댄스의 폐쇄형 소스 전략과 제품 라인업

바이트댄스는 이 10조 파라미터 모델을 공개할지 여부에 대해 밝히지 않았습니다. 그러나 회사의 일반적인 기조는 폐쇄형 소스(closed-source) 이며, 기존 제품과 통합하는 방식을 취하고 있습니다.

• 바이트댄스는 메타(Meta의 라마)나 일부 중국 경쟁사(딥시크)와 달리 자사의 플래그십 대규모 모델을 오픈소스로 공개하지 않습니다.
• 회사의 소비자 대상 AI 브랜드는 더우바오(Doubao, 豆包) 로, 바이트댄스의 시드(Seed) 시리즈 파운데이션 모델을 채팅, 어시스턴트, 콘텐츠 생성 제품에 통합합니다 .
• 우융후이가 밝힌 2026년 AI 우선순위는 월드 모델(2026년 말까지 구글 Genie 3와 동등한 수준 목표), 시던스(Seedance) 코딩 에이전트, 그리고 더우바오의 지속적인 상업화입니다 .
• 이 10조 파라미터 모델이 완성된다면, 별도의 오픈 모델로 출시되기보다는 더우바오 및 기타 내부 제품의 기반이 될 가능성이 높습니다.

요약하면, 바이트댄스는 독자적인 최첨단 AI에 대한 막대한 장기적 베팅을 하고 있습니다. 이는 창업자 장이밍의 '지름길(증류) 금지' 지시 아래, 우융후이가 이끄는 2,000명 규모의 시드팀이 주도하며, 치열해지는 미-중 기술 패권 경쟁이 그 배경에 있습니다. 이 프로젝트는 아직 초기 사전 학습 단계로, 최종 파라미터 수, 일정, 그리고 능력 측면에서 여전히 상당한 불확실성이 존재합니다.