Moonshot AI giới thiệu Kimi K3 như một lập luận cho cách mở rộng theo hai trục: xây một mô hình lớn hơn nhiều trước khi triển khai, sau đó cấp cho mô hình đủ năng lực tính toán khi vận hành để lập luận, dùng công cụ, duyệt web, viết mã và tự sửa sai. Bài toán trọng tâm là kinh tế: không thể chỉ làm mô hình dày và sâu hơn nếu chi phí phục vụ ngữ cảnh dài khiến các năng lực ấy khó dùng trong thực tế. Thiết kế của K3 hướng tới tăng tổng năng lực, đồng thời kiềm chế lượng tính toán và bộ nhớ tiêu thụ cho mỗi token được tạo ra. 1

Phân biệt quan trọng: năng lực tổng và tính toán được kích hoạt

Kimi K3 được mô tả là mô hình hỗn hợp chuyên gia (Mixture-of-Experts, MoE) đa phương thức gốc, có 2,8 nghìn tỷ tham số tổng, khoảng 104 tỷ tham số được kích hoạt trên mỗi token, cùng cửa sổ ngữ cảnh tối đa 1 triệu token. 117

Hai con số tham số này trả lời hai câu hỏi khác nhau:

• Tổng tham số cho biết năng lực hiện diện trong toàn bộ tập chuyên gia.
• Tham số kích hoạt trên mỗi token cho biết phần mô hình thực sự được dùng cho một token sau bước định tuyến.

Đó là sức hấp dẫn thực dụng của MoE: K3 có thể lớn hơn rất nhiều về tổng thể so với một mô hình đặc tương đương về lượng tính toán trên mỗi token. Điều này không biến suy luận thành rẻ—104 tỷ tham số hoạt động vẫn là con số rất lớn—nhưng tránh phải trả chi phí suy luận của một mạng đặc 2,8 nghìn tỷ tham số cho từng token. 1

Vì vậy, lập luận của Moonshot không đơn thuần là “càng nhiều tham số càng tốt”. Họ cho rằng tính toán có điều kiện có thể khiến một cấp năng lực mô hình mới trở nên hữu dụng cho các công việc kéo dài.

Vì sao suy luận ngữ cảnh dài cần một ngăn xếp attention khác

Ngữ cảnh một triệu token là bài toán khó không chỉ trong huấn luyện. Attention truyền thống có thể làm chi phí bộ nhớ và tính toán tăng mạnh khi chuỗi dài thêm. K3 dùng thiết kế lai, kết hợp Kimi Delta Attention (KDA) với Gated Multi-head Latent Attention (Gated MLA). Backbone được báo cáo gồm 69 lớp KDA và 24 lớp Gated MLA, chủ yếu theo nhịp ba lớp KDA rồi một lớp MLA. 112

KDA xử lý chuỗi dài với trạng thái duy trì

KDA là thành phần attention tuyến tính của mô hình. Thay vì giữ cache key-value theo cách thông thường và tăng dần theo toàn bộ lịch sử trong mỗi lớp, nó dùng một trạng thái hồi quy có kích thước cố định. Mục tiêu là bộ nhớ trạng thái và công việc giải mã không tăng theo ngữ cảnh trước đó giống như attention đầy đủ. 1

Báo cáo còn nêu cận dưới cho tốc độ suy giảm của KDA. Đây không chỉ là lựa chọn về mô hình hóa: nó ngăn các giá trị suy giảm quá nhỏ, vốn gây bất lợi cho tính toán số hiệu quả, đồng thời cho phép triển khai theo khối phù hợp với thực thi trên tensor core. 1

Gated MLA bổ sung khả năng truy hồi toàn cục

Chỉ dùng hồi quy tuyến tính có thể không đem lại hành vi tra cứu chọn lọc trên toàn bộ ngữ cảnh như attention đầy đủ. Vì thế, K3 vẫn duy trì các lớp Gated MLA xuyên suốt mạng. Trong thiết kế lai được báo cáo, KDA đảm nhiệm xử lý chuỗi liên tục với chi phí thấp, còn MLA tạo các điểm truy hồi toàn cục định kỳ. 1

Điểm đáng chú ý là K3 coi ngữ cảnh dài là vấn đề của cả hệ thống lẫn kiến trúc. Một cửa sổ ngữ cảnh lớn chỉ thực sự có ý nghĩa khi mô hình vẫn tìm được thông tin liên quan và sinh kết quả với chi phí chấp nhận được.

AttnRes tìm cách giữ thông tin qua 93 lớp

Thành phần kiến trúc thứ hai của K3 là Attention Residuals (AttnRes). Mô hình có 93 lớp; báo cáo dùng AttnRes để các lớp phía sau có thể truy hồi biểu diễn đã nén từ những khối độ sâu trước đó, thay vì buộc mọi thông tin đi tuần tự qua từng lớp. 1

Có thể hiểu KDA xử lý dòng thông tin theo chiều dài chuỗi, còn AttnRes xử lý dòng thông tin theo chiều sâu mạng. Sự kết hợp này quan trọng với một mô hình sâu mà phần lớn ngăn xếp dùng attention tuyến tính: thay thế attention toàn cục tốn kém chỉ hữu ích nếu thông tin quan trọng không bị thất lạc hoặc cô lập khi các kích hoạt đi qua mạng. 1

Stable LatentMoE cung cấp năng lực có điều kiện

Lớp MoE của K3 được báo cáo có 896 chuyên gia được định tuyến, chọn 16 chuyên gia cho mỗi token. 16 Đây là cơ chế tạo ra khoảng cách giữa số tham số tổng và số tham số hoạt động.

Cách tiếp cận Stable LatentMoE tập trung vào việc giữ quá trình định tuyến ổn định và cân bằng. Báo cáo xem phân bổ token cho chuyên gia ở cấp độ batch là một bài toán tối ưu hóa, đồng thời đưa vào cơ chế cân bằng dựa trên phân vị. Báo cáo suy ra nghiệm tối ưu chính xác theo các giả định đã nêu; nhưng khi triển khai, định tuyến sử dụng độ lệch chuyên gia cố định cùng lựa chọn top-k thông thường, thay vì giải lại bài toán cân bằng cho từng batch suy luận. 1

Phân biệt này rất quan trọng. Một trạng thái cân bằng tối ưu được tuyên bố là kết quả trong công thức định tuyến của báo cáo, không phải bảo đảm rằng mọi tải công việc thực tế đều phân bổ token hoàn hảo giữa các chuyên gia.

MoonEP giúp định tuyến thưa khả thi về mặt vận hành

Mô hình MoE lớn tạo ra một vấn đề mạng: token được chọn thường phải chuyển sang thiết bị khác để tới chuyên gia được chỉ định. Nếu một số chuyên gia nhận nhu cầu quá lớn, đường giao tiếp chậm nhất có thể quyết định độ trễ chung.

Moonshot đặt MoonEP là lớp hệ thống bổ trợ cho giao tiếp song song theo chuyên gia. Vai trò của nó là giảm mất cân bằng trong các trao đổi all-to-all do định tuyến thưa tạo ra, giúp tập chuyên gia lớn vẫn có thể huấn luyện và phục vụ được. 1

Đây là phần then chốt trong tuyên bố rộng hơn của K3: kiến trúc, định tuyến và giao tiếp không nên được xem như các lời giải thích độc lập cho hiệu năng. Mô hình cần cả ba để biến năng lực thưa trên lý thuyết thành thông lượng thực tế.

Nửa còn lại của chiến lược: tính toán sau triển khai cho tác tử

Trục thứ hai trong luận điểm của K3 là những gì diễn ra sau giai đoạn tiền huấn luyện. Moonshot mô tả hạ tầng cho các quỹ đạo học tăng cường (RL) gắn với tác vụ dài hạn, công cụ, lập trình, duyệt web và giải quyết vấn đề theo vòng lặp. Báo cáo cũng đề cập việc chưng cất nhiều mô hình giáo viên về lĩnh vực và lập luận thành một hệ thống duy nhất. 1

Môi trường hỗ trợ là hệ thống sandbox máy ảo nhẹ, được thiết kế để tạo, chụp nhanh và khôi phục môi trường tác vụ ở quy mô lớn. Các số liệu được báo cáo gồm 51,2 triệu phiên bản sandbox, 133 ms để chụp nhanh và 49 ms để khôi phục. 1

Ý nghĩa chiến lược khá trực tiếp: nếu mô hình được kỳ vọng dùng thêm tính toán lúc suy luận để lập kế hoạch, gọi công cụ, kiểm tra kết quả hoặc tiếp tục một nhiệm vụ dài, thì khâu huấn luyện phải cho nó tiếp xúc với các quỹ đạo kiểu đó. Việc tạm dừng, phân nhánh và khôi phục môi trường với chi phí thấp giúp triển khai nhiều lượt mô phỏng huấn luyện hơn.

Điều này không đồng nghĩa một câu trả lời của mô hình tự động dùng lượng tính toán suy luận vô hạn. Đúng hơn, báo cáo K3 lập luận về một hệ thống có thể biến thêm bước xử lý và thêm ngữ cảnh thành hiệu quả tác vụ tốt hơn, thay vì chỉ dựa vào một mô hình tiền huấn luyện lớn hơn.

Kết quả BrowseComp nói lên điều gì—và không thể tách bạch điều gì

Kimi K3 được báo cáo đạt 91,2% trên BrowseComp, một benchmark hướng đến tìm kiếm thông tin dài hơi. Một bảng xếp hạng bên thứ ba cũng liệt kê K3 ở mức 91,2%, dù thứ hạng và cấu hình báo cáo có thể thay đổi theo thời gian. 18

Kết quả này phù hợp với mục tiêu sản phẩm: một mô hình được thiết kế quanh ngữ cảnh dài, hậu huấn luyện tác tử và lập luận ở thời điểm kiểm thử nên được đánh giá trên tác vụ tìm kiếm thông tin phức tạp. Nhưng đây không phải một phép phân tích tách thành phần (ablation) sạch cho từng yếu tố.

Một điểm benchmark đơn lẻ không cho biết bao nhiêu phần kết quả đến từ KDA, AttnRes, định tuyến chuyên gia, hạ tầng truyền thông, môi trường RL, chưng cất, prompt hay thiết lập suy luận. Diễn giải thận trọng nhất là hệ thống được báo cáo hoạt động tốt khi xem như một ngăn xếp tích hợp—không phải một cải tiến kiến trúc riêng lẻ đã tự mình giải thích điểm số. 118

So sánh với DeepSeek chủ yếu là câu chuyện kiến trúc

K3 thường được đặt cạnh các mô hình mở quy mô lớn khác, trong đó có các hệ thống DeepSeek. Kết luận có cơ sở từ báo cáo không phải là một bảng xếp hạng đã ngã ngũ về tiến bộ mô hình mở, mà là một trọng tâm thiết kế khác: Moonshot ủng hộ một ngăn xếp kết hợp năng lực thưa cực lớn, xử lý ngữ cảnh dài hiệu quả và hạ tầng hậu huấn luyện cho tác tử. 117

Bản thân báo cáo hỗ trợ các thông số kỹ thuật và lựa chọn thiết kế của K3. Nó không tự xác lập rằng các mô hình mở khác đã “chững lại”, cũng không cô lập được ưu thế kiến trúc mang tính quyết định trước một đối thủ cụ thể. Những tuyên bố thị trường rộng hơn cần các so sánh nhất quán và được tái lập độc lập.

Đọc các tuyên bố chi phí theo đúng cấu hình

So sánh giá mỗi token hoặc chi phí mỗi tác vụ rất dễ bị diễn giải quá mức. Chúng thay đổi theo prompt, mức độ lập luận, độ dài ngữ cảnh, caching, sử dụng công cụ, giả định thông lượng, ngày niêm yết giá và bộ khung đánh giá.

Một so sánh đã công bố trong tài liệu hiện có ước tính chi phí hoàn thành tác vụ khoảng 0,94 USD cho K3 và 1,04 USD cho GPT-5.6 Sol. Con số này có thể gợi ý lợi thế nhỏ trong thiết lập đó, nhưng không chứng minh tuyên bố phổ quát rằng K3 “rẻ bằng một nửa Sol”. 20

Kết luận hữu ích hơn là: K3 là nỗ lực làm cho năng lực tác tử với ngữ cảnh dài trở nên đáng tin về mặt kinh tế ở quy mô mô hình tổng lớn hơn nhiều. Lợi thế đó có thành hiện thực trong triển khai hay không phụ thuộc vào đánh giá có thể tái lập và cách hạch toán chi phí riêng của từng môi trường.

Kết luận

Báo cáo kỹ thuật của Kimi K3 đưa ra lập luận mở rộng toàn ngăn xếp. Quy mô trước triển khai đến từ MoE 2,8 nghìn tỷ tham số với khoảng 104 tỷ tham số kích hoạt trên mỗi token. Quy mô sau triển khai đến từ việc huấn luyện và phục vụ một mô hình có thể dùng ngữ cảnh dài, công cụ, các bước lập luận và quỹ đạo tác tử. 117

KDA, Gated MLA, AttnRes, Stable LatentMoE, MoonEP và hạ tầng sandbox RL là các mảnh ghép của cùng một mệnh đề: hành vi tác tử ở chất lượng tuyến đầu không chỉ cần mô hình lớn hơn, mà cần thiết kế khiến nhiều ngữ cảnh hơn và nhiều công việc suy luận hơn thực sự sử dụng được. Các kết quả benchmark là tín hiệu đáng khích lệ cho cách tiếp cận tích hợp ấy, nhưng nên được đọc như kết quả cấp hệ thống được báo cáo, chưa phải bằng chứng cuối cùng về đóng góp của từng thành phần. 118

Moonshot AI giới thiệu Kimi K3 như một lập luận cho cách mở rộng theo hai trục: xây một mô hình lớn hơn nhiều trước khi triển khai, sau đó cấp cho mô hình đủ năng lực tính toán khi vận hành để lập luận, dùng công cụ, duyệt web, viết mã và tự sửa sai. Bài toán trọng tâm là kinh tế: không thể chỉ làm mô hình dày và sâu hơn nếu chi phí phục vụ ngữ cảnh dài khiến các năng lực ấy khó dùng trong thực tế. Thiết kế của K3 hướng tới tăng tổng năng lực, đồng thời kiềm chế lượng tính toán và bộ nhớ tiêu thụ cho mỗi token được tạo ra. 1

Phân biệt quan trọng: năng lực tổng và tính toán được kích hoạt

Kimi K3 được mô tả là mô hình hỗn hợp chuyên gia (Mixture-of-Experts, MoE) đa phương thức gốc, có 2,8 nghìn tỷ tham số tổng, khoảng 104 tỷ tham số được kích hoạt trên mỗi token, cùng cửa sổ ngữ cảnh tối đa 1 triệu token. 117

Hai con số tham số này trả lời hai câu hỏi khác nhau:

• Tổng tham số cho biết năng lực hiện diện trong toàn bộ tập chuyên gia.
• Tham số kích hoạt trên mỗi token cho biết phần mô hình thực sự được dùng cho một token sau bước định tuyến.

Đó là sức hấp dẫn thực dụng của MoE: K3 có thể lớn hơn rất nhiều về tổng thể so với một mô hình đặc tương đương về lượng tính toán trên mỗi token. Điều này không biến suy luận thành rẻ—104 tỷ tham số hoạt động vẫn là con số rất lớn—nhưng tránh phải trả chi phí suy luận của một mạng đặc 2,8 nghìn tỷ tham số cho từng token. 1

Vì vậy, lập luận của Moonshot không đơn thuần là “càng nhiều tham số càng tốt”. Họ cho rằng tính toán có điều kiện có thể khiến một cấp năng lực mô hình mới trở nên hữu dụng cho các công việc kéo dài.

Vì sao suy luận ngữ cảnh dài cần một ngăn xếp attention khác

Ngữ cảnh một triệu token là bài toán khó không chỉ trong huấn luyện. Attention truyền thống có thể làm chi phí bộ nhớ và tính toán tăng mạnh khi chuỗi dài thêm. K3 dùng thiết kế lai, kết hợp Kimi Delta Attention (KDA) với Gated Multi-head Latent Attention (Gated MLA). Backbone được báo cáo gồm 69 lớp KDA và 24 lớp Gated MLA, chủ yếu theo nhịp ba lớp KDA rồi một lớp MLA. 112

KDA xử lý chuỗi dài với trạng thái duy trì

KDA là thành phần attention tuyến tính của mô hình. Thay vì giữ cache key-value theo cách thông thường và tăng dần theo toàn bộ lịch sử trong mỗi lớp, nó dùng một trạng thái hồi quy có kích thước cố định. Mục tiêu là bộ nhớ trạng thái và công việc giải mã không tăng theo ngữ cảnh trước đó giống như attention đầy đủ. 1

Báo cáo còn nêu cận dưới cho tốc độ suy giảm của KDA. Đây không chỉ là lựa chọn về mô hình hóa: nó ngăn các giá trị suy giảm quá nhỏ, vốn gây bất lợi cho tính toán số hiệu quả, đồng thời cho phép triển khai theo khối phù hợp với thực thi trên tensor core. 1

Gated MLA bổ sung khả năng truy hồi toàn cục

Chỉ dùng hồi quy tuyến tính có thể không đem lại hành vi tra cứu chọn lọc trên toàn bộ ngữ cảnh như attention đầy đủ. Vì thế, K3 vẫn duy trì các lớp Gated MLA xuyên suốt mạng. Trong thiết kế lai được báo cáo, KDA đảm nhiệm xử lý chuỗi liên tục với chi phí thấp, còn MLA tạo các điểm truy hồi toàn cục định kỳ. 1

Điểm đáng chú ý là K3 coi ngữ cảnh dài là vấn đề của cả hệ thống lẫn kiến trúc. Một cửa sổ ngữ cảnh lớn chỉ thực sự có ý nghĩa khi mô hình vẫn tìm được thông tin liên quan và sinh kết quả với chi phí chấp nhận được.

AttnRes tìm cách giữ thông tin qua 93 lớp

Thành phần kiến trúc thứ hai của K3 là Attention Residuals (AttnRes). Mô hình có 93 lớp; báo cáo dùng AttnRes để các lớp phía sau có thể truy hồi biểu diễn đã nén từ những khối độ sâu trước đó, thay vì buộc mọi thông tin đi tuần tự qua từng lớp. 1

Có thể hiểu KDA xử lý dòng thông tin theo chiều dài chuỗi, còn AttnRes xử lý dòng thông tin theo chiều sâu mạng. Sự kết hợp này quan trọng với một mô hình sâu mà phần lớn ngăn xếp dùng attention tuyến tính: thay thế attention toàn cục tốn kém chỉ hữu ích nếu thông tin quan trọng không bị thất lạc hoặc cô lập khi các kích hoạt đi qua mạng. 1

Stable LatentMoE cung cấp năng lực có điều kiện

Lớp MoE của K3 được báo cáo có 896 chuyên gia được định tuyến, chọn 16 chuyên gia cho mỗi token. 16 Đây là cơ chế tạo ra khoảng cách giữa số tham số tổng và số tham số hoạt động.

Cách tiếp cận Stable LatentMoE tập trung vào việc giữ quá trình định tuyến ổn định và cân bằng. Báo cáo xem phân bổ token cho chuyên gia ở cấp độ batch là một bài toán tối ưu hóa, đồng thời đưa vào cơ chế cân bằng dựa trên phân vị. Báo cáo suy ra nghiệm tối ưu chính xác theo các giả định đã nêu; nhưng khi triển khai, định tuyến sử dụng độ lệch chuyên gia cố định cùng lựa chọn top-k thông thường, thay vì giải lại bài toán cân bằng cho từng batch suy luận. 1

Phân biệt này rất quan trọng. Một trạng thái cân bằng tối ưu được tuyên bố là kết quả trong công thức định tuyến của báo cáo, không phải bảo đảm rằng mọi tải công việc thực tế đều phân bổ token hoàn hảo giữa các chuyên gia.

MoonEP giúp định tuyến thưa khả thi về mặt vận hành

Mô hình MoE lớn tạo ra một vấn đề mạng: token được chọn thường phải chuyển sang thiết bị khác để tới chuyên gia được chỉ định. Nếu một số chuyên gia nhận nhu cầu quá lớn, đường giao tiếp chậm nhất có thể quyết định độ trễ chung.

Moonshot đặt MoonEP là lớp hệ thống bổ trợ cho giao tiếp song song theo chuyên gia. Vai trò của nó là giảm mất cân bằng trong các trao đổi all-to-all do định tuyến thưa tạo ra, giúp tập chuyên gia lớn vẫn có thể huấn luyện và phục vụ được. 1

Đây là phần then chốt trong tuyên bố rộng hơn của K3: kiến trúc, định tuyến và giao tiếp không nên được xem như các lời giải thích độc lập cho hiệu năng. Mô hình cần cả ba để biến năng lực thưa trên lý thuyết thành thông lượng thực tế.

Nửa còn lại của chiến lược: tính toán sau triển khai cho tác tử

Trục thứ hai trong luận điểm của K3 là những gì diễn ra sau giai đoạn tiền huấn luyện. Moonshot mô tả hạ tầng cho các quỹ đạo học tăng cường (RL) gắn với tác vụ dài hạn, công cụ, lập trình, duyệt web và giải quyết vấn đề theo vòng lặp. Báo cáo cũng đề cập việc chưng cất nhiều mô hình giáo viên về lĩnh vực và lập luận thành một hệ thống duy nhất. 1

Môi trường hỗ trợ là hệ thống sandbox máy ảo nhẹ, được thiết kế để tạo, chụp nhanh và khôi phục môi trường tác vụ ở quy mô lớn. Các số liệu được báo cáo gồm 51,2 triệu phiên bản sandbox, 133 ms để chụp nhanh và 49 ms để khôi phục. 1

Ý nghĩa chiến lược khá trực tiếp: nếu mô hình được kỳ vọng dùng thêm tính toán lúc suy luận để lập kế hoạch, gọi công cụ, kiểm tra kết quả hoặc tiếp tục một nhiệm vụ dài, thì khâu huấn luyện phải cho nó tiếp xúc với các quỹ đạo kiểu đó. Việc tạm dừng, phân nhánh và khôi phục môi trường với chi phí thấp giúp triển khai nhiều lượt mô phỏng huấn luyện hơn.

Điều này không đồng nghĩa một câu trả lời của mô hình tự động dùng lượng tính toán suy luận vô hạn. Đúng hơn, báo cáo K3 lập luận về một hệ thống có thể biến thêm bước xử lý và thêm ngữ cảnh thành hiệu quả tác vụ tốt hơn, thay vì chỉ dựa vào một mô hình tiền huấn luyện lớn hơn.

Kết quả BrowseComp nói lên điều gì—và không thể tách bạch điều gì

Kimi K3 được báo cáo đạt 91,2% trên BrowseComp, một benchmark hướng đến tìm kiếm thông tin dài hơi. Một bảng xếp hạng bên thứ ba cũng liệt kê K3 ở mức 91,2%, dù thứ hạng và cấu hình báo cáo có thể thay đổi theo thời gian. 18

Kết quả này phù hợp với mục tiêu sản phẩm: một mô hình được thiết kế quanh ngữ cảnh dài, hậu huấn luyện tác tử và lập luận ở thời điểm kiểm thử nên được đánh giá trên tác vụ tìm kiếm thông tin phức tạp. Nhưng đây không phải một phép phân tích tách thành phần (ablation) sạch cho từng yếu tố.

Một điểm benchmark đơn lẻ không cho biết bao nhiêu phần kết quả đến từ KDA, AttnRes, định tuyến chuyên gia, hạ tầng truyền thông, môi trường RL, chưng cất, prompt hay thiết lập suy luận. Diễn giải thận trọng nhất là hệ thống được báo cáo hoạt động tốt khi xem như một ngăn xếp tích hợp—không phải một cải tiến kiến trúc riêng lẻ đã tự mình giải thích điểm số. 118

So sánh với DeepSeek chủ yếu là câu chuyện kiến trúc

K3 thường được đặt cạnh các mô hình mở quy mô lớn khác, trong đó có các hệ thống DeepSeek. Kết luận có cơ sở từ báo cáo không phải là một bảng xếp hạng đã ngã ngũ về tiến bộ mô hình mở, mà là một trọng tâm thiết kế khác: Moonshot ủng hộ một ngăn xếp kết hợp năng lực thưa cực lớn, xử lý ngữ cảnh dài hiệu quả và hạ tầng hậu huấn luyện cho tác tử. 117

Bản thân báo cáo hỗ trợ các thông số kỹ thuật và lựa chọn thiết kế của K3. Nó không tự xác lập rằng các mô hình mở khác đã “chững lại”, cũng không cô lập được ưu thế kiến trúc mang tính quyết định trước một đối thủ cụ thể. Những tuyên bố thị trường rộng hơn cần các so sánh nhất quán và được tái lập độc lập.

Đọc các tuyên bố chi phí theo đúng cấu hình

So sánh giá mỗi token hoặc chi phí mỗi tác vụ rất dễ bị diễn giải quá mức. Chúng thay đổi theo prompt, mức độ lập luận, độ dài ngữ cảnh, caching, sử dụng công cụ, giả định thông lượng, ngày niêm yết giá và bộ khung đánh giá.

Một so sánh đã công bố trong tài liệu hiện có ước tính chi phí hoàn thành tác vụ khoảng 0,94 USD cho K3 và 1,04 USD cho GPT-5.6 Sol. Con số này có thể gợi ý lợi thế nhỏ trong thiết lập đó, nhưng không chứng minh tuyên bố phổ quát rằng K3 “rẻ bằng một nửa Sol”. 20

Kết luận hữu ích hơn là: K3 là nỗ lực làm cho năng lực tác tử với ngữ cảnh dài trở nên đáng tin về mặt kinh tế ở quy mô mô hình tổng lớn hơn nhiều. Lợi thế đó có thành hiện thực trong triển khai hay không phụ thuộc vào đánh giá có thể tái lập và cách hạch toán chi phí riêng của từng môi trường.

Kết luận

Báo cáo kỹ thuật của Kimi K3 đưa ra lập luận mở rộng toàn ngăn xếp. Quy mô trước triển khai đến từ MoE 2,8 nghìn tỷ tham số với khoảng 104 tỷ tham số kích hoạt trên mỗi token. Quy mô sau triển khai đến từ việc huấn luyện và phục vụ một mô hình có thể dùng ngữ cảnh dài, công cụ, các bước lập luận và quỹ đạo tác tử. 117

KDA, Gated MLA, AttnRes, Stable LatentMoE, MoonEP và hạ tầng sandbox RL là các mảnh ghép của cùng một mệnh đề: hành vi tác tử ở chất lượng tuyến đầu không chỉ cần mô hình lớn hơn, mà cần thiết kế khiến nhiều ngữ cảnh hơn và nhiều công việc suy luận hơn thực sự sử dụng được. Các kết quả benchmark là tín hiệu đáng khích lệ cho cách tiếp cận tích hợp ấy, nhưng nên được đọc như kết quả cấp hệ thống được báo cáo, chưa phải bằng chứng cuối cùng về đóng góp của từng thành phần. 118