LimiX-2: một mô hình AI 400 triệu tham số cho dự đoán và điền dữ liệu thiếu trong bảng

LimiX-2 là mô hình nền tảng 400 triệu tham số dành cho dữ liệu có cấu trúc, đặc biệt là dữ liệu dạng bảng, do Stable AI phát triển cùng nhóm của Giáo sư Peng Cui tại Đại học Thanh Hoa. Điểm đáng chú ý nhất trong công bố là một checkpoint tiền huấn luyện duy nhất có thể thực hiện phân loại, hồi quy và điền giá trị bị thiếu mà không cần tinh chỉnh tham số riêng cho từng bài toán. Kho mã nguồn chính thức ghi nhận bản phát hành mở vào ngày 16/9/2026. 15

Tải LimiX-2 ở đâu?

Kho chính thức trên Hugging Face cung cấp trọng số LimiX-2.ckpt cùng mã suy luận. Báo cáo kỹ thuật, LimiX-2: A Contextual Mechanism Network Towards General Structured-Data Intelligence, có trên arXiv và cũng được liên kết từ kho mô hình. 15

Vì sao một checkpoint có thể xử lý ba việc khác nhau?

Các hệ thống học máy cho dữ liệu bảng thường tập trung vào việc dự đoán một biến đích: từ các đặc trưng đầu vào và những hàng mẫu, dự đoán nhãn hoặc giá trị số. LimiX-2 hướng tới việc học cấu trúc liên hợp phụ thuộc ngữ cảnh của cả bảng, được tác giả mô tả là (p(x,y\mid D_{context})), thay vì chỉ học ánh xạ (p(y\mid x,D_{context})).

Theo cách nhìn này, dự đoán nhãn, ước lượng một giá trị liên tục và lấp một ô đang bị che đều là biến thể của cùng một nhiệm vụ: suy ra giá trị chưa quan sát từ các ô đã biết và những hàng ngữ cảnh. 1

Mô hình được huấn luyện bằng Context-Conditional Masked Modeling (CCMM), có thể hiểu là mô hình hóa che ngẫu nhiên có điều kiện theo ngữ cảnh. Trong mỗi lượt huấn luyện, dữ liệu được tách thành tập hàng ngữ cảnh và tập hàng truy vấn. Một số đặc trưng trong các hàng truy vấn bị che, trong khi các giá trị còn quan sát được và bảng ngữ cảnh vẫn được giữ lại. Mục tiêu huấn luyện đồng thời thưởng cho việc tái tạo đặc trưng và dự đoán biến đích.

Bài báo cho biết các hàng truy vấn được phép chú ý tới các hàng ngữ cảnh nhưng không chú ý lẫn nhau. Thiết kế này nhằm hạn chế luồng thông tin giữa các ví dụ truy vấn và giảm sự phụ thuộc của dự đoán vào cách gom lô truy vấn. 1

LimiX-2 không cần học thêm đầu ra riêng khi thích nghi với tác vụ mới vì các đường đầu ra đã có sẵn trong kiến trúc tiền huấn luyện. Báo cáo mô tả phân loại và hồi quy là quá trình giải mã biểu diễn của biến đích, còn tái tạo đặc trưng dùng biểu diễn nông hơn. Với hồi quy, mô hình dự đoán phân phối trên 5.000 khoảng giá trị đích có thứ tự, sau đó chuyển phân phối này thành một ước lượng số. 1

Contextual Mechanism Networks: học quan hệ trong bảng, không chỉ học nhãn

Nhóm tác giả gọi hướng tiếp cận này là Contextual Mechanism Networks (CMN). Ý tưởng cốt lõi: học trong ngữ cảnh cho dữ liệu bảng nên nắm bắt cách các biến được sinh ra và liên hệ với nhau, thay vì chỉ khớp một quan hệ đặc trưng–nhãn trong một lược đồ dữ liệu cụ thể. 1

Để tiền huấn luyện, LimiX-2 dùng các bảng tổng hợp được lấy mẫu từ mô hình nhân quả cấu trúc (structural causal model). Quy trình sinh dữ liệu thay đổi cấu trúc đồ thị, cơ chế có một hoặc nhiều biến cha, lựa chọn biến có thể quan sát, cũng như các phép biến đổi và quá trình quan sát. Báo cáo cũng đề cập các biến đổi như chuẩn hóa tỷ lệ, ánh xạ phi tuyến, và đôi khi chuyển biến đích liên tục thành bài toán phân loại. 1

Mức độ đa dạng này được kỳ vọng giúp mô hình gặp nhiều dạng bảng, kiểu đặc trưng, mẫu thiếu dữ liệu và quan hệ có điều kiện mà không phải ghi nhớ các bộ dữ liệu thực có tên cụ thể. Tuy nhiên, điều đó không bảo đảm lược đồ dữ liệu của một doanh nghiệp cụ thể sẽ tương đồng với phân phối dữ liệu tiền huấn luyện.

LimiX-2 khác gì so với LimiX trước đó?

LimiX-2 mở rộng dòng nghiên cứu LimiX trước đó, vốn giới thiệu một hướng mô hình hóa dữ liệu có cấu trúc tổng quát và benchmark BCCO. Báo cáo LimiX-2 mô tả một mô hình được mở rộng đáng kể về quy mô, đồng thời dùng quy trình sinh dữ liệu tổng hợp từ mô hình nhân quả cấu trúc phong phú hơn; hướng mở rộng này được dẫn dắt bởi nghiên cứu về quy luật mở rộng của dự án trước. 12

Khác biệt thực tế nằm ở quy mô và phạm vi: LimiX-2 được định vị là mô hình tiền huấn luyện lớn hơn, dùng ngữ cảnh khi suy luận để chuyển giao giữa nhiều bảng không đồng nhất, thay vì phải huấn luyện lại cho từng quy trình phân loại, hồi quy hay điền dữ liệu thiếu. 1

Kết quả benchmark được báo cáo

Các số liệu dưới đây là kết quả do tác giả và kho chính thức báo cáo:

Benchmark	Elo tổng thể được báo cáo	Vị trí được báo cáo trong nhóm phương pháp so sánh
TabArena	1.935	Hạng nhất; cao hơn TabFM+ 117,4 điểm trước khi làm tròn
TALENT	1.506	Hạng nhất; hơn mô hình kế tiếp được báo cáo 35 điểm
BCCO	1.432	Hạng nhất trong các phương pháp được so sánh

Trên toàn bộ benchmark TabArena, kho dự án còn báo cáo LimiX-2 đứng đầu ở cả bốn chỉ số dự đoán, với mức “improvability” 3,3%, hạng trung bình 5,5 và 18,9 chiến thắng gộp. 145

Bài báo nêu kết quả mạnh ở cả hồi quy lẫn phân loại, thay vì thành tích tổng thể chỉ đến từ một loại tác vụ. Đây là tín hiệu tích cực cho cách tiếp cận mô hình hóa liên hợp, nhưng vẫn chỉ là bằng chứng trên các bộ dữ liệu, quy trình tiền xử lý, cách chia tập, thước đo và điều kiện so sánh của nghiên cứu. 1

Tác giả cũng báo cáo rằng các mẫu chú ý tới đặc trưng có thể hỗ trợ khôi phục khung nhân quả trong các đánh giá của họ. Cần hiểu tuyên bố này theo phạm vi hẹp: kết quả liên quan đến việc phục hồi các quan hệ không có hướng trong giao thức kiểm soát của nghiên cứu. Nó không xác định hướng nhân quả, không loại trừ biến nhiễu và không chứng minh attention có thể chỉ ra tác động nhân quả trong một cơ sở dữ liệu doanh nghiệp bất kỳ. 1

Khi nào LimiX-2 đáng để thử?

Với các nhóm làm việc trên dữ liệu gồm cả biến số và biến phân loại, LimiX-2 có thể phù hợp để thử như một baseline nhanh hoặc một mô hình bổ sung trong ensemble. Một checkpoint duy nhất đặc biệt đáng chú ý khi quy trình cần đồng thời:

• phân loại, hồi quy và tái tạo dữ liệu thiếu trong cùng môi trường bảng;
• xử lý các lược đồ nhỏ, lạ hoặc thay đổi thường xuyên;
• suy luận trên các bản ghi chỉ được quan sát một phần;
• thử nghiệm sớm trước khi đầu tư vào các pipeline riêng biệt theo từng tác vụ.

Tiền huấn luyện tổng hợp của mô hình được thiết kế xoay quanh sự đa dạng về cơ chế, cấu trúc đồ thị, phép biến đổi và biến quan sát. Vì vậy, khả năng chuyển giao giữa các lược đồ là giả thuyết trọng tâm của bản phát hành, không phải lời bảo đảm. 1

Những điều cần kiểm tra trước khi thay AutoML hiện có

Kết quả benchmark tốt nên là điểm bắt đầu cho đánh giá, không phải điểm kết thúc.

Dùng tập giữ lại sát điều kiện triển khai. Chia ngẫu nhiên train/test có thể tạo ấn tượng quá lạc quan. Nếu phù hợp với bài toán, hãy giữ lại dữ liệu theo thời gian, thực thể, khu vực, nhóm hoặc giai đoạn triển khai.

So sánh với baseline đã được tinh chỉnh. Đánh giá LimiX-2 bên cạnh các mô hình và quy trình đang phù hợp với trường hợp sử dụng, chẳng hạn gradient boosting đã tinh chỉnh, hệ thống AutoML và mô hình chuyên biệt theo lĩnh vực. Elo benchmark phụ thuộc vào bộ tác vụ, tiền xử lý, cách chấm điểm, ngân sách tính toán và phiên bản mô hình cụ thể.

Kiểm thử đúng lược đồ thật. Cột định danh, danh mục hiếm hoặc có số lượng giá trị rất lớn, cột chứa nhiều văn bản, phụ thuộc theo thời gian, phép nối nhiều bảng, ý nghĩa dữ liệu thay đổi và thiếu dữ liệu không ngẫu nhiên đều có thể đòi hỏi tiền xử lý riêng hoặc một phương pháp khác. Dữ liệu tổng hợp đa dạng không thể loại bỏ hoàn toàn các rủi ro này.

Rà soát rò rỉ dữ liệu. Loại khỏi đánh giá các cột chỉ xuất hiện sau kết quả cần dự đoán, bản ghi thuộc tương lai, thực thể trùng lặp, biến đại diện cho nhãn sinh ra từ phép nối và thông tin chéo giữa các fold. Việc cô lập attention giữa các hàng truy vấn chỉ xử lý một con đường rò rỉ tiềm tàng; nó không thể sửa rò rỉ đã có sẵn trong cột dữ liệu hoặc cách chia tập. 1

Kiểm tra ràng buộc vận hành. Trước khi triển khai, cần đo độ trễ, bộ nhớ, chi phí, độ hiệu chỉnh xác suất, nhu cầu giám sát, chiến lược huấn luyện lại và các điều khoản áp dụng của kho dự án.

LimiX-2 là một nỗ lực đáng chú ý nhằm đưa học trong ngữ cảnh vào toàn bộ vòng đời của dữ liệu bảng, thay vì chỉ dự đoán biến đích. Các kết quả được báo cáo khiến mô hình trở thành ứng viên đáng để thử nghiệm thực hành. Nhưng liệu nó có vượt một pipeline chuyên dụng được tinh chỉnh kỹ hay không chỉ có thể trả lời bằng kiểm thử sát thực tế, chống rò rỉ dữ liệu, trên chính dữ liệu mục tiêu.