Pipette là gì và vì sao công cụ này đáng chú ý trong cuộc đua AI trên thiết bị?

Pipette là bộ công cụ benchmark miễn phí, mã nguồn mở do Liquid AI phát triển cùng Artificial Analysis, ra mắt ngày 24 tháng 8 năm 2026. Điểm khác biệt của Pipette là công cụ này không chỉ hỏi “mô hình nào thông minh hơn” hay “chạy được bao nhiêu token mỗi giây”, mà đánh giá cả một cấu hình AI chạy trực tiếp trên thiết bị: mô hình + định dạng lượng tử hóa + runtime + thiết bị + tác vụ. 1194

Nói cách khác, Pipette hướng đến câu hỏi thực tế hơn với người dùng điện thoại và máy tính cá nhân: một mô hình cụ thể, ở mức nén cụ thể, chạy bằng phần mềm cụ thể trên phần cứng cụ thể sẽ nhanh đến đâu, tốn bao nhiêu bộ nhớ và phản hồi có tốt không?

Pipette đo những gì?

Bản phát hành công khai gồm bộ dữ liệu hơn 1.000 cấu hình đã được kiểm chứng trong phòng thí nghiệm. Bảng xếp hạng ban đầu bao phủ hơn 30 mô hình, bảy lựa chọn lượng tử hóa và bốn thiết bị. Các kết quả được trình bày qua nhiều chỉ số hiệu năng trên thiết bị, thay vì chỉ dựa vào một con số tốc độ sinh token. 114

Các phép đo bao gồm:

• tốc độ xử lý phần prompt, hay còn gọi là prefill;
• tốc độ sinh nội dung, hay decode;
• thời gian tạo token đầu tiên (time to first token);
• thời gian phản hồi đầu-cuối;
• mức sử dụng bộ nhớ. 411

Cách tiếp cận này giúp tránh việc một thiết bị được đánh giá quá cao chỉ vì có tốc độ decode lớn, trong khi thời gian khởi động, độ trễ phản hồi hoặc nhu cầu bộ nhớ lại không phù hợp với trải nghiệm thực tế.

Hỗ trợ thiết bị, hệ điều hành và mô hình nào?

Pipette hiện có ứng dụng khách cho iOS và Android. Người dùng phải tải mô hình về thiết bị trước, sau đó ứng dụng mới chạy phép đo cục bộ; đây không phải bài kiểm tra một dịch vụ AI trên đám mây. 108

Nhóm mô hình ban đầu gồm các mô hình dòng LFM của Liquid AI cùng một số mô hình nhỏ của bên thứ ba như Gemma và Nanbeige. Phần đánh giá năng lực trên điện thoại tập trung vào những mô hình có thể nằm trong giới hạn 8 GB bộ nhớ khi được lượng tử hóa xuống 4 bit. 108

Về runtime và định dạng, dữ liệu ban đầu bao gồm nhiều lựa chọn lượng tử hóa cùng các bản dựng llama.cpp cho macOS, iOS, Windows và Android. Tài liệu Liquid AI cũng nêu GGUF là định dạng phù hợp cho suy luận cục bộ bằng CPU/GPU trên nhiều nền tảng, trong khi MLX được tối ưu cho máy Mac dùng Apple Silicon. 112

Pipette không nên bị nhầm với giới hạn ngữ cảnh tối đa của từng mô hình. Bài kiểm tra năng lực di động được công bố sử dụng giới hạn ngữ cảnh 16K token. Trong khi đó, danh mục LFM của Liquid AI có nhiều mô hình hỗ trợ ngữ cảnh 32K token và LFM2.5-8B-A1B hỗ trợ 128K token; đây là khả năng của mô hình, không nhất thiết là workload chuẩn trong đợt benchmark đầu tiên. 82

Vì sao khả năng tái lập kết quả quan trọng?

Giá trị lớn của Pipette nằm ở phương pháp đo. Mỗi kết quả gắn với một cấu hình đầy đủ, được thực hiện trong môi trường phòng thí nghiệm đã kiểm chứng và đi kèm quy trình công bố để người khác có thể kiểm tra hoặc tái tạo. 411

Công cụ cũng cố định các thành phần phần mềm cần thiết. Chẳng hạn, những kết quả hiệu năng công khai hiện yêu cầu các bản dựng llama.cpp cụ thể như b10216 và b10516, nhằm hạn chế việc thay đổi phiên bản runtime làm sai lệch phép so sánh. 6

Điều này đáng tin cậy hơn việc lấy một con số “token/giây” riêng lẻ từ nhà sản xuất. Tuy nhiên, benchmark trong phòng thí nghiệm không thể xóa bỏ hoàn toàn khác biệt do nhiệt độ, trạng thái hệ điều hành, dung lượng RAM của từng phiên bản thiết bị, backend và giới hạn công suất duy trì. Vì vậy, hai kết quả chỉ nên được xem là tương đương khi các trường cấu hình quan trọng khớp nhau.

Những kết quả đầu tiên nói lên điều gì?

Một kết quả đáng chú ý là iPhone 17 Pro đạt 48,37 token/giây khi chạy Gemma 4 E2B ở mức lượng tử hóa 4 bit qua Apple MLX. Đây là kết quả ấn tượng của đúng cấu hình Gemma 4 E2B + 4 bit + MLX/Metal + iPhone 17 Pro, chứ không phải điểm số đại diện cho mọi phiên bản Gemma hoặc mọi điện thoại. 45

Trong bài đánh giá năng lực mô hình trên thiết bị di động với giới hạn ngữ cảnh 16K, Nanbeige4.2-3B và LFM2.5-2.6B cùng đứng đầu với điểm trung bình 63. Ornith-1.0-9B đạt 62, còn Qwen3.5 9B (Reasoning) đạt 61. 98

Lưu ý lớn khi so sánh iPhone với Android

Hiện tại, iOS có thể sử dụng năng lực GPU thông qua Metal/MLX, trong khi ứng dụng Android ban đầu chỉ thực hiện tính toán bằng CPU. 10

Vì vậy, các con số thông lượng giữa iPhone và Android ở giai đoạn này chưa phải phép so sánh trực tiếp giữa hai nền tảng phần cứng. Kết quả trên iPhone có thể bao gồm tăng tốc GPU, còn kết quả Android phản ánh suy luận CPU với backend hiện tại. Các số liệu Android vẫn hữu ích để đánh giá hiệu năng CPU và trải nghiệm trong điều kiện đó, nhưng chưa đủ để kết luận tổng thể phần cứng AI cục bộ của một điện thoại nhanh hơn điện thoại khác. 104

Việc bổ sung backend Android có tăng tốc GPU hoặc NPU sẽ là bước cần thiết để tạo ra phép đối chiếu công bằng hơn giữa các nền tảng.

Pipette liên quan thế nào đến cuộc đua chip di động?

Pipette xuất hiện đúng lúc các hãng chip nhấn mạnh khả năng xử lý AI cục bộ và các tác vụ “agentic AI”. Qualcomm cho biết CPU Oryon thế hệ thứ ba trên Snapdragon 8 Elite Gen 5 có xung nhịp tối đa 4,74 GHz, đồng thời tuyên bố nền tảng này cải thiện 20% hiệu năng CPU và 35% hiệu suất năng lượng CPU. 14

Ở một thông báo riêng, Qualcomm cũng giới thiệu trước một nền tảng Snapdragon cao cấp tiếp theo với CPU Oryon hướng tới mốc 5 GHz và kiến trúc bộ nhớ đệm FlexCache, cho phép phân bổ bộ nhớ đệm linh hoạt giữa các lõi. Những thông tin này cho thấy ngành chip đang hướng tới các tác vụ cục bộ nhanh và phản hồi tốt hơn, nhưng riêng xung nhịp không thể dự đoán chính xác tốc độ suy luận mô hình ngôn ngữ. Runtime, băng thông bộ nhớ, hành vi bộ nhớ đệm, mức lượng tử hóa, backend GPU/NPU, nhiệt độ và giới hạn công suất duy trì đều có thể thay đổi kết quả. 913

Kết luận

Pipette hữu ích nhất khi được xem như một benchmark triển khai AI minh bạch, chứ chưa phải bảng xếp hạng cuối cùng cho toàn bộ phần cứng điện thoại. Khi Liquid AI mở rộng phạm vi thiết bị và bổ sung kiểm thử có tăng tốc NPU, công cụ này có thể giúp tách bạch đâu là lợi thế của CPU, đâu là lợi thế của GPU hoặc NPU trong cùng một workload. 64

Ở thời điểm hiện tại, cách đọc thận trọng nhất là luôn ghi rõ toàn bộ cấu hình phía sau một kết quả: mô hình nào, lượng tử hóa bao nhiêu bit, runtime nào, chạy trên thiết bị nào và dùng workload nào. Đó cũng chính là điều Pipette muốn biến thành tiêu chuẩn khi đánh giá AI chạy ngay trên thiết bị.