Xiaomi không chỉ giỏi bán điện thoại “ngon-bổ-rẻ” nữa. Giờ đây, họ đang âm thầm nhưng đầy táo bạo đặt chân vào cuộc đua AI khi tung ra MiMo-7B – mô hình ngôn ngữ lớn (LLM) mã nguồn mở đầu tiên của mình. Và bất ngờ chưa, nó không chỉ là một bước thử nghiệm, mà là lời tuyên bố mạnh mẽ rằng Xiaomi cũng có thể chơi sòng phẳng với những ông lớn như OpenAI hay Alibaba.
MiMo-7B – Nhỏ gọn nhưng đầy sức mạnh
Đúng như cái tên, MiMo-7B sở hữu 7 tỷ tham số – một con số khiêm tốn nếu đặt cạnh những “gã khổng lồ” như GPT-4 hay Qwen-72B. Nhưng đừng để kích thước đánh lừa bạn. Xiaomi cho biết họ đã tập trung huấn luyện MiMo-7B trên một tập dữ liệu cực kỳ “đậm đặc”, với 200 tỷ token thiên về suy luận, trải dài qua ba giai đoạn với tổng cộng 25 nghìn tỷ token. Đây là một con số khủng khiếp đối với một mô hình 7B.
Với mục tiêu: tối ưu khả năng suy luận và lập trình, MiMo-7B đã vượt mặt nhiều đối thủ trong các bài kiểm tra tư duy toán học và sinh mã – những bài toán mà chỉ AI “có não” mới làm được.
Không đi đường mòn: Chiến lược huấn luyện của Xiaomi có gì khác biệt?
Thay vì dự đoán token tiếp theo như mô hình truyền thống, Xiaomi chọn cách dự đoán nhiều token cùng lúc, rút ngắn thời gian suy diễn nhưng vẫn đảm bảo chất lượng đầu ra.
Ở giai đoạn hậu huấn luyện, Xiaomi triển khai các kỹ thuật reinforcement learning (học tăng cường) với một thuật toán riêng – Test Difficulty Driven Reward – giúp vượt qua rào cản lớn nhất của RL: tín hiệu phần thưởng khan hiếm. Đồng thời, chiến lược Easy Data Re-Sampling giúp ổn định quá trình học, giảm hiện tượng “lệch pha” dữ liệu thường thấy.
Hạ tầng cũng là vũ khí: Seamless Rollout tăng tốc mô hình
Không chỉ mô hình, mà nền tảng huấn luyện cũng được Xiaomi chăm chút. Công nghệ Seamless Rollout do hãng phát triển giúp giảm thời gian chết của GPU trong quá trình training và inference. Kết quả? Tốc độ huấn luyện tăng 2,29 lần, hiệu suất đánh giá gần gấp đôi. Đây là con số đủ để khiến bất kỳ đội ngũ AI nào phải chú ý.
MiMo-7B cũng hỗ trợ các chiến lược suy diễn tiên tiến như dự đoán nhiều token trên môi trường vLLM – xu hướng mới trong triển khai mô hình AI hiệu quả hơn.
Bốn phiên bản – Mỗi cái tên là một cấp độ sức mạnh
Xiaomi tung ra MiMo-7B với 4 phiên bản mở:
-
Base – phiên bản nền, đã qua huấn luyện sơ bộ.
-
SFT – tinh chỉnh với dữ liệu có giám sát.
-
RL-Zero – học tăng cường từ Base.
-
RL – tinh chỉnh từ SFT, được đánh giá cao nhất về độ chính xác.
Kết quả benchmark: Không phải “cùi bắp” đâu nhé!
Dù chỉ là mô hình 7B, nhưng MiMo-7B-RL đạt những con số cực kỳ ấn tượng:
-
Toán học: 95,8% trên MATH-500, hơn 68% trên AIME 2024.
-
Lập trình: 57,8% trên LiveCodeBench v5, gần 50% trên bản v6.
-
Kiến thức tổng quát: Trên 50 điểm cho các bài kiểm tra DROP, MMLU-Pro và GPQA.
Đây là mức hiệu suất vượt kỳ vọng đối với một mô hình nhỏ – một bước tiến không thể xem nhẹ.
Mở để chia sẻ: MiMo-7B lên Hugging Face
Hiện tại, MiMo-7B đã được Xiaomi mở mã trên Hugging Face, cho phép cộng đồng nghiên cứu và phát triển tự do sử dụng, điều chỉnh và đóng góp. Với triết lý mở, Xiaomi không chỉ thể hiện tham vọng công nghệ, mà còn sẵn sàng tham gia vào cộng đồng AI toàn cầu.
Lời kết: Xiaomi chơi lớn – AI sẽ là sân chơi tiếp theo?
Với MiMo-7B, Xiaomi không chỉ đơn giản ra mắt một mô hình AI. Họ đang khẳng định: “Chúng tôi nghiêm túc với AI, và chúng tôi có khả năng cạnh tranh thực sự.”
Từ chỗ chỉ được biết đến với smartphone giá rẻ, Xiaomi đang dần trở thành một thế lực công nghệ toàn diện, từ phần cứng đến phần mềm, từ thiết bị tiêu dùng đến trí tuệ nhân tạo.
MiMo-7B có thể chỉ là bước khởi đầu. Và nếu Xiaomi tiếp tục giữ tốc độ này, sẽ không bất ngờ nếu vài năm tới, cái tên Xiaomi xuất hiện dày đặc trong các bảng xếp hạng LLM toàn cầu.
