Qwen 3.5 Small đổ bộ: Cứu tinh cho hội 'PC khoai tây' hay lại bánh vẽ?

Vừa mở mắt ra lướt Reddit đã thấy dân tình rần rần vụ Qwen 3.5 Small. Team Alibaba (Qwen) dạo này năng suất thực sự, code như máy khâu hay sao mà đẻ model sòn sòn.

Lần này không phải mấy con quái vật ngốn VRAM như nước lã, mà là hàng "nhỏ gọn" (Small models). Anh em dev nghèo vượt khó, máy yếu, GPU chạy bằng "cơm" bơi hết vào đây xem có xơ múi được gì không nhé.

1. Vụ gì đang hot thế mấy ông?

Chuyện là trên r/LocalLLaMA vừa có tin breaking news: Qwen 3.5 Small chính thức lên sóng (hoặc đang được leak/tease cực mạnh).

Theo thông tin hành lang và mấy tấm ảnh leak, thì đợt này Qwen đánh mạnh vào phân khúc size nhỏ và vừa. Nhìn vào cái list size model mà thấy sướng cả mắt: đủ các thể loại kích cỡ để nhét vừa mọi loại phần cứng.

Điều này có nghĩa là gì? Là mấy ông đang dùng laptop gaming đời tống hay PC văn phòng cắm card on-board sắp có đồ chơi mới xịn xò để vọc vạch local LLM mà không lo máy bốc khói hay tràn RAM sập nguồn.

2. Giang hồ Reddit dậy sóng

Dân tình trên Reddit thì khỏi nói, như nắng hạn gặp mưa rào. Tôi lượn một vòng comment thì thấy chia phe bàn tán xôm tụ lắm:

• Team "Oprah Winfrey": Một ông dev thốt lên: "Wow, Qwen đợt này chơi lớn đấy, size nào cũng có. Làm tốt lắm!". Ngay lập tức có ông vào quote lại cái meme huyền thoại: "Ông có Qwen! Bà có Qwen! Cả làng ai cũng có Qwen!". Kiểu này là phủ sóng toàn dân rồi.
• Team "PC Khoai Tây" (Potato GPU): Mấy ông máy yếu thì sướng run người: "Ôi cái GPU cùi bắp của tôi, tạ ơn thần Qwen". Rõ ràng, không phải ai cũng có tiền đập con 4090 hay H100 để chạy AI, nên mấy con model nhỏ nhưng thông minh (như dòng 35b, 27b đời trước đã ngon rồi) thì con 9B hay bé hơn ở đời 3.5 này dự là sẽ "bá đạo".
• Team Kỹ Thuật (Hardcore): Mấy pháp sư này thì nhìn xa hơn. Họ soi ra con model 2B (2 tỷ tham số). "Nếu con 2B này mà tương thích draft (nháp) với con khủng long 122B thì ngon".
  • Giải ngố nhanh cho anh em: Đây là kỹ thuật Speculative Decoding. Dùng con nhỏ (chạy nhanh) để đoán trước từ, rồi con to (chạy chậm nhưng khôn) chỉ việc check lại. Giúp tăng tốc độ generate text lên vù vù mà vẫn giữ được độ khôn của model to. Kèo này thơm!

3. Góc nhìn của C4F: Nhỏ nhưng có võ

Thẳng thắn mà nói, cuộc đua AI bây giờ không chỉ là ai to hơn (nhiều tham số hơn), mà là ai tối ưu hơn.

Việc Qwen tung ra bản 3.5 Small cho thấy xu hướng đưa AI về Edge Device (thiết bị cá nhân, điện thoại, laptop cùi) đang cực nóng. Anh em dev mình được lợi gì?

• Chạy Local: Không lo leak data công ty ra ngoài, code ầm ầm khi mất mạng.
• Tiết kiệm: Đỡ tốn tiền mua API của OpenAI hay Anthropic nếu nhu cầu chỉ là fix bug, refactor code nhẹ nhàng.
• Học tập: Model nhỏ là môi trường hoàn hảo để anh em vọc vạch fine-tune, học cách AI vận hành mà không cần thuê server AWS tốn cả gia tài.

Túm cái váy lại: Có đồ mới thì cứ pull về mà test. Ngon thì dùng, bug thì report, toang thì xóa. Đời dev mà, ngại gì vết bẩn!

Nguồn: Reddit - Breaking : Today Qwen 3.5 small