AMD "Vắt Chanh" Ra Lemonade: Hàng Nóng Local LLM Server Cho AE Đội Đỏ

Anh em dev dạo này chắc cũng rát ví vì cúng tiền cho API của OpenAI, hoặc khóc ròng nhìn cái giá trên trời của mấy con card xanh lá (Nvidia) rồi đúng không? Cơ mà khoan, Đội Đỏ (AMD) vừa chính thức thắp lên tí hy vọng với một con hàng mới toanh mang tên Lemonade. Để xem lần này AMD cho anh em uống nước chanh thật, hay lại bắt nhai vỏ chanh đắng ngắt nhé.

Tóm cái quần lại thì con Lemonade này là cái quái gì?

Nói nhanh cho nó vuông, Lemonade là một dự án open-source (mã nguồn mở) giúp anh em dựng một local LLM server siêu tốc. Điểm "ảo ma" nhất của con hàng này là nó được tối ưu để chạy trên cả GPU lẫn NPU (Neural Processing Unit - mấy cái lõi xử lý AI mà dạo này hãng nào cũng nhét vào CPU rồi quảng cáo rầm rộ ấy).

Thay vì phải đi thuê máy chủ cắn răng trả phí hàng tháng để chạy model, giờ đây nếu anh em đang xài hàng của AMD, Lemonade hứa hẹn sẽ vắt kiệt sức mạnh phần cứng của các ông để chạy LLM mượt mà ngay trên máy cá nhân. Viết bằng ngôn ngữ gì, tối ưu ra sao thì anh em lên repo đọc thêm, nhưng động thái này cho thấy AMD đang cực kỳ nỗ lực vá cái lỗ hổng to đùng về software để khô máu với hệ sinh thái CUDA của Nvidia.

Giang cư mận Hacker News xôn xao bàn tán

Dù là kèo thơm nhưng với cái "tiền án" làm software hên xui của AMD, cộng đồng mạng cũng chia phe combat nảy lửa lắm:

• Phe "Thở phào nhẹ nhõm": Rất nhiều đạo hữu cảm thấy hả hê vì cuối cùng NPU cũng có đất diễn. Bao lâu nay mua chip có NPU về toàn để làm kiểng, giờ thì AMD đã tung ra tool để cày thực sự. Một điểm cộng to đùng cho sự cố gắng làm open-source.
• Phe "Chấn thương tâm lý vì ROCm": Mấy lão quái từng config AI trên card AMD thì lại rén. "Chạy mượt không hay lại lỗi vặt vãi đ*o?" - Đây là câu hỏi kinh điển. Anh em thừa biết driver và software stack của AMD thi thoảng dở chứng như thế nào rồi đấy. Cài đặt mất thanh xuân, đang chạy thì sập server là chuyện... bình thường ở huyện.
• Phe "Ngư ông đắc lợi": Đa số anh em trung lập thì vỗ tay ầm ầm. Cứ có cạnh tranh là dev chúng ta có lợi. Cứ để Đội Đỏ và Đội Xanh đấm nhau đi, giá phần cứng giảm, tool ngon hơn, tội gì không hóng.

Chốt hạ từ Coding4Food: Bài học sinh tồn cho thợ code

Từ vụ Lemonade này, rút ra vài thứ hay ho cho anh em:

1. Đừng khinh NPU nữa: Tương lai của local AI không chỉ nằm ở mỗi cái card đồ họa cắn điện như uống nước đâu. Việc tối ưu cả CPU/NPU sẽ là xu hướng. Anh em nào chuẩn bị build máy thì nhớ nghía qua mấy con chip mới.
2. Cạnh tranh là chân ái: Nvidia bá đạo thật đấy, nhưng đừng bao giờ bỏ qua các giải pháp open-source từ các đối thủ. Đôi khi những công cụ như thế này sẽ cứu cánh cho những dự án ngân sách hẻo.
3. Thực dụng lên: Nếu anh em rảnh, thích chọc ngoáy, có máy AMD thì lôi Lemonade về test thử xem có "mượt" như quảng cáo không. Còn nếu anh em đang làm dự án cần deadline gấp, cần xử lý video hay ảnh mà lười setup, thì cứ đập mấy ai tools mì ăn liền có sẵn trên mạng mà xài cho nó lành, thời gian đấy để đi ngủ hoặc uống bia.

Nói chung, hoan hô AMD. Nước chanh này ngon hay dở thì thời gian (và số lượng bug trên Github) sẽ trả lời!

---

Nguồn hóng hớt: Lemonade Server AI