Đang yên đang lành thì một ngày đẹp trời sếp gọi lên phòng hỏi tại sao đoạn code bảo mật của công ty lại nằm chễm chệ trên data training của mấy pháp sư OpenAI. Toang! Cái kết của việc copy/paste vô tội vạ lên cloud đấy.
Nhưng tin vui cho các đạo hữu hệ "thích xài AI nhưng sợ chết": một con hàng mới mang tên LumiChats Offline vừa chễm chệ hạ cánh trên Product Hunt và ẵm ngay hơn trăm lượt upvote.
Chuyện là vầy, có một đạo hữu tên Aditya thấy gai mắt với việc mọi chữ anh em gõ vào ChatGPT, Claude hay Gemini đều bị bế thẳng lên một cái server ất ơ nào đó. Thế là lão vắn tay áo làm ra LumiChats Offline. Khẩu quyết của dự án này rất đơn giản nhưng gắt:
Đồ ngon thì tất nhiên giang cư mận không thể ngồi im. Dạo một vòng phần bình luận, anh em chia ra mấy luồng ý kiến nghe khá lọt tai:
1. Phe cuồng Privacy (Bảo mật là chân ái) Rất nhiều anh em đồng tình với lão Aditya. Xài mấy cái ai tools trên cloud tiện thì tiện thật, nhưng về lâu dài data công ty, data cá nhân cứ tích tụ trên đó thì có ngày vỡ mồm. Việc có một con AI offline-first đúng kiểu "cơn mưa rào giữa trời hạn".
2. Phe soi phần cứng và tính năng Một vài pháp sư nhảy vào hỏi ngay: "Thế tải model trên Apple Silicon thì nó handle thế nào?". Lão tác giả Aditya cũng úp mở nhẹ là đang phát triển không chỉ cái app desktop cùi bắp, mà hướng tới cả một hệ sinh thái CLI (lai giữa online/offline), local agents và tự động hóa. Tham vọng khá là ma giáo đấy!
3. Phe thực dụng: "Đừng nói tiếng Anh nữa, tiếng Việt thì sao?" Một cao nhân đang làm tool dịch thuật AI chỉ ra một sự thật đau lòng: Privacy-first AI là tốt, nhưng đa số mấy con local LLM nhỏ (dưới 7B params) đụng tới tiếng khác ngoài tiếng Anh là "bị ngáo". Tác giả Aditya cũng gật gù thừa nhận "English-or-nothing" đang là vấn nạn của model nhỏ, và team đang cày cuốc để fine-tune cho tụi nó đa ngôn ngữ tốt hơn.
Thêm nữa, quần hùng cực kỳ ưng cái mác Open Source (OSS) của LumiChats. Dân dev mà, "Talk is cheap, show me the code". Cứ OSS để anh em vào soi source code xem có backdoor không, chứ ba cái lời hứa "chúng tôi bảo mật lắm" của mấy anh big tech giờ nghe như văn mẫu.
Thực ra cái trò chạy AI local không mới, anh em rành tech vọc vạch ollama hay LM Studio chán chê rồi. Nhưng cái hay của LumiChats là nó gói ghém mọi thứ lại cho dân non-tech hoặc mấy anh em lười setup cũng xài được.
Bài học rút ra ở đây là gì? Trừ phi anh em đang làm pet project, chứ đụng đến NDA, code độc quyền của cty hay dữ liệu nhạy cảm của khách, thì bỏ ngay cái thói ném tuốt luốt lên các chatbot online đi. Mua một con máy RAM to to xíu, cắm tool local vào mà xài cho nó ấm thân, tối ngủ ngon không lo sếp gọi cháy máy.
Anh em mệt mỏi vì dùng AI bị leak code công ty? LumiChats Offline vừa lên sóng, hàng OSS chạy local 100%, không cần GPU, miễn phí hoàn toàn. Hóng xem giang cư mận nói gì!
