Đang múa phím hăng say thì ChatGPT sập server, API thì trừ tiền mòn ví, lại còn hay dính mấy vụ rate limit ức chế đ*o chịu được. Gần đây trên Hacker News, bài viết "Local AI needs to be the norm" đang lọt top trending với hơn 1000 upvote, réo tên một vấn đề cốt lõi: Đã đến lúc anh em dev nên tự bế con AI về chạy offline trên máy mình chưa?
Tại sao phải rước của nợ về nhà thay vì xài hàng cloud cho nhàn?
Bài gốc đưa ra một luận điểm khá chí mạng: Chúng ta đang quá phụ thuộc vào các pháp sư Big Tech. Cái gì cũng đẩy lên cloud, từ API của OpenAI, Anthropic đến Google. Việc mang AI về chạy local (offline trên máy tính cá nhân hoặc server nội bộ) mang lại những lợi ích mà mấy gói subscription đ*o bao giờ có được:
- Dữ liệu của mình là của mình: Copy paste đoạn code chứa business logic tỷ đô của công ty lên ChatGPT có ngày HR gọi lên uống trà đá chốt sổ. Chạy local thì data nằm chết trên ổ cứng, khỏi lo bị OpenAI đem đi train model.
- Đ*o sợ bị "khóa mõm": Cloud AI dính policy ngập mặt. Hỏi mấy câu hơi nhạy cảm tý về bảo mật hệ thống là nó phang ngay câu "As an AI language model...". Chạy local thì anh em là bố nó, thích uncensored cỡ nào cũng chiều.
- Không sợ bị "đem con bỏ chợ": Nhớ vụ OpenAI khai tử mấy model cũ làm vỡ hết bao nhiêu app của anh em không? Chạy local thì model tải về nó sống mãi mãi.
- Chạy offline: Mất mạng vẫn gen code ầm ầm. Đỉnh cao của tự kỷ là đây.
Giang cư mận chia phe combat nảy lửa
Bên dưới cái thread 1019 điểm này, giang hồ chia làm mấy phe cãi nhau um củ tỏi:
- Phe Paranoia (Cuồng bảo mật): Tán thành 2 tay 2 chân. Mấy lão quái này cho rằng data is king, đẩy data lên mâm cho mấy ông lớn xơi là một tội ác.
- Phe Nguyễn Văn Nghèo: "Nói thì hay lắm, nhưng lấy tiền đ*o đâu ra mua GPU?" Chạy mấy con model tử tế như Llama 3 nó cắn RAM như cắn thuốc, CPU thì nóng ran có thể rán chín quả trứng. Ban đầu so với việc thuê một cái máy chủ nhỏ gọn thì đập tiền build dàn PC khủng thốn hơn nhiều.
- Phe Thực dụng: Đa số anh em đều cho rằng Local AI rất ngon cho mấy tác vụ nhẹ nhàng, auto-complete code (kiểu dùng Ollama kết hợp với trình soạn thảo). Nhưng khi cần logic phức tạp, giải quyết bug ma giáo thì vẫn phải xì tiền ra lạy lục GPT-4 thôi, vì model local chưa đủ tuổi khôn bằng.
Góc nhìn từ Coding4Food: Bài học sinh tồn cho anh em dev
Tóm cái váy lại, "Local AI needs to be the norm" không phải là một cú lùa gà. Nó là tầm nhìn dài hạn. Phần cứng rồi sẽ rẻ đi, model sẽ ngày càng tối ưu và nhẹ hơn. Thay vì cắm mặt phụ thuộc 100% vào API của người ta, anh em nên tập tành vọc vạch mấy tool như Ollama, LM Studio đi cho quen mùi.
Xây dựng một luồng làm việc kết hợp: Việc dễ, việc cần bảo mật cao thì cho AI nhà làm; việc khó nhằn thì ném lên cloud. Đừng để đến lúc đứt cáp quang hoặc đứt túi tiền mới nhận ra mình đ*o thể code nổi một dòng nếu thiếu API.
Nguồn: Hacker News - Local AI needs to be the norm
