Cào Dữ Liệu Không Còn "Toang" Lúc 2h Sáng Nhờ Con Bot Tự Chữa Lành Này?

Anh em dev từng làm mấy món cào dữ liệu (scraping/crawling) chắc không lạ gì cái cảnh: chiều qua script chạy mượt như Sunsilk, sáng nay mở mắt ra thấy sập server chỉ vì trang web mục tiêu nó đổi tên một cái CSS class. Nỗi đau bảo trì bot cào data nó còn thốn hơn cả việc chia tay người yêu cũ. Nhưng có vẻ như dạo này các pháp sư công nghệ đã bắt đầu tung ra thuốc giải.

Cào dữ liệu thời nay: Giao phó sinh mạng cho AI?

Vừa qua trên Product Hunt, dân tình đang xôn xao chấm 96 điểm cho một món đồ chơi có tên là Intuned Agent. Nói ngắn gọn cho anh em lười đọc, đây là một con AI Agent chuyên trị cái mảng tự động hóa trình duyệt (browser automation) trên môi trường production.

Thay vì anh em phải hì hục ngồi dò DOM, gõ từng dòng Playwright, thì bây giờ chỉ cần thả cho nó cái prompt mô tả luồng crawl data. Nó sẽ tự viết code Playwright, chạy test thử trên trang live thật, và bốc lên deploy luôn. Nghe ảo ma chưa?

Nhưng cái "ăn tiền" nhất không phải là viết code (giờ AI nào chả viết được). Cái xịn xò con bò ở đây là tính năng Tự chữa lành (Self-healing). Khi trang web thay đổi UI làm bot gãy, Intuned Agent sẽ tự mò vào xem log, screenshot, chẩn đoán xem cái gì vừa "toang", tự viết lại code fix và redeploy. Anh em chỉ việc rung đùi uống cà phê (hoặc ít nhất là họ quảng cáo thế).

Hội pháp sư chế cháo nói gì, và giang cư mận hỏi khó thế nào?

Đọc comments trên Product Hunt mới thấy team dev của Intuned cũng nếm mật nằm gai chán chê mới đẻ ra được bản này. Dưới đây là mấy luồng hóng hớt chính:

1. Khách hàng lười là khởi nguồn của sáng tạo: Lão đại Faisal (Co-founder) kể rằng, ban đầu họ chỉ định làm nền tảng cho dev tự code. Nhưng khách hàng thì lúc đ*o nào cũng kiểu: "Thôi các ông tự build rồi tự maintain luôn cho tôi đi". Thế là team đành nhúng con Claude Code (thông qua Anthropic Agent SDK) vào hệ thống để làm con sen cao cấp.

Tuy nhiên, một thanh niên qua đường đã vứt ngay một câu hỏi cực kỳ thực tế vào mặt team: "Ê, lúc nó tự fix lỗi rồi redeploy, thì nó có mở PR cho con người duyệt không? Hay nó tự ý push thẳng? Cho nó tự chạy mấy luồng có auth (đăng nhập) thì rén lắm sếp ạ!" (Vụ này công nhận, thả bot chạy lung tung có ngày bay acc như chơi).

2. Đập đi xây lại vì "pipeline" quá cứng nhắc: Đạo hữu Nasser bộc bạch rằng version đầu tiên họ làm theo kiểu luồng cứng (step by step: thu thập -> cấu trúc -> fix lỗi). Kết quả? Chính team nội bộ còn chê ỏng chê eo vì nó quá phế khi gặp mấy trang web "bát nháo" ngoài đời thực. Cuối cùng, phải quay xe sang dùng Agent chạy linh hoạt từ đầu đến cuối mới mượt được.

3. Nuôi bot tốn cơm, quản lý state lòi trĩ: Trưởng lão Rauf và các kỹ sư hệ thống thì than thở về UI/UX. Làm chat bot thì dễ, chứ làm Agent thì phải quản lý cả đống trạng thái cùng lúc (code, browser, phiên chạy, bill tiền, và trạng thái con người duyệt). Để tránh tình trạng bot ngốn RAM cắn CPU vô tội vạ, họ phải chơi trò dùng microVMs. Bật lên phát chạy luôn trong vài giây, nhưng không tốn tiền nuôi idle.

Đặc biệt, thanh niên Omar còn khoe họ làm hẳn một cái CLI (Command Line Interface) riêng biệt... chỉ để cho con Agent dùng. Tức là bot tự gõ lệnh --help để tìm cách xài tool y như người thật. Chắc chắn là dị giáo!

Tóm cái váy lại từ Coding4Food

Từ góc nhìn của vãn bối, Intuned Agent đang gãi đúng chỗ ngứa lớn nhất của dân làm data: Bảo trì (Maintenance). Viết một cái scraper thì nhắm mắt cũng làm được, nhưng giữ cho nó chạy ổn định qua năm tháng giữa hàng vạn cái iframes, CAPTCHA, và infinite scroll thì đúng là ác mộng.

Bài học rút ra cho anh em dev làm product ở đây là gì? Đừng chỉ đưa cho người dùng cái búa, nhiều khi họ lười đến mức chỉ muốn bạn đóng luôn cái đinh cho họ. Việc nhúng AI vào không phải để làm màu, mà để lo phần "chân tay" cực nhọc nhất.

Tất nhiên, nếu anh em đang tự build dàn crawler cắm trên máy chủ riêng, kẹp thêm mớ Proxy để lách luật thì chắc chắn sẽ hiểu để setup được luồng này mệt thế nào. Có tool tự làm hết thì ngon, nhưng vẫn phải cẩn thận set quyền cho nó, không nó tự động mua sắm bằng thẻ tín dụng của công ty thì lúc đó lại lên báo khóc.

Anh em thấy sao? Sẵn sàng giao phó kịch bản crawl data cho AI chưa?

---

Nguồn: Product Hunt - Intuned Agent