Bóc phốt Social Fetch: API cào data mạng xã hội cực mượt hay cú lừa 'Rate Limit'?

Các ông từng cào data (scrape) từ mấy trang mạng xã hội chưa? Cứ viết xong cái tool chạy mượt mà hôm nay, sáng mai ngủ dậy thấy anh Mác xoăn hay anh Lông Mút đổi nhẹ cái class CSS là tool lăn ra chết đ*o kịp ngáp. Khóc tiếng mán luôn!

Nguồn cơn sự vụ: Cứu tinh của anh em hệ "cào data"?

Mới đây, một pháp sư tên Luke vừa ném lên Product Hunt con hàng tên Social Fetch và húp trọn hơn 244 upvote.

Tóm tắt nhanh cho anh em lười đọc, thì nó là một cổng REST API duy nhất để kéo data public từ 6 cái mỏ vàng: TikTok, Instagram, X (Twitter), LinkedIn, YouTube và Facebook.

Thay vì phải tự viết và maintain một mớ scraper gớm ghiếc, anh em chỉ cần gọi API của Social Fetch là có ngay cục JSON thơm phức chứa profile, post, comment, video. Đã thế lão Luke còn chơi lớn: tính tiền theo kiểu pay-as-you-go, không có rate limits, cho sẵn 100 credits để test, đ*o cần add thẻ tín dụng. Thêm quả OpenAPI với TypeScript SDK tận răng cho anh em builder.

Luke tâm sự mỏng rằng lão làm cái này vì chán ngấy cảnh đêm hôm phải dựng dậy hotfix chỉ vì một cái selector trên web người ta bị đổi. Lão muốn API này sẽ "chịu đòn" thay cho dev, để anh em yên tâm mà ship tính năng mới. Nghe bùi tai phết!

Giang cư mận chia phe: Hít mùi tiền hay chờ mùi toang?

Ngó xuống phần comment, cộng đồng đang chia làm mấy luồng ý kiến cực kỳ sôi nổi:

• Phe rớt nước mắt cảm động: Mấy anh em đang build tool cho influencer thì khóc thét bảo "giá như tao biết mày sớm hơn", đỡ tốn hàng tuần ngồi debug mấy cái scraper vớ vẩn. Ý tưởng gom tất cả vào một API chuẩn chỉnh được đánh giá là xịn xò con bò.
• Phe đạo hữu đa nghi: Một lão quái ẩn danh đặt câu hỏi chí mạng: Nhất thống 6 nền tảng bằng một API là chuyện ảo ma. Nhất là thằng LinkedIn, chúa tể khóa mõm scraper. Lão này hỏi thẳng: Quả "no rate limits" là sao? Chú em tự bỏ tiền túi chịu nhiệt upstream, hay là đang xài trò định tuyến qua một mớ residential proxies rồi để nó tự ngắc ngoải khi server bị spam?
• Phe "Tester" thực dụng: Ngộ nhỡ mai mốt LinkedIn nó ship một cái luồng auth mới thì SLA (thời gian fix) của Social Fetch là bao lâu? Tool của tao mà sập theo mày thì ai đền?
• Phe tò mò tech stack: Nhiều anh em vào hỏi thẳng mặt: "Tóm lại backend chú em chạy kiểu gì? Có phải đi scrape lậu (không chính ngạch) từ mấy mạng xã hội đó không?"

Góc nhìn từ Coding4Food: Mượn đầu heo nấu cháo

Đứng ở góc độ một thằng thợ code từng sấp mặt vì maintain scraper, tôi thấy ý tưởng của Luke rất đáng tiền. Cái đau đớn nhất của dân làm data là sự ổn định (stability) chứ đ*o phải việc request thành công hay không. Trả tiền cho một thằng khác ăn hành thay mình là một cái deal quá ngon.

Nhưng mà đời không như là mơ các đồng đạo ạ. Cào data mạng xã hội bây giờ là cuộc chiến mèo vờn chuột khốc liệt. Các anh lớn thì đang rào cổng, đóng API dần để đem bán data cho bọn train AI.

Bài học sinh tồn ở đây là gì? Dùng mấy tool này thì cứ xác định mindset là "mượn đầu heo nấu cháo", dùng để build MVP, validate idea cho lẹ thì tuyệt vời. Còn nếu định phụ thuộc 100% core business của các ông vào nó thì cẩn thận có ngày toang. Vì mạng sống của tool ông nằm trong tay Luke, và mạng sống của Luke lại nằm trong tay anh Mác! Cứ thủ sẵn một phương án backup nhé.

Nguồn: Product Hunt