Anh em mệt mỏi vì tool cào web chết lên chết xuống mỗi khi frontend đổi CSS? Đọc ngay bài bóc tách SCRAPR – công cụ cào data không cần load browser.
Đã bao lần các ông muốn đập nát cái bàn phím vì con bot cào dữ liệu viết bằng Selenium lại lăn ra ngỏm chỉ vì một thanh niên frontend buồn tình đổi cái class CSS? Khóc đ*o ra nước mắt đúng không?
Nay lượn lờ Product Hunt, tôi vớ được một kèo khá thú vị tên là SCRAPR, đang ôm hơn 200 upvotes. Nghe quảng cáo là giải quyết triệt để cái nợ đời này, không cần browser, không cần code. Để xem thực hư thế nào.
Cha đẻ của tool này - lão Sukrit - có vẻ cũng là một nạn nhân của việc scraping bị toang liên tục. Lão tóm gọn nỗi đau của anh em ta thành 2 cái hố đen:
Thế là lão đẻ ra SCRAPR. Thay vì hì hục render cả cái page HTML nặng trịch, cái engine này nó ma giáo hơn: Nó chui vào chặn luôn mấy cái API network calls (kiểu fetch, axios, GraphQL) mà trang web dùng để load data. Rồi từ đó, nó lôi data sạch ra trả cho các ông.
Nói trắng ra, nó tự động hóa luôn cái trò mà anh em mình vẫn hay làm thủ công: Bấm F12, mở tab Network, ngồi căng mắt rình xem cái API nào trả về cục JSON xịn xò rồi copy mẹ cái cURL đó về xài.
Phía dưới comment là một bãi chiến trường tranh luận khá xôm. Tôi tóm lại cho anh em vài luồng ý kiến chính:
Phe khen ngợi: "Bá đạo, gãi đúng chỗ ngứa!" Nhiều anh em vỗ đùi đánh đét vì cách tiếp cận này. Có ông còn thắc mắc liệu tool có dùng ai tools để tự động nhận diện endpoint không. Sukrit bảo không cần phức tạp thế, tool phân tích tĩnh cách trang web load data và moi endpoint ra gọi trực tiếp. Thế là né được hẳn cái vụ frontend đổi UI.
Phe hoài nghi: "Gặp hàng cứng thì sao?" Một số pháp sư đặt câu hỏi khó: "Thế mấy trang chơi hệ Server-Side Rendering (SSR) hoặc giấu API như mèo giấu ct kiểu LinkedIn thì mút mùa à?"* Sukrit cũng khá cứng: Engine không chạy browser, nó đọc code để moi endpoint. Nếu xui rủi cái API bị giấu kỹ quá hoặc biến mất, SCRAPR có trò "quay xe" - fallback về cơ chế trích xuất thẳng từ cấu trúc HTML để chữa cháy.
Phe thực dụng: "Rate limit và block thì lách kiểu gì?" Cào data thì sợ nhất là bị khóa mõm. Tác giả trả lời khá huề vốn: Tùy cơ ứng biến theo từng trang. Nhưng vì SCRAPR gọi API trực tiếp, request rất nhẹ nên nó đóng giả làm "người dùng bình thường" dễ hơn là vác cả con browser đi spam.
Nói đi cũng phải nói lại, không có cái tool nào là "viên đạn bạc" giải quyết được 100% các website trên đời. Cơ mà tư duy của cha nội Sukrit này rất đáng để anh em học hỏi.
Thay vì đâm đầu vào cái ngọn (HTML/CSS DOM) thay đổi xoành xoạch, hãy đi tìm cái gốc (Data APIs). Bất cứ khi nào các ông code một chức năng, hãy tự hỏi: Mình có đang bị phụ thuộc vào thứ dễ vỡ nhất không?
Tool này là một minh chứng cho thấy: Đôi khi, tối ưu hệ thống không nằm ở việc ông viết cái regex xịn hơn hay build cụm server to hơn, mà nằm ở việc ông chọn đúng góc để "hack" vào hệ thống. Cuối cùng, nhắc nhẹ anh em có cào data thì cào có văn hóa tí, set cái sleep/delay vào, đừng DDOS sập server nhà người ta kẻo mang nghiệp nhé!
Nguồn hóng hớt: Product Hunt - SCRAPR
