Web của bạn có thân thiện với bot AI? Chuẩn L0-L5 là gì?

Đang ngồi ngáp ruồi check log thì lướt thấy một con hàng khá dị trên Product Hunt. Anh em dev suốt ngày mải mê cày cuốc lo SEO cho người đọc, cơ mà đã bao giờ tự hỏi: "Cái trang web ghẻ của mình liệu bọn bot AI nó vào đọc có hiểu cái đ*o gì không?"

Nguồn cơn sự vụ: Thước đo xem web bạn có "chơi đẹp" với bot không

Gần đây trên mạng đang rần rần cái project tên là Silicon Friendly. Tác giả vứt ra một khái niệm nghe khá lọt tai: "Bọn Silicon (bot AI) giờ lướt web còn nhiều hơn đám Carbon (con người) chúng ta". Nghĩ mà xem, nếu cái web của các ông cứ giấu nội dung sau 7749 lớp bảo mật chặn crawl, bot nó đ*o đọc được thì coi như toang, sản phẩm khỏi ai biết tới luôn. Thế là lão dev này đẻ ra một cái thang điểm từ L0 đến L5 để chấm độ "thân thiện" của web với bọn agent.

L0 là kiểu thù địch (actively hostile), block bot tận cổ, bắt giải CAPTCHA lòi mắt.
L5 là trải thảm đỏ mời bot vào xơi, data cấu trúc mượt mà xịn xò con bò. Và hay ở chỗ, tool này còn xuất ra cái report chi tiết để anh em tải về cấu hình cho file llms.txt, hướng dẫn bot cắn data sao cho mượt.

Giang cư mận chia phe combat

Bài đăng này húp trọn 240 upvotes trên Product Hunt. Bình luận bên dưới đa phần là các cao nhân vào chém gió xôm tụ lắm:

Quan điểm thực dụng: Một đạo hữu kêu ca web ngân hàng như hạch, lúc nào cũng muốn nhờ agent vào check số dư hộ. Nhưng ngặt nỗi, AI mà "ngáo" đọc nhầm số thì vỡ nợ. Lão này chốt hạ một câu khá bá đạo: "Người ta đang đổ xô đi làm tool giải CAPTCHA với fake IP người dùng rồi. Bất chấp các ông có muốn hay không thì bot vẫn sẽ cào web. Vấn đề là web đã sẵn sàng chưa, hay mình lại đi chửi con bot ngu trong khi mình đ*o thèm thiết kế để nó đọc?".
Phe tò mò học hỏi: Có ông đòi phải show ví dụ thực tế cho từng level từ L0 đến L5 xem nó ra cái thể thống gì. Tác giả cũng rất ma giáo và chiều khách, tung luôn hotfix thêm cái section "browse by level" vào web ngay và luôn.
Phe lười biếng: Mấy anh em dev chê cái trò bắt tạo tài khoản mới cho test (bệnh chung của anh em IT). Chủ thớt vội vàng vào giãi bày là làm thế để xác minh chính chủ web, tránh bị spam sập server, chứ mấy info cơ bản thì ổng mở free hết, thề không spam mail.
Lời khen có cánh: Một pháp sư marketing lại khen cái tên dự án quá bén. Lão ví von nó y chang cái PageSpeed của Google, nhưng là dành cho AI. Từ một cái lời khuyên "hãy thân thiện với AI" chung chung, giờ nó thành bộ tiêu chuẩn có thể lôi ra cày điểm.

Chốt hạ: Chuẩn bị bát cơm mới cho anh em mình

Tóm cái váy lại, sau vụ này anh em dev lại sắp có thêm task mới rồi. Thay vì hì hục ngồi tìm cách chặn bot cắn RAM vô vọng, có lẽ đã đến lúc suy nghĩ về AIO (AI Optimization) thay vì chỉ SEO truyền thống. Đằng nào thì bọn agent cũng sẽ tràn vào thôi, thà cấu trúc lại data cho tụi nó đọc dễ dàng, còn hơn để nó hallucinate (ảo giác) ra cái giá bán sản phẩm trên trời rồi khách lôi mình ra chửi. Anh em chuẩn bị tinh thần update CV có thêm dòng "Chuyên gia tối ưu hóa chuẩn L5 cho web" đi là vừa!

Nguồn: Silicon Friendly trên Product Hunt

Nguồn cơn sự vụ: Thước đo xem web bạn có "chơi đẹp" với bot không

L0 là kiểu thù địch (actively hostile), block bot tận cổ, bắt giải CAPTCHA lòi mắt.

L5 là trải thảm đỏ mời bot vào xơi, data cấu trúc mượt mà xịn xò con bò. Và hay ở chỗ, tool này còn xuất ra cái report chi tiết để anh em tải về cấu hình cho file llms.txt, hướng dẫn bot cắn data sao cho mượt.

Giang cư mận chia phe combat

Bài đăng này húp trọn 240 upvotes trên Product Hunt. Bình luận bên dưới đa phần là các cao nhân vào chém gió xôm tụ lắm:

Quan điểm thực dụng: Một đạo hữu kêu ca web ngân hàng như hạch, lúc nào cũng muốn nhờ agent vào check số dư hộ. Nhưng ngặt nỗi, AI mà "ngáo" đọc nhầm số thì vỡ nợ. Lão này chốt hạ một câu khá bá đạo: "Người ta đang đổ xô đi làm tool giải CAPTCHA với fake IP người dùng rồi. Bất chấp các ông có muốn hay không thì bot vẫn sẽ cào web. Vấn đề là web đã sẵn sàng chưa, hay mình lại đi chửi con bot ngu trong khi mình đ*o thèm thiết kế để nó đọc?".

Phe tò mò học hỏi: Có ông đòi phải show ví dụ thực tế cho từng level từ L0 đến L5 xem nó ra cái thể thống gì. Tác giả cũng rất ma giáo và chiều khách, tung luôn hotfix thêm cái section "browse by level" vào web ngay và luôn.

Phe lười biếng: Mấy anh em dev chê cái trò bắt tạo tài khoản mới cho test (bệnh chung của anh em IT). Chủ thớt vội vàng vào giãi bày là làm thế để xác minh chính chủ web, tránh bị spam sập server, chứ mấy info cơ bản thì ổng mở free hết, thề không spam mail.

Lời khen có cánh: Một pháp sư marketing lại khen cái tên dự án quá bén. Lão ví von nó y chang cái PageSpeed của Google, nhưng là dành cho AI. Từ một cái lời khuyên "hãy thân thiện với AI" chung chung, giờ nó thành bộ tiêu chuẩn có thể lôi ra cày điểm.

Chốt hạ: Chuẩn bị bát cơm mới cho anh em mình