Crawl budget là gì? Cách tối ưu cho website lớn?

Crawl budget là số pages Googlebot crawl trong một khoảng thời gian — waste crawl budget bằng duplicate URLs hay redirect chains có thể khiến important pages không được index.

Gồm 2 yếu tố: Crawl rate limit (tốc độ crawl không gây quá tải server) và Crawl demand (Google muốn crawl bao nhiêu dựa trên popularity/freshness). Quan trọng khi website >10,000 pages.

Lãng phí crawl budget:

1. duplicate content (URL parameters, www/non-www)
2. soft 404s (trang trống return 200)
3. redirect chains (A→B→C→D)
4. infinite URL spaces (calendar, filters tạo vô hạn URL combinations)

Tối ưu: canonical tags, robots.txt block unnecessary paths, clean URL structure, sitemap chỉ chứa important pages, server response time <500ms, dùng 410 thay vì 404 cho permanently deleted pages. Lưu ý: rel=next/prev cho pagination đã bị Google deprecated từ tháng 3/2019 — không còn hiệu lực.