• 请不要在回答技术问题时复制粘贴 AI 生成的内容
jsxyzb
V2EX  ›  程序员

GSC 站点地图无法抓取

  •  
  •   jsxyzb · 7h 56m ago · 356 views

    最近做了个网站,提交 Google Search Console ,站点地图始终无法抓取,诸位大神有什么建议吗?

    之前提交 Google Search Console ,没有遇到过站点地图无法抓取的问题,这次遇到了,而且前后反复修改了一个多月了,还是不行。目前的现状是,Cloudflare 安全性下清晰显示,Bing 、baidu 等均能正常请求 sitemap, googlebot 请求了网站的其他资源,唯独没有请求 sitemap!

    这不是推广帖,求助帖!别又给我划到推广了!

    已经尝试过的修改:

    1. 检查 sitemap / robots 基础可访问性,robots.txt 正常; sitemap.xml 返回 200 application/xml

    2. 校验 sitemap 内容格式,sitemap.xml 通过 XML 校验; sitemap-static.xml 通过 XML 校验 (新建的一个静态文件);静态 sitemap 也失败,排除 Next metadata route 单点问题

    3. 模拟不同抓取请求方式,Googlebot UA 返回 200 ; HTTP/1.1 返回 200 ; gzip/compressed response 正常

    4. 检查 Cloudflare 安全/爬虫拦截,AI Crawl Control 正常; Security Events 里 Googlebot / Google-InspectionTool 未被 Block 或 Challenge ;已配置 Allow Verified Bots 规则

    5. 检查 Cloudflare DNS / 自定义域名 / SSL ,SSL enabled ; DNS CNAME 指向 Pages ; DNSSEC 无异常

    6. 修复并验证 Cloudflare Pages 构建链路,移除 next/font/google ;改用 system font stack ; npm run build 和 build:cf 通过;构建产物确认包含 sitemap / robots

    7. 迁移测试到 Cloudflare Workers + OpenNext ,部署 Worker ;配置 OpenNext / Wrangler / R2 binding ;测试 worker ; Worker 正常返回,确认 x-opennext: 1

    8. 把正式域名从 Pages 切到 Workers 后重试,页面、robots 、sitemap 均返回正常; GSC 重新提交 sitemap.xml 仍失败

    9. 尝试提交带 query 参数的 sitemap,https://xxx/sitemap.xml?google=please; 本地访问正常; GSC 仍显示无法抓取( reddit 上看到有人这么干成功的)

    10. 迁移到 Vercel 部署, 页面、robots 、sitemap 均返回正常; GSC 重新提交 sitemap.xml 仍失败

    还测试过其他的方法,感觉都没有解决问题,实在没辙了! 网站地址:videosnap.cc 请诸位大神指点

    7 replies    2026-06-01 23:21:05 +08:00
    Perchouli
        1
    Perchouli  
       7h 17m ago
    看描述真是疑难问题了。是说 Bing 能正常抓取 sitemap.xml ?是不是可以排除连通性问题。

    这个 GSC 的提交失败 Status 一直不成功,是[失败]?在 GSC 顶部的搜索栏直接输入 sitemap.xml 的地址是绿色吗
    nc
        2
    nc  
       6h 59m ago
    这是 Google 的问题,过几个月再重试吧,没有站点地图不影响 Google 正常索引你的网站。
    iszengmh
        3
    iszengmh  
       4h 45m ago
    我用的 cloudflare 部署免费静态网站和免费静态域名,也是在搜索引擎找不到,刚刚第一次尝试 google gsc ,等明天看看行不行
    BeCool
        4
    BeCool  
    PRO
       4h 31m ago
    不要用 .cc 域名,经验之谈。
    kdwnil
        5
    kdwnil  
       4h 25m ago
    sitemap 抓取失败的记录会保留很长一段时间,几个星期甚至几个月都有,并没什么影响
    return0faIse
        6
    return0faIse  
       3h 35m ago
    我的 cc 域名也不行, 怎么提交都显示无法抓取, 但实际下来好像并不影响索引.
    cnrting
        7
    cnrting  
       2h 31m ago via iPhone
    别管它这货动不动就出毛病
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1178 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 39ms · UTC 17:52 · PVG 01:52 · LAX 10:52 · JFK 13:52
    ♥ Do have faith in what you're doing.