今天在用百度搜点内网内容的时候，发现搜索结果中有的链接标注了“微信公众平台”，试了一下，点击能打开并且跳转到的是微信公众号域名。很疑惑，我记得微信屏蔽了所有搜索引擎的抓取，只和搜狗进行了合作，没听说对百度开放了呀。
与此同时，Google 仍然不能搜索。于是再去看了下 robots.txt
User-Agent: *
Allow: /$
Allow: /debug/
Allow: /qa/
Allow: /wiki
Allow: /cgi-bin/loginpage
Allow: /cgi-bin/wx
Allow: /webpoc/ruleCenter
Disallow: /
这个Disallow: /一如既往呀，那百度是怎么搞的？无视 robots.txt ？南山法院没有作为吗？
 |
1
ijrou Aug 5, 2023
robots.txt 就是一个单方面的要求，就算南山法院要告，也不会拿 robots 告，而是以非法侵入计算机信息系统罪告。。。
|
 |
2
fantathat Aug 5, 2023 via iPhone
是呀，好奇怪呀，原来有收录，只是没有放出来，被你发现了，百度原来是偷偷干这事儿啊 😏
|
 |
3
googlefans Aug 5, 2023
这是这个君子协议
不是强制的 |
Select Language