最近搜东西时，发现微信的 robots.txt 文件禁止了除首页和几个页面的爬虫索引： https://mp.weixin.qq.com/robots.txt
User-Agent: *
Allow: /$ #关于此指令解释在链接 [2] 文末
Allow: /debug/
Allow: /qa/
Allow: /wiki
Allow: /cgi-bin/loginpage
Allow: /cgi-bin/wx
Disallow: /
作为中文互联网最大的内容平台之一，微信竟然只对其他搜索引擎开放了几个页面[1]，如果需要搜微信公众号的文章必须得在微信内，或者腾讯系搜索引擎——搜狗内进行搜索，这是否已经涉嫌违反了《反垄断法》？
[1] https://www.google.com/search?q=site:mp.weixin.qq.com
[1] https://www.baidu.com/s?wd=site%3Amp.weixin.qq.com
[2] https://developers.google.com/search/reference/robots_txt
 |
1
PureWhiteWu Dec 25, 2020  4
不涉嫌。
这是知识产权问题。 |
 |
2
lakehylia Dec 25, 2020 3
不涉嫌，这是 WWW 的设计问题，robots.txt 就是一个行业自律协议而已，没有法律效力的。
|
 |
3
takemeaway Dec 25, 2020 14
微信本身就涉嫌垄断了，还需要管 robots 文件？
|
 |
4
captray OP |
 |
5
helionzzz Dec 25, 2020
一个日活 12 亿的软件本身已经处在实质垄断的地位了，不缺你一个行业自律 txt
|
 |
6
Jooooooooo Dec 25, 2020
那淘宝也应该开放百度抓取?
|
 |
7
longaiwp Dec 25, 2020 4
这个文件完全没有任何违规，但是微信垄断也不需要这个文件来证明，我们从它的行为已经能判断出它垄断了。
|
|
8
PureWhiteWu Dec 25, 2020
@lakehylia robots.txt 有法律效力。
|
|
9
captray OP |
 |
11
luoqeng Dec 25, 2020 1
南山必胜客了解下
|
 |
12
natashahollyz Dec 25, 2020
第一 wx 本身就是垄断了，和 robots 无关
第二 你家不让人进，这不是很正常吗？ |
 |
13
duhongle Dec 25, 2020
robots 可以遵守也可以不遵守。。。关键是你爬取微信文章使用。。。微信直接搞死你
|
 |
14
EminemW Dec 25, 2020 via iPhone
想啥呢？
|
 |
16
glennv2ex Dec 25, 2020
robots 就是个君子协议
|
 |
17
passerbytiny Dec 25, 2020 via Android
如果微信公众号占有市场主导地位，那么这么做是垄断的。在这一点上确实没垄断，因为微信公众号在内容平台市场不具有主导地位，事实上也不可能有任何商业公司能够主导国内的内容平台市场。
|
 |
18
prodcd Dec 25, 2020
https://www.taobao.com/robots.txt
User-agent: Baiduspider Disallow: / User-agent: baiduspider Disallow: / |
 |
19
xhpan10 Dec 25, 2020
是垄断了。。用户发的文章，他不能去强制决定这篇文章不能被其它搜索引擎收录
|
 |
20
x86 Dec 25, 2020 via iPhone 1
写爬虫还理直气壮了咋不要求微信给你个 api 直接调呢
|
 |
24
lcnr Dec 25, 2020
求问如果直接在 robots.txt 里写了禁止爬虫的目录，比如后台 admin 目录。。。但是通过网址直接打开 http://xxx.com/robots.txt 不就看到了后台的地址？
|
 |
25
mmdsun Dec 25, 2020 via Android
腾讯：只要我招聘国家退休官员够多，永远别想搞我反垄断。（梗来源于腾讯招要求）
|
 |
26
watzds Dec 25, 2020 via Android
说得好！淘宝禁止百度爬商品带的头
|
 |
27
Urutora Dec 25, 2020 via iPhone
整天盯着蚊子吸你血，吸血鬼当没看见，服了。行政机关的垄断算不算垄断呢？怎么没人不服？
|
 |
28
iamsad3508 Dec 26, 2020 via Android
1.法律.txt 不改也行
2.以前有 MSN，QQ 不构成垄断。现在有钉钉，说不定还是不能构成垄断呢 3.360 的案子好像是说明 robot 还是有一些效力的吧？ |
|
30
lcnr Dec 26, 2020
@dfkjgklfdjg #29 明白了，先禁用所有，然后打开指定目录，多谢
|
Select Language