我自己做了一个分布式爬虫，但是我想知道我到底能到什么速度，有没什么办法可以离线测试抓取速度呢，比如：一秒钟可以下载完成多少个网页，不需要太精确，有个大概就行？
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 3177 days ago, the information mentioned may be changed or developed.
 |
1
t6attack Sep 3, 2017
网络环境是影响速度的重要因素。离线了还咋测试速度
|
 |
2
linuxchild Sep 3, 2017 via iPhone
监控网络速度吧，然后取均值
|
 |
3
huangfs Sep 3, 2017
日志能估算吧。
|
 |
4
bazingaterry Sep 3, 2017 via iPhone
自己写的爬虫，里面写一下统计有难度吗……
|
 |
5
SlipStupig OP |
 |
6
ericls Sep 3, 2017 via iPhone
既然是分布式 还是测试 scalability 吧
|
|
7
bazingaterry Sep 3, 2017 via iPhone
@SlipStupig 看你需要的精度？大不了一个页面一行 log。
|
 |
8
Devmingwang Sep 3, 2017
爬吧，豆瓣网子域名，read01 等等等一大批网站都已经疯掉国外部分 IDC 访问了。。。。
|
 |
9
nywwsba Sep 3, 2017
楼主现在用什么来跑爬虫呢？ vultr 怎么样
|
 |
10
jalena Sep 3, 2017
在执行前和执行结束写个时间，算一下不就好了么？多测试几次取个平均值就好了嘛
|
Select Language