Home Sign Up Sign In
xiaocsl
V2EX  ›  问与答

一个关于爬虫效率的问题,碰到瓶颈速度死活无法再提升.

  •   
  •   xiaocsl · Nov 24, 2015 · 2531 views
    This topic created in 3823 days ago, the information mentioned may be changed or developed.
    分别在三个网络环境中测试
    网络环境 带宽上行 带宽下行
    联通无路由 8Mbps 0.8Mbps
    长城有路由 15Mbps 15Mbps
    阿里云 10Mbps 10Mpbs

    全部 Windows 系统

    三种环境下,不管是多线程,还是开多份软件.
    速度都无法突破每秒钟 110 左右的 HTTP 请求.(带宽还很富余)

    问一下,是什么瓶颈卡住了速度.
    Supplement 1  ·  Nov 24, 2015
    现在的极限速度:
    每秒 110 左右个 HTTP 请求.
    下行 500kb 每秒
    下行 150kb 每秒
  • Mbps
  • 带宽
  • 瓶颈
  • mpbs
    6 replies  •  2015-11-24 18:21:34 +08:00
    xiaocsl
        1
    xiaocsl  
    OP
       Nov 24, 2015
    突然感觉好可怜,完全没人看啊.
    fishioon
        2
    fishioon  
       Nov 24, 2015
    你是如何确认带宽还有富余？单线程无法跑满带宽可以理解，但是如果多个进程肯定会跑满带宽的，当然进程之间是独立的
    wy315700
        3
    wy315700  
       Nov 24, 2015
    秒钟 110 次请求，如果每次请求 10KB 的话，那就是 1.1MB ，已经到了带宽上限了
    xiaocsl
        4
    xiaocsl  
    OP
       Nov 24, 2015
    @fishioon
    联通的,是跑满了.
    长城宽带不稳定另说.
    但阿里云我确定没跑满.


    @wy315700
    流量上行每秒 150kb 左右,离 10Mbps 还很远.
    wy315700
        5
    wy315700  
       Nov 24, 2015
    @xiaocsl
    下行呢
    xiaocsl
        6
    xiaocsl  
    OP
       Nov 24, 2015
    @wy315700
    下行每秒 500kb 左右.
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   945 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 34ms · UTC 21:12 · PVG 05:12 · LAX 14:12 · JFK 17:12
    ♥ Do have faith in what you're doing.