 |
1
felixzhu Dec 9, 2014
切换成本？
|
 |
2
phoneli Dec 9, 2014
网络io处理的问题？
|
 |
3
imn1 Dec 9, 2014
你那个不是乘的关系吧？
12秒 1k任务挺难想象的……爬什么网？ 如果只是本地，实际上只是磁盘IO…… |
 |
4
est Dec 9, 2014
目测代码姿势奇特。
|
 |
5
clino Dec 9, 2014
因为协程只能用一个cpu吧
所以适合与高IO低CPU的任务 |
 |
6
wuyadong Dec 9, 2014
requests是阻塞的吧。这样用没有用到协程的效果吧。
|
|
7
clino Dec 9, 2014
是不是因为爬到本地以后要做不少耗CPU的处理导致有这样的结果?
如果有比较耗CPU的动作,看能不能在协程中调用子进程处理,这样就不会因为高CPU阻塞本进程 |
 |
8
Feiox OP |
 |
9
richardtsai Dec 9, 2014
|
 |
10
dant Dec 9, 2014 via iPhone
20 个线程应该完全没有压力啊...
不过 CPython 好像有 GIL？ |
 |
11
tabris17 Dec 9, 2014
你协程有没有充分利用多CPU资源，协程使用的IO库是不是阻塞的
|
 |
12
sujin190 Dec 9, 2014
协程不是这么用的
|
 |
13
displayabc Dec 9, 2014
为什么协程会比线程快？
|
 |
14
cloverstd Dec 9, 2014
|
 |
15
zhouquanbest Dec 9, 2014
为了取得平衡
我一般是多worker(process)+gevent 数量根据业务调配 这样比较方便 （论人手一个Python爬虫轮子的重要性） |
|
16
clino Dec 9, 2014
楼主用 grequests 试过了吗?
|
 |
17
njutree Dec 9, 2014
首先不同语言的协程和线程还是有区别的，其次楼主爬的什么网页io高么，最后使用协程的时候没有让他们有阻塞么？
|
 |
18
zenliver Dec 10, 2014
request 阻塞的 无误
|
|
19
wuyadong Dec 10, 2014
@Feiox request是阻塞的，异步的关键是非阻塞的IO。我不是特别清楚gevent是否能将request转成非阻塞IO，但是我觉得有可能这个阻塞IO可能是关键。：）
|
 |
21
datou552211 Dec 30, 2014 via iPhone
协程 语言本身代替系统做了线程的工作 所以和语言的效率有关
|
Select Language