比如,我要采集淘宝商品购买的用户id,同一个ip访问频率太多,会被封ip,会被限制,
那么 如果我有10个vps,我该如何让程序能协作呢,如何分配任务呢,我该补充哪方面的知识呢
请大家指点一二
那么 如果我有10个vps,我该如何让程序能协作呢,如何分配任务呢,我该补充哪方面的知识呢
请大家指点一二
1
Wy4q3489O1z996QO Dec 26, 2013 gearman
|
2
fdsfsdfsdf3334 OP @romotc 谢谢 我了解下
|
3
pubby Dec 26, 2013 搞啥分布式,
每个vps上装个http或者socks5代理,挨个轮换代理不就行了 |
4
Lax Dec 26, 2013 如楼上说法,http库支持proxy。
用简单的http代理比如tinyproxy安装到vps上。 |