爬虫是放在电信机房，只有一个固定 ip （后期也无法更换 ip ），但业务是爬虫，遇到 IP 被封得换，目前思路是在家里拉 3 条宽带（最好有公网 ip ），然后机房那边先到家宽，然后取爬数据。
我的想法是在家宽路由器上定时上报 3 个宽带 ip，然后安装 socks5 代理给机房服务器使用，机房那边遇到 ip 被封禁，就下发指令给家宽路由器重新拨号获取新的 IP 。
还有更好的实现方式吗？
This topic created in 2110 days ago, the information mentioned may be changed or developed.
 |
1
shoaly Sep 1, 2020  2
3 条宽带的预算报下来, 然后跟同事商量一下, 他们每个人家里面的宽带装一个你说的 socks5, 这样 ip 数量就多了... , 同事每天中午的饭也能加个鸡腿
|
 |
3
supermoonie Sep 1, 2020 via iPhone 1
云立方 定时拨号 之前在公司搞过，顺便问下缺人手不🌚
|
 |
4
Lax Sep 1, 2020 1
家里的机器拨号之后自动 ssh tunnel 回机房的机器，在机房机器上监听固定端口。这样爬虫程序直接练本地端口就可以，甚至不需要知道远端机器的 ip 。
|
 |
6
moln Sep 1, 2020
所以为啥不直接在家里爬呢
|
 |
8
macy Sep 1, 2020 1
咸鱼买一个，80 块钱一个月，几千个 ip 随便换
|
 |
10
dorothyREN Sep 1, 2020 1
有个东西叫拨号 VPS，20 块钱一个月。。。你需要的可能是这个
|
 |
11
herozzm OP @dorothyREN #10 我知道这货，也考察了，带宽太小，比不上普通家庭的动则百兆且独占
|
|
12
dorothyREN Sep 1, 2020
@herozzm #11 讲真，爬虫用得到这么大带宽？ 5M 都用不了吧
|
 |
13
locoz Sep 1, 2020 via Android 1
三条宽带建议不同运营商，增大 IP 池的容量。
组网可以用 ZeroTier，代理服务器搭好之后机房服务器直接调内网 IP 就行，其他不用管，也不需要写脚本连 ssh 啥的。 IP 如果没有保持的需求的话，可以直接就定时重拨，省时省力，而且路由器通常也自带这种功能。 |
|
16
herozzm OP @dorothyREN #12 一台服务器同时并发爬几千个网站
|
 |
18
ik Sep 1, 2020 via iPhone 1
4 楼的方案通过, frp 也可以实现，不用上报 ip
|
|
19
ik Sep 1, 2020 via iPhone
4 楼的方案，通过 frp 也可以实现，不用上报 ip
|
 |
22
lysS Sep 1, 2020
你不是移民去越南了吗？
|
 |
23
rekulas Sep 1, 2020 1
8 楼的方案可行的 当然自己还要开发 搭建起代理池 qps 几十是没有问题的
|
 |
26
shenfu1991 Sep 1, 2020 via iPhone
只要国内 ip ？如果国外 IP 也可以的话机场不就是最佳选择？
|
|
27
herozzm OP @shenfu1991 抓的是国内网站，用国外 ip 就是自残
|
 |
28
tlxxzj Sep 2, 2020 1
你可以在网上买带拨号功能的 vps, 各个地区都有， 然后自己写个程序，定时拨号换 ip，这是我之前公司的做法。
|
|
29
tlxxzj Sep 2, 2020 1
你自己拉宽带，到最后你会发现，换来换去，就那麽几个 IP，很快就不能用了
|
 |
34
limetw Sep 4, 2020 via Android
Baidu Proxy IP location / Inlet / Outlet
112.80.255.21 Nanjing CU CT 180.97.104.45 Nanjing CT CT 163.177.151.162 Guangzhou CU CM 14.215.177.73 Guangzhou CT CM 123.125.142.40 Beijing CU CM 220.181.43.12 Beijing CT CM |
 |
35
kayv Nov 2, 2023
@dorothyREN 推荐一个拨号 vps 吧。。
|
Select Language