V2EX › Lateautumn 的所有回复 › 第 2 页 / 共 3 页

@dorothyREN 这个是两个问题，（ 1 ） Q:怎么验证有效性； A:若是抓取的 IP 有有效时间根据有效时间来判断，如果没有，则是根据比较大众的方法，采用将 IP 作为代理去访问网站看是不是连接的上（ 2 ）多长时间验证一次有效性：这个时间间隔主要也是考虑到有些网站的 IP 会显示最后验证时间，所以根据这个来判断，我会将这个时间设置为 1 分钟。
有个很严重的问题就是 IP 数量非常大的时候，以每分钟去验证 IP 会有难度，这个我觉得以后也是一个有优化空间的点。

2018 年 10 月 14 日

回复了 Lateautumn 创建的主题 › Python › 深夜兴奋，想要开源个代理池，大家能否帮我把把关，目前还未实现

@SpiderXiantang 对，就是因为网络上爬来的 IP 数据格式比较乱，可用性比较低，才更需要实时，快速准确的识别有效的 IP,所以对于这个项目来说，最重要的也就是关于大数据方面的处理，这个可能以后需要更加精准的优化，目前来说只是希望用 kafka 做个实时流处理。

2018 年 10 月 13 日

回复了 Lateautumn 创建的主题 › Python › 深夜兴奋，想要开源个代理池，大家能否帮我把把关，目前还未实现

@munn 没有没有，辣鸡一只

2018 年 9 月 21 日

回复了 sunp 创建的主题 › 职场话题 › [蚂蚁金服国际事业群技术风险团队] 诚招高级 Java 开发/测试，专家，级别 [p6,p7,p8 均可] ，简历砸过来 [email protected]，现在拿 offer，可以年后拿完年终奖之后入职！

请问工作两年大概是什么评级

2018 年 9 月 21 日

回复了 mtianyan 创建的主题 › 求职 › 求一份成都的 Python 工作(期望 12k 以上)，爬虫后端均可，本人热爱编程，记笔记狂人，简书粉丝 5 万， github 单项目有 300star。

不知道你是想先什么方向的，python 这么多方向说具体点比较好。
工资的话你的水平在成都这个价钱我觉得差不多，来北京的话如果真的像简书那样全了解的话 15 左右，平均来看。看你的简历里面如果你想做爬虫的话，感觉希望你能多了解一些比较新的东西，以及自己写个爬虫框架，然后使用 webdriver 这些东西来做爬虫的话很让人怀疑你的深度，举个例子比如知乎，接口登陆我觉得就挺好研究的，面试的时候跟面试官探讨也挺好的。相比较来说我觉得你可能更适合全栈，因为看你的项目也是 web 方面比较多，不过应该算是处理水平，看你接触 docker 以及完整的项目经验还是比较少的，继续努力！

1 2 3

❮

❯