V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 2810 days ago, the information mentioned may be changed or developed.
最近在尝试爬取一个网站数据的时候，遇见了这个网站使用了 distil networks 的反爬虫服务，我尝试了抓包的方式无法有效地进行到下一步，因为需要提交四五次表单，并且每次 Post 请求都被重定向了，于是想着用 requestium，使用 selenium 发送 post 请求，却还是无法达到预期效果。这里主要还是因为 selenium 被识别出来了，我在这个反爬虫服务加载的 js 中发现了这样几句代码，isWebdriver:function(){return!!navigator.webdriver 自己也试着尝试了一下，在 chrome 的浏览器中输入 windows.navigator.webdriver 返回的是 undefind，而在 chromebdriver 中输入后返回的是 true,所以我在想是不是这句代码阻塞了我的 post 执行，有没有什么好的办法绕过这段 js 或者修改它的值呢？
 |
1
wzwwzw Aug 26, 2018  1
为什么不说一下目标网站呢。
|
 |
2
kran Aug 26, 2018 via iPhone
selenium 源码混淆变量名，重新编译
|
 |
3
xiaoyu233 Aug 26, 2018
之前找的解决方法是 2 楼说的改代码重新编译方式。不过不会编译，可以尝试用 pyqt 来爬
|
 |
4
wc110302 OP @wzwwzw 不好意思现在才上到网--！ 目标网站是这个： https://www.flyscoot.com/zh
|
|
6
wc110302 OP @xiaoyu233 谢谢提供的解决方案，明天我去尝试用 pyqt 看能否爬取，其实我现在已经能爬取到数据了，就是耗时太久了，我想绕过这个反爬虫 distil networks 所带来的验证码来减少我耗费的时间，或者直接能使用 Post 请求就更好了，不过现在还没能找到解决方案
|
 |
7
wenzhoou Aug 27, 2018 via Android
selenium 已经好久不更新了啊。感觉死而不僵。鸡肋啊。
|
|
9
kran Aug 27, 2018
|
 |
10
cyrbuzz Aug 27, 2018
试下 pyppeteer
https://github.com/miyakogi/pyppeteer 和 selenium 类似。 基于 pyppeteer 我也封装了一个小爬虫框架： https://github.com/HuberTRoy/Seen 用不到就忽略这条吧~。 |
|
11
wc110302 OP @kran 谢谢回复 我尝试使用 hex editor 将 chromedrive 里的$cdc_替换了依然不起作用 还是会被反爬虫服务识别 也许是这个教程现在失效了
|
 |
12
yumenlong Aug 27, 2018
http://waimai.meituan.com 美团外卖的 js 也对 webdriver 进行了检测，大家来研究研究对策啊
|
 |
14
gamecreating Nov 3, 2018
@wc110302 注入 JS 的方法有码? pyqt5 + qtwebengine 没找到在哪里注入
|
 |
15
weiyishuxi Feb 12, 2019
大佬是否可以加微信或者 QQ （ 2408169322 ），我最近也想搞你这个网站，但是爬虫新手，如果可以指导也行，直接有偿交易源码也行
|
 |
16
skt2046 Feb 27, 2019
我最近写一个刷单工具也遇到了万恶的 distil networks，根据的说了 P 参数，我抓包后把它解析了出来可以看出是一个带有详细浏览器信息的 json，并且每次请求这个 json 里面只有一小部分会被修改。看到你说可以模拟生成 p 参数，特意过来请教一下，你是怎么生成的
|
|
17
skt2046 Feb 27, 2019
可否加鹅企详细讨论：（ base64 鹅企） NTIzNzMxNTg5
|
|
18
skt2046 Feb 27, 2019
还有请求 header 里面有个重要参数和 X-Distil-Ajax 以及 url 参数 PID， 必须和 p 参数一起送过去才能生效，这些参数都是一个 get 取回来的 javascrip 函数生成的
|
 |
20
luzhizheng Dec 21, 2019
这楼主是一个搞外包的,大家不要给骗了,加了 QQ 以后一直在忽悠,没两句就开始装逼,然后要我搞外包.
技术问题一个都不回答,问什么都说很简单自己搞,要不然就找我外包,真是没见过这种人,一点想探讨的精神都没有,还跟我装起逼来,说多了就开始骂我菜鸡,菜鸟,真的是给点阳光就灿烂,懂一点就开始装逼,你爸妈没有教过你做人的道理吗?真是悲哀! |
Select Language