• 请不要在回答技术问题时复制粘贴 AI 生成的内容
gybciy1s1s1
V2EX  ›  程序员

抓取一个有限制的网页数据

  •  
  •   gybciy1s1s1 · Nov 11, 2013 · 3343 views
    This topic created in 4578 days ago, the information mentioned may be changed or developed.
    这里不能发图,详见http://bbs.csdn.net/topics/390639292
    3 replies    1970-01-01 08:00:00 +08:00
    sohoer
        1
    sohoer  
       Nov 11, 2013
    没有仔细分析,如果是cookie拿不到可能是重定向的原因造成的,你关闭自动重定向,改为模拟请求,再对每一个重定向的连接提取 cookie
    lizheming
        2
    lizheming  
       Nov 11, 2013
    审查元素左下角第五个按钮点亮(变红)后可以抓取所有包括跳转的页面的请求,然后根据跳转再详细看看吧~
    txlty
        3
    txlty  
       Nov 11, 2013
    我能用php+curl抓。
    不要用控件自带的301跟踪,你自己写个函数识别301,递归跳转,每次保存最新获得的cookie。
    就Ok了。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1156 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 40ms · UTC 23:18 · PVG 07:18 · LAX 16:18 · JFK 19:18
    ♥ Do have faith in what you're doing.