＃ 需求
- 指定某一个网站host
- 抽取该网站的网页URL，暂定抽取上限10000条（针对门户）；不满足的抽取5000条；否则全量抽取
- 只保存爬取的URL地址，不需要抽取任何内容，结果保存在txt文件中。
- 速度越快越好
谢谢
This topic created in 4091 days ago, the information mentioned may be changed or developed.
Supplement 1 · Mar 13, 2015
谢谢各位。
调研和尝试了下，用requests＋bs4非常适合我的需求。
调研和尝试了下，用requests＋bs4非常适合我的需求。
 |
1
kchum Mar 13, 2015 via iPhone  1
不爬内容怎么爬 URL
URL 就是内容的一部分 |
 |
2
binux Mar 13, 2015 1
google site:host
|
 |
4
v2gba Mar 13, 2015 via iPhone 2
|
 |
5
icedx Mar 13, 2015 via Android 1
requests+bs4
|
 |
6
frankzeng Mar 13, 2015
你就爬一下首页，把url取下来，算一下不重复的有多少，如果不够就再爬url，这不是挺简单的逻辑吗
|
 |
7
Battle Mar 13, 2015
有一个东西叫火车头
|
 |
8
bingu Mar 13, 2015
wget ？
|
 |
9
Tink PRO 二楼这个办法不错，主要是ip的问题
|
Select Language