V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
codeduan
V2EX  ›  Node.js

写了一个中国大陆高校列表爬虫,有需要的可以试下

  •  
  •   codeduan · Mar 27, 2019 · 6950 views
    This topic created in 2588 days ago, the information mentioned may be changed or developed.

    这几天恰好有个需求用到,就写了个。目前已经包含一份完整 json 了。

    https://github.com/codeudan/crawler-china-mainland-universities

    数据按省份分类,支持本科,专科,民办,独立院校分类。

    18 replies    2019-04-01 10:08:28 +08:00
    kukumao
        1
    kukumao  
       Mar 27, 2019
    爬到的数据 发个看看
    xiangyuecn
        2
    xiangyuecn  
       Mar 27, 2019
    打破 0 star
    MiRECoFu
        3
    MiRECoFu  
       Mar 27, 2019 via Android
    有各专业高考录取分的爬虫吗
    GaryBI1STP
        4
    GaryBI1STP  
       Mar 27, 2019 via Android
    有重复数据
    Vegetable
        5
    Vegetable  
       Mar 27, 2019
    codeduan
        6
    codeduan  
    OP
       Mar 27, 2019
    仓库的 china_mainland_universities.json 就是刚刚爬的。
    xfspace
        7
    xfspace  
       Mar 27, 2019 via Android
    CHSI 官方权威
    还能抓 211 985 标签
    codeduan
        8
    codeduan  
    OP
       Mar 27, 2019
    @gary36 修正这个 bug 了。
    codeduan
        9
    codeduan  
    OP
       Mar 27, 2019
    @xfspace 多谢提醒。
    codeduan
        10
    codeduan  
    OP
       Mar 27, 2019
    @kukumao china_mainland_universities.json 就是。
    zouyu1412
        11
    zouyu1412  
       Mar 27, 2019
    问个小白问题:是我的 node 版本不对吗 这行 async function main(){ 报错:SyntaxError:Unexpected token function
    codeduan
        12
    codeduan  
    OP
       Mar 27, 2019
    @zouyu1412 你的 node 版本低于 8 吗?
    xzc19970719
        13
    xzc19970719  
       Mar 27, 2019
    为啥网页进你这个帖子 背景就会变黑???
    zgcwkj
        14
    zgcwkj  
       Mar 27, 2019
    @xzc19970719 V2EX 上的模块,有的主题是不一样的
    zouyu1412
        15
    zouyu1412  
       Mar 27, 2019
    @codeduan 嗯 有点低 6.2 应该是版本的原因
    PHPJit
        16
    PHPJit  
       Mar 27, 2019
    参照 5L 的地址,写了一个 php 版本
    https://github.com/teg1c/crawler-china-mainland-universities-by-php
    lizliz
        17
    lizliz  
       Mar 28, 2019
    有没有办法找到学校里的组织架构,求!
    codeduan
        18
    codeduan  
    OP
       Apr 1, 2019
    数据源改成学信网的了。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1821 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 61ms · UTC 16:22 · PVG 00:22 · LAX 09:22 · JFK 12:22
    ♥ Do have faith in what you're doing.