• 请不要在回答技术问题时复制粘贴 AI 生成的内容
sebastianwade
V2EX  ›  程序员

如何尽可能多的获取全世界所有 online 的域名列表(包括子域名)

  •  
  •   sebastianwade · Aug 17, 2020 · 3363 views
    This topic created in 2140 days ago, the information mentioned may be changed or developed.

    有没有好的实现办法,有没有做过的同学。

    Supplement 1  ·  Aug 17, 2020
    目前的做法是:各种顶级域名按照各维度的( seo 、行业等)排名先把 topX 抽出来,然后针对每个域名再去抓各自的子域名。这样做经常要修复采集端,有点浪费时间。
    Supplement 2  ·  Aug 17, 2020
    目前的做法是:各种顶级域名按照各维度的( seo 、行业等)排名先把 topX 抽出来,然后针对每个域名再去抓各自的子域名。这样做经常要修复采集端,有点浪费时间。
    10 replies    2020-08-18 16:30:14 +08:00
    niuroumian
        1
    niuroumian  
       Aug 17, 2020 via Android
    先手动列出一些知名网站,然后深度优先探索
    wszgrcy
        2
    wszgrcy  
       Aug 17, 2020 via Android
    @niuroumian 那么如果有个网站没有被引用或,如何知道么?
    imn1
        3
    imn1  
       Aug 17, 2020
    穷举,🐶
    niuroumian
        4
    niuroumian  
       Aug 17, 2020 via Android
    只能上 bruteforce 喽
    kernelpanic
        5
    kernelpanic  
       Aug 17, 2020   ❤️ 3
    扫描全部 ipv4 的 443 端口,提取证书里的域名
    crt.sh/?q=baidu.com
    ym1ng
        6
    ym1ng  
       Aug 17, 2020
    拿下根域名服务器(逃
    sebastianwade
        7
    sebastianwade  
    OP
       Aug 17, 2020
    @kernelpanic 居然还有这好东西, 多谢
    sebastianwade
        8
    sebastianwade  
    OP
       Aug 17, 2020
    @niuroumian 现在就是这么多做的,数据清洗有点心累
    lijialong1313
        9
    lijialong1313  
       Aug 17, 2020
    我想了一下……
    直接问域名服务器可以考虑吗?
    learningman
        10
    learningman  
       Aug 18, 2020
    @lijialong1313 你是拿着域名去查 IP,拿着 IP 只能查一个 rDNS
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2805 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 56ms · UTC 12:48 · PVG 20:48 · LAX 05:48 · JFK 08:48
    ♥ Do have faith in what you're doing.