V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
mikawang
V2EX  ›  程序员

基于 AI 的 Chrome 爬虫辅助插件

  •  
  •   mikawang ·
    wangyi12358 · 8h 22m ago · 1015 views

    基于 AI 的 Chrome 爬虫辅助插件,自动监听网络请求并解析 API 逻辑。

    之前爬虫每次都去抓 API 然后丢给 AI 分析,很麻烦,写了个 Chrome 插件,直接去抓请求,然后丢给 AI 分析这个接口是做什么的,以及一些字段分析。

    功能

    • 自动抓取:实时捕获浏览器 Fetch/XHR 请求及其 Response 。
    • AI 接口分析:一键分析接口功能,自动推断字段含义及业务逻辑。
    • 语义解析:让 AI 解释复杂的 JSON 结构,告别手动盲猜字段。

    计划

    • 多语言生成:一键生成 Python (requests/httpx), Go, Node.js 爬虫代码。
    • 类型定义导出:自动生成 TypeScript Interface, Go Struct, Pydantic Models 。
    • 批量文档:导出整个页面的接口清单及文档。
    • 代码模板定制:支持用户自定义生成的爬虫代码格式。

    项目仓库

    https://github.com/wangyi12358/auto-scrape-ai

    13 replies    2026-05-09 17:56:19 +08:00
    soouu
        1
    soouu  
       8h 11m ago
    已 star
    nilaoda
        2
    nilaoda  
       7h 35m ago   ❤️ 1
    > 之前爬虫每次都去抓 API 然后丢给 AI 分析,很麻烦

    其实装个 Chrome DevTools MCP 就方便多了,直接让 AI 自己去操作网页、分析请求,写各种语言的代码实现
    mikawang
        3
    mikawang  
    OP
       7h 20m ago
    @nilaoda 是挺不错的,有些过不了 Cloudflare 人机验证怎么办
    senooo
        4
    senooo  
       6h 39m ago
    不提供 release 啊
    mikawang
        5
    mikawang  
    OP
       6h 13m ago
    @senooo 加了
    senooo
        6
    senooo  
       4h 4m ago
    issues/1 不好用
    DonaldY
        7
    DonaldY  
       3h 58m ago
    其实这种简单的爬取,直接把目标网页和接口扔给 agent 就行了,直接产出。
    itsjoke
        8
    itsjoke  
       3h 34m ago
    我记得 Akamai 的 CDN 比较难过,这个行吗?
    mikawang
        9
    mikawang  
    OP
       3h 22m ago
    @itsjoke 这个本身就是在你访问页面的时候去爬 API ,所以不存在难过这个问题
    mikawang
        10
    mikawang  
    OP
       3h 20m ago
    @DonaldY 就是嫌麻烦,不想 copy ,我直接访问页面就能看到有哪些接口,然后列表有个接口作用字段,一眼就能看出来我想要的接口
    macaodoll
        11
    macaodoll  
       2h 42m ago
    这种说实话,有用,但是没太大用。
    macaodoll
        12
    macaodoll  
       2h 32m ago
    其实更适合做成 skills 的形式,而不是插件
    yufeng0681
        13
    yufeng0681  
       2h 0m ago
    今天刚遇到一个 走 websocket 的。 实在多次连不上才会转 xhr 轮训, ,一直没找到好办法,让网页启动 xhr 轮训
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2878 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 57ms · UTC 11:57 · PVG 19:57 · LAX 04:57 · JFK 07:57
    ♥ Do have faith in what you're doing.