rebeccaMyKid

[分享]Scrapy 下载相同 url 的(重复的)图片

  •  
  •   rebeccaMyKid · Jul 21, 2017 · 2004 views
    This topic created in 3231 days ago, the information mentioned may be changed or developed.

    今天有个任务,就是一个订单要创建一个目录然后下载订单里商品的图片,那么问题来了,商品的图片 url 是有可能是重复的,下过一次这个框架就不下了,很头痛,修改了 pipeline 不行,添加dont_filter=True参数也不行,然后开始翻源码,最后看 stackoverflow 上一哥们的提示,才找到了 ImagePiplelines 的爸爸的爸爸,就是media.py里的MediaPipeline,注释了这_process_request里的几行,就能重复下载了。

     # Return cached result if request was already seen
            # if fp in info.downloaded:
            #     return defer_result(info.downloaded[fp]).addCallbacks(cb, eb)
            
    
     # Check if request is downloading right now to avoid doing it twice
            # if fp in info.downloading:
            #     return wad
    

    但这样做会有一个未捕获的 KeyError,好像也没影响到结果我就不管了。。。 源码是直接改的 site-packages 里的,老哥们还有更好的方法吗,能不同 project 用不同套的 package 么?

    最后做完的时候想了一下,“我特么怎么不引入 requests 库来下载图片就好了????“

    如果对你有帮助,那我很开心。:D

    3 replies    2017-07-24 09:21:49 +08:00
    27
        1
    27  
       Jul 21, 2017   ❤️ 1
    不同 project 用不同套的 package:
    virtualenv
    bazingaterry
        2
    bazingaterry  
       Jul 21, 2017 via iPhone
    用 requests 库会阻塞整个进程...
    rebeccaMyKid
        3
    rebeccaMyKid  
    OP
       Jul 24, 2017
    @bazingaterry 没关系啊,不差这点效率
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3440 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 10:44 · PVG 18:44 · LAX 03:44 · JFK 06:44
    ♥ Do have faith in what you're doing.