推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
miniyao
V2EX  ›  Python

有什么方法可以清理 venv 中,当前项目依赖的库文件?

  •  
  •   miniyao · May 21, 2020 via Android · 3874 views
    This topic created in 2199 days ago, the information mentioned may be changed or developed.
    有一个项目的虚拟环境 venv,小组成员不断往里面 pip install 了很多依赖库,等到要在生产机上发布的时候,pip freeze > requirements.txt 里面就有很多有用的没用的全装进去了。

    有什么方法可以清理吗?怎么分离 requirements.txt 里面哪些是必须依赖的库,哪些是没用的冗余?
    8 replies    2020-05-22 19:22:21 +08:00
    fgwmlhdkkkw
        1
    fgwmlhdkkkw  
       May 21, 2020
    能有多大?差那点磁盘吗……
    fgwmlhdkkkw
        2
    fgwmlhdkkkw  
       May 21, 2020
    @fgwmlhdkkkw pip list 可以列出所有已安装的包,然后你运行程序,在程序中得到所有需要加载的包(具体 api 我不记得了,但是你甚至可以 hook import 模块来得到),然后对比一下。
    wangyzj
        3
    wangyzj  
       May 21, 2020
    pipreqs
    ClericPy
        4
    ClericPy  
       May 21, 2020
    以前一直用的 pipenv 或 poetry 管理依赖, 所以会自动清理不用的

    你如果想找个类似 `go mod tidy` 的东西... 为什么一开始不就写好 requirements 然后一直用它安装呢, 很少用 freeze 功能, requirements 里也只写最顶层依赖, 所以锁的估计不够严格, 才使我不得不转到 pipenv 上去的...
    jin7
        5
    jin7  
       May 21, 2020   ❤️ 1
    pipdeptree pippurge
    ericls
        6
    ericls  
       May 21, 2020 via iPhone   ❤️ 1
    反了 requirements 应该是 source of truth 而不是某个人的本地环境

    简单办法就是看看哪些有 import 咯
    xpresslink
        7
    xpresslink  
       May 21, 2020
    楼主要明白一点很重要的东东,requirements.txt 只是开发者所需要的最顶层的依赖清单。
    在执行 pip install -r requirements.txt 的时候安装的东西远不是这个清单中的包,因为这些包本身还要依赖其它的包,在安装过程中如果没有就会自动安装其它包。
    但是要想要清楚的知道 requirements.txt 里面这些包依赖了哪些是比较困难的。
    最省事的办法就是直接把 venv 整改删除了,重建再执行 pip install -r requirements.txt
    frostming
        8
    frostming  
       May 22, 2020   ❤️ 1
    最轻量的方法就是 5L @jin7 的,用 pipdeptree 查看依赖树,这样可以看到哪些包不需要再安全地卸载掉

    重一点就引入依赖管理 Pipenv, Poetry, PDM,把要的依赖定义下来,然后 clean 一遍,就把多余的去掉了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   926 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 46ms · UTC 20:39 · PVG 04:39 · LAX 13:39 · JFK 16:39
    ♥ Do have faith in what you're doing.