black11black
V2EX  ›  问与答

Python 线程池有办法自动释放不在使用中的资源吗?

  •  
  •   black11black · Dec 27, 2020 · 1593 views
    This topic created in 1967 days ago, the information mentioned may be changed or developed.
    # 一个简单的 demo
    def some_func(arg):
        # does some heavy lifting
        # outputs some results
        time.sleep(10)
        return 0
    
    from concurrent.futures import ThreadPoolExecutor
    import time
    
    with ThreadPoolExecutor(max_workers = 1024) as executor:
        for arg in range(10000):
            future = executor.submit(some_func, arg)
        print(len(executor._threads))
    

    简单做了下压力测试,发现 windows 系统上的 python 线程并发负载还可以,一两千个线程还是能 handle 的。

    但是发现了一个蛋疼的问题,比如如果你要提高负载能力,比如你想要让程序能同时负载 1000 个并发连接。那么线程池在触发并完成线程后,并不会自动释放资源。我原以为线程池有一些机制在,比如一小时闲置的话就会自动摧毁占用的线程,现在看来似乎不是这样的,一旦申请以后线程就一直在这里了。

    有什么办法做改进吗?这些线程即使不用也在这里趴着,一方面吃内存,另一方面系统允许的最大线程数又是有限的,被大量占用。

    Supplement 1  ·  Dec 27, 2020

    贴条,讨论转移到 https://www.sunp.eu.org/t/739455

    4 replies    2020-12-27 19:27:19 +08:00
    wellsc
        1
    wellsc  
       Dec 27, 2020
    gil 的语言就别整天折腾多线程了,io 密集上协程,计算密集换技术栈
    black11black
        2
    black11black  
    OP
       Dec 27, 2020
    @wellsc 这次折腾多线程的原因是,在用多线程封装一个同步 oracle 库,让他能在协程中使用。我肯定没时间再仔细用协程实现一个通讯协议,直接用多线程封装同步库是个很好的办法。只不过似乎并发能力和内存 /线程数似乎无法平衡。
    black11black
        3
    black11black  
    OP
       Dec 27, 2020
    @black11black 同步执行一千条插入命令(比如业务上让他们没法被整合到同一条插入命令),这种需求我觉得还是挺常见的。但是如果要实现的话就要开 1000 个线程准备着,这也太蠢了,没办法用的时候现场申请吗。
    delectate
        4
    delectate  
       Dec 27, 2020
    协程,或者多进程。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5582 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 01:23 · PVG 09:23 · LAX 18:23 · JFK 21:23
    ♥ Do have faith in what you're doing.