机器学习炼丹过程中，图片预处理速度完全跟不上训练速度。看了下电脑 cpu 和内存，才占用 20%不到，有啥办法提升下吗
伪代码
im = openImg("xxxx.png") # 已经确定这里不是瓶颈，磁盘 io 没问题
im=dosome(im) # 图片预处理（主要是裁剪，缩放，修改格式等待），使用 pillow 库 ，目前瓶颈在这里
data = nnumpy.array(im) # 转成数组
# 提交 TensorFlow 炼丹
想问下，dosome 那一步有什么办法并发吗？
 |
1
fgwmlhdkkkw Oct 29, 2021
你都说了多线程呀。虽然有 GIL ，但是依然会有提升的。
|
|
2
fgwmlhdkkkw Oct 29, 2021
也可以开多个进程，每个进程负责一部分图片。
|
 |
3
imycc Oct 31, 2021
IO 多的可以用多线程，计算多的用多进程，去看下 multiprocessing 这个库咯
|
Select Language