V2EX › kingmo888 的所有回复 › 第 18 页 / 共 23 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

1 ... 10 11 12 13 14 15 16 17 18 19 ... 23

❮

❯

2017 年 3 月 4 日

回复了 kingmo888 创建的主题 › Python › 请教：为何重复执行时， HDF5 文件会越来愈大？( Python )

@wh0syourda66y 同时，我尝试了一下在 put 的时候指定 data_columns ，发现存储速度在下降，文件大小增加了将近一倍。

这种情况就很尴尬了。
每个 code 的数据单独存放，不用指明 index 和 data_columns 读取很快，可以读出来在内存里进行检索。唯一的问题就是通过 XX.keys()来获取所有表名会很慢。是否可以通过单独建一个表存放表名。嘿嘿。

所有 code 数据都存放到一个表里的话，为了检索，就必须使用 data_columns ，否则所有数据都读入内存的话既不科学又撑不住。

不知大神有什么好的思路？

2017 年 3 月 4 日

回复了 kingmo888 创建的主题 › Python › 请教：为何重复执行时， HDF5 文件会越来愈大？( Python )

@wh0syourda66y 高手你好，我还有一个问题哈，就是存储的模式上，是所有数据都怼到一个表里好，还是分表保存（一个代码的数据一个表这种）

2017 年 3 月 3 日

回复了 kingmo888 创建的主题 › Python › 请教：为何重复执行时， HDF5 文件会越来愈大？( Python )

@wh0syourda66y 那会报错吗？还是等待写入？如果报错的话，还是需要自己处理的哈，不然的话有的进程就写不进去了。

2017 年 3 月 3 日

回复了 kingmo888 创建的主题 › Python › 请教：为何重复执行时， HDF5 文件会越来愈大？( Python )

@wh0syourda66y 是这样的，原始文件是大约 3000*255 个 csv 的股票订单数据，

多进程>>>

处理函数(文件路径)：
读入一个文件，
处理为分钟数据，
进程锁开
塞入 hdf5
进程锁关

2017 年 3 月 3 日

回复了 kingmo888 创建的主题 › Python › 请教：为何重复执行时， HDF5 文件会越来愈大？( Python )

@wh0syourda66y 3Q ，确实问对地方了。
ptrepack --complib=zlib test_c4.h5 --complevel=9 out.h5
ok.

还发现了一个问题，请教一下，是不是数据越多，在 put 的时候就越慢？感觉效率不够呀。
越来越慢