blackhole据说很好用
JavaRoom 发布于2021-02 浏览:3555 回复:2
0
收藏

win10 下的blackhole 0.3.1+5.g4015d80.dirty版本,主要测试大数据下内存使用表现,电脑为win10,内存32G,使用cpu模式。

读取/memory_sample_mce_log_round1_a_train.csv

该文件大小 2.60 GB (2,793,227,463 字节)

aistudio上的pandas,以及它的内存优化

综上所述:

blackhole :3548MB,

pandas:2825MB

优化后pandas:1589MB

来个懂行的给我讲讲。

参考地址:https://ai.baidu.com/ai-doc/BML/9khemrnv7

Blackhole安装命令:

pip install https://blackhole.cdn.bcebos.com/wheel/0.3.2/win-64/blackhole-0.3.1+5.g4015d80.dirty-py3-none-any.whl -i https://mirrors.aliyun.com/pypi/simple/

收藏
点赞
0
个赞
共2条回复 最后由JavaRoom回复于2021-02
#3JavaRoom回复于2021-02

这样看内存是不准的

0
#2JavaRoom回复于2021-02

知道问题所在了。

0
快速回复
TOP
切换版块