计算数据集均值CPU内存溢出notebook关闭 已解决
收藏
快速回复
AI Studio平台使用 问答Notebook项目 529 5
计算数据集均值CPU内存溢出notebook关闭 已解决
收藏
快速回复
AI Studio平台使用 问答Notebook项目 529 5

代码是这个,运行之后CPU占用在25%,运行20分钟分钟后CPU内存溢出,NOTEBOOK自动关闭,这种得咋办啊?

 

 

import numpy as np
import cv2
import os
 
img_h, img_w = 256, 256   #根据自己数据集适当调整,影响不大
means, stdevs = [], []
img_list = []
 
imgs_path = 'work/789'
imgs_path_list = os.listdir(imgs_path)
 
len_ = len(imgs_path_list)
i = 0
for item in imgs_path_list:
    img = cv2.imread(os.path.join(imgs_path,item))
    img = cv2.resize(img,(img_w,img_h))
    img = img[:, :, :, np.newaxis]
    img_list.append(img)
    i += 1
    # print(i,'/',len_)

imgs_path = 'work/456'
imgs_path_list = os.listdir(imgs_path)
 
len_ = len(imgs_path_list)
i = 0
for item in imgs_path_list:
    img = cv2.imread(os.path.join(imgs_path,item))
    img = cv2.resize(img,(img_w,img_h))
    img = img[:, :, :, np.newaxis]
    img_list.append(img)
    i += 1
    # print(i,'/',len_)

# print(len(img_list))

imgs = np.concatenate(img_list, axis=3)
imgs = imgs.astype(np.float32) / 255.
 
for i in range(3):
    pixels = imgs[:, :, i, :].ravel()  # 拉成一行
    means.append(np.mean(pixels))
    stdevs.append(np.std(pixels))
 
# BGR --> RGB , CV读取的需要转换,PIL读取的不用转换
means.reverse()
stdevs.reverse()
 
print("normMean = {}".format(means))
print("normStd = {}".format(stdevs))

琦琦的小老鼠
已解决
6# 回复于2021-12
这个代码很明显把所有数据进行计算,CPU不够用了,你可以把数据拆成四分,分别进行计算
0
收藏
回复
全部评论(5)
时间顺序
AIStudio810261
#2 回复于2021-03

多打印点内存占用的日志, 然后看日志呗

0
回复
TowerNet
#3 回复于2021-03
多打印点内存占用的日志, 然后看日志呗

啥意思

0
回复
七年期限
#4 回复于2021-03

一直在叠加把

0
回复
七年期限
#5 回复于2021-03
啥意思

就是让你打印点内存占用的日志,看看情况

0
回复
琦琦的小老鼠
#6 回复于2021-12

这个代码很明显把所有数据进行计算,CPU不够用了,你可以把数据拆成四分,分别进行计算

0
回复
在@后输入用户全名并按空格结束,可艾特全站任一用户