首页 VisualDL 帖子详情
VisualDL的采样规则是什么 已解决
收藏
快速回复
VisualDL 问答训练过程可视化 1100 1
VisualDL的采样规则是什么 已解决
收藏
快速回复
VisualDL 问答训练过程可视化 1100 1

VisualDL的采样规则是什么

旧鸱c_
已解决
2# 回复于2021-08
为了尽量减少数据传输规模且尽可能均匀化采样,同时最小化采样所需的CPU资源占用,VisualDL使用蓄水池采样算法完成对后端所有数据采样后再向前端传输。 关于蓄水池采样的原理和证明,可参考Reservoir sampling,蓄水池采样能够通过流式采样的方式避免一次性加载所有数据到内存,且保证采样序列尽量平均。
展开
0
收藏
回复
全部评论(1)
时间顺序
旧鸱c_
#2 回复于2021-08

为了尽量减少数据传输规模且尽可能均匀化采样,同时最小化采样所需的CPU资源占用,VisualDL使用蓄水池采样算法完成对后端所有数据采样后再向前端传输。 关于蓄水池采样的原理和证明,可参考Reservoir sampling,蓄水池采样能够通过流式采样的方式避免一次性加载所有数据到内存,且保证采样序列尽量平均。

0
回复
需求/bug反馈?一键提issue告诉我们
发现bug?如果您知道修复办法,欢迎提pr直接参与建设飞桨~
在@后输入用户全名并按空格结束,可艾特全站任一用户