VisualDL的采样规则是什么
为了尽量减少数据传输规模且尽可能均匀化采样,同时最小化采样所需的CPU资源占用,VisualDL使用蓄水池采样算法完成对后端所有数据采样后再向前端传输。 关于蓄水池采样的原理和证明,可参考Reservoir sampling,蓄水池采样能够通过流式采样的方式避免一次性加载所有数据到内存,且保证采样序列尽量平均。
为了尽量减少数据传输规模且尽可能均匀化采样,同时最小化采样所需的CPU资源占用,VisualDL使用蓄水池采样算法完成对后端所有数据采样后再向前端传输。 关于蓄水池采样的原理和证明,可参考Reservoir sampling,蓄水池采样能够通过流式采样的方式避免一次性加载所有数据到内存,且保证采样序列尽量平均。