前向计算精度对齐的问题
收藏
请教大佬们,影响前向计算结果的因素都有哪些呢?
1
收藏
请登录后评论
我设置了固定的卷积层以及其它子层的初始化值,和输入模型的数据,但在进行前向计算时,每次的结果竟然有1e-3左右的误差,这是哪里来的?
在ai studio上用paddle框架没有这个每次运行的随机误差,但在我本地跑pythorch时就会出现这个问题
模型的组件、结构时完全一样的
这个和自动使用混合精度之类的设置什么的有关么?
不知道这个误差来自哪里,和什么因素有关呢?
这个和bn有关系么?
我设置了固定的卷积层以及其它子层的初始化值,和输入模型的数据,但在进行前向计算时,每次的结果竟然有1e-3左右的误差,这是哪里来的?我设置了固定的卷积层以及其它子层的初始化值,和输入模型的数据,但在进行前向计算时,每次的结果竟然有1e-3左右的误差,这是哪里来的?我设置了固定的卷积层以及其它子层的初始化值,和输入模型的数据,但在进行前向计算时,每次的结果竟然有1e-3左右的误差,这是哪里来的?我设置了固定的卷积层以及其它子层的初始化值,和输入模型的数据,但在进行前向计算时,每次的结果竟然有1e-3左右的误差,这是哪里来的?我设置了固定的卷积层以及其它子层的初始化值,和输入模型的数据,但在进行前向计算时,每次的结果竟然有1e-3左右的误差,这是哪里来的?我设置了固定的卷积层以及其它子层的初始化值,和输入模型的数据,但在进行前向计算时,每次的结果竟然有1e-3左右的误差,这是哪里来的?
回复楼层