做模型时发现有一层模型的权值很小，1e-5 左右，几乎更新不了梯度。这种情况可以用 bn 强行拉回权值分布么？
池化？
嗯，一般用默认。官方的会给这个超参，但原版用的是谱归一化。
我是没法，才想用bn代替试试。现在可以了。用谱归一化就不能混用bn之类别的了。
最大池化？也可以试试，说不定也是个路子
应该是可以的，有点游戏里强制中断的意思
坐等结论
嗯，我觉得也是可以，能计算梯度就行。
但在GAN中试验的结果，我有点迷惑。
大佬，还在研究GAN呢
哈哈，好玩么。好像最近又有人提出叫做“规范化流”的生成模型，高清
其实为了保证梯度更新不太突然，是不能在spectral norm 之间用bn 的，为了保证lipschitz 连续性，增加gan 稳定性
逐渐超纲...
哈哈
嘻嘻
这个应该是wgan里的
嘿嘿
嘎嘎~
这个权值是怎么得到的，读取权重文件吗？
api
Layer._parameters['weight']
池化？
嗯，一般用默认。官方的会给这个超参，但原版用的是谱归一化。
我是没法，才想用bn代替试试。现在可以了。用谱归一化就不能混用bn之类别的了。
最大池化？也可以试试，说不定也是个路子
应该是可以的，有点游戏里强制中断的意思
坐等结论
嗯，我觉得也是可以，能计算梯度就行。
但在GAN中试验的结果，我有点迷惑。
大佬，还在研究GAN呢
哈哈，好玩么。好像最近又有人提出叫做“规范化流”的生成模型，高清
其实为了保证梯度更新不太突然，是不能在spectral norm 之间用bn 的，为了保证lipschitz 连续性，增加gan 稳定性
逐渐超纲...
哈哈
嘻嘻
这个应该是wgan里的
嘿嘿
嘎嘎~
这个权值是怎么得到的，读取权重文件吗？
api
Layer._parameters['weight']