首页 Paddle框架 帖子详情
如何解决跨层的L2目标函数的问题?
收藏
快速回复
Paddle框架 问答深度学习 1223 2
如何解决跨层的L2目标函数的问题?
收藏
快速回复
Paddle框架 问答深度学习 1223 2
如何解决跨层的L2目标函数的问题?
0
收藏
回复
全部评论(2)
时间顺序
挪威的仙人掌
#2 回复于2018-04

0
回复
挪威的仙人掌
#3 回复于2018-04

同学,你提到的 L2 是指 L2 正则。而在神经网络真正实现时,正则和损失函数是分开的两个部分。并不需要显示的将正则定义在损失函数里面。
全局化的正则(会加给每一个参数),设置方法如下:
https://github.com/PaddlePaddle/models/blob/develop/mt_with_external_memory/train.py#L73
如果想针对性的调整某一个参数的正则,每个可学习的参数都可以通过 param_attr 关键字来控制(param_attr设置一些如初始化 mead、std、正则系数等参数),调用方式可以参考这个例子:https://github.com/PaddlePaddle/models/blob/develop/text_classification/network_conf.py#L46
如果在optimizer中设置了全局正则系数,下面调用可以取消对fc层参数的正则,当然,也可以设置一个非0值,调整这个参数的正则系数。

fc = paddle.layer.fc(
input=input_layer,
size=128,
param_attr=paddle.attr.Param(decay_rate=0))

0
回复
需求/bug反馈?一键提issue告诉我们
发现bug?如果您知道修复办法,欢迎提pr直接参与建设飞桨~
在@后输入用户全名并按空格结束,可艾特全站任一用户