激活函数在神经网络中有什么作用
收藏
f(*)称为激活函数或激励函数(Activation Function),激活函数的主要作用是完成数据的非线性变换,解决线性模型的表达、分类能力不足的问题。
1、非线性变换
激活函数的主要作用是在网络中加入非线性变换,如果网络中全部是线性变换,则多层网络可以通过矩阵变换,退化为单层神经网络。所以激活函数的存在,使得神经网络的“多层”有了实际的意义,使网络更加强大,增加网络的能力,使它可以学习复杂的事物,复杂的数据,以及表示输入输出之间非线性的复杂的任意函数映射。
2、数据归一化
激活函数的另一个重要的作用是执行数据的归一化,将输入数据映射到某个范围内,再往下传递,这样做的好处是可以限制数据的扩张,防止数据过大导致的溢出风险。如sigmoid函数的输出值就被限制在(0, 1)之间。
0
收藏
请登录后评论