首页 炼丹房 帖子详情
sigmoid和softmax区别
收藏
快速回复
炼丹房 问答学习资料新手上路 372 0
sigmoid和softmax区别
收藏
快速回复
炼丹房 问答学习资料新手上路 372 0

softmax与sigmoid的运算过程中都用到了指数函数,但是这两者之间有比较大的差别,先上结构图,如下:


可以看出Softmax是对一个向量进行归一化的过程,每个元素的输出都与整个向量相关。而Sigmoid是一个非线性映射,通常用在神经网络内部做激活函数(尤其是在早期神经网络),每个元素都进行独立的运算。

如果输出层为一个神经元时,此时会使用sigmoid代替softmax,因为此时还按照softmax公式的话计算值为1。通常这是二分类的情况,例如以sigmoid输出结果与0.5的阈值进行对比,从而判断输入的类别。

softmax一般用于多分类的结果,一般和one-hot的真实标签值配合使用,我们不需要特别的设置它,因为一般使用交叉熵损失cross entropy时,框架会帮我们自动的加上softmax。

0
收藏
回复
在@后输入用户全名并按空格结束,可艾特全站任一用户