标题可能没讲清楚,举个例子吧。
在MNIST数据集中,使用CNN提取图像特征后送入FC层输出(batch_size, 10)大小的矩阵,第二个维度10代表着10个类别。可是这10个类别分别代表什么类别呢?如果说这个矩阵从左到右代表着0—9还好理解,那又是什么保证了这10个种类一定是0—9的顺序呢?但如果是一些其他数据要怎么判断它的类别顺序呢?
当然,这把尺是多维的,甚至可以多到比一个像素一种刻度还多(那就铁定过拟合了,哈哈),以用多种方式区别各种图片。
有些靠大小能量准,有些靠明暗能量准,有些靠色调能量准。。。到极致就是每个图片一个模子(一个像素一种刻度),训练集总能区分开。。。当然泛化就杯具了~~
我也是,本来觉得很顺理成章的地方,后来一深究就“迷糊”了,哈哈。然后各种信息来源,认识有时也跟着左右摇摆就像梯度下降一样~~哈哈哈哈,但总归是越来越逼近正确理解
比如归一化,我看了多种写法,一会儿认为处理的是特征图,一会儿认为处理的是权重。。。,其实就是从来没仔细看过文章或文档里的原理解释。
用bn时反正就是一个语句(最多两句,算上forward里的),没认真研究过。后来谱归一化不想bn那么方便,才去了解了一下
现在我觉得,一些基础知识,还是要读造诣深厚的大神总结整理的书,又系统全面,又比较准确
但是整理成书每个两年不成,比较新的知识还是得看文章、解读文章。那样的话,有些解读的理解未必就那么到位了,即使是准确的也未必全面
这个输出的值不是0-9,而是对应的softmax值,本身没有大小之分的。损失用的是交叉熵,不会从0-9上考虑损失。而这0-9对应的就是标签的标记,可以通过字典访问原来的标签是什么。
前来观摩
555我的表情包,,
嗯 我知道这个意思,softmax输出的置信度还是需要通过下标来确定所属的类别,当时就是好奇这个类别是怎么得到的
你多发点表情包,这样大家的表情包库也就丰富了/狗头
下次一定
啥情况
哈哈
被“白嫖”了
瞎起哄
哦,对啊。这个不是回归数值。是总和为一的概率值
是除以总合除出来那个
我也晕了。。。
赶快重新看看softmax和交叉商损失的公式。。。理解得不透彻啊
好在,有大侠拨乱反正,已经拨了不止一次了。。。
当然,这把尺是多维的,甚至可以多到比一个像素一种刻度还多(那就铁定过拟合了,哈哈),以用多种方式区别各种图片。
有些靠大小能量准,有些靠明暗能量准,有些靠色调能量准。。。到极致就是每个图片一个模子(一个像素一种刻度),训练集总能区分开。。。当然泛化就杯具了~~
我也是,本来觉得很顺理成章的地方,后来一深究就“迷糊”了,哈哈。然后各种信息来源,认识有时也跟着左右摇摆就像梯度下降一样~~哈哈哈哈,但总归是越来越逼近正确理解
比如归一化,我看了多种写法,一会儿认为处理的是特征图,一会儿认为处理的是权重。。。
,其实就是从来没仔细看过文章或文档里的原理解释。
用bn时反正就是一个语句(最多两句,算上forward里的),没认真研究过。后来谱归一化不想bn那么方便,才去了解了一下
现在我觉得,一些基础知识,还是要读造诣深厚的大神总结整理的书,又系统全面,又比较准确
但是整理成书每个两年不成,比较新的知识还是得看文章、解读文章。那样的话,有些解读的理解未必就那么到位了,即使是准确的也未必全面
这个输出的值不是0-9,而是对应的softmax值,本身没有大小之分的。损失用的是交叉熵,不会从0-9上考虑损失。而这0-9对应的就是标签的标记,可以通过字典访问原来的标签是什么。
前来观摩
555我的表情包,,
嗯 我知道这个意思,softmax输出的置信度还是需要通过下标来确定所属的类别,当时就是好奇这个类别是怎么得到的
你多发点表情包,这样大家的表情包库也就丰富了/狗头
下次一定
啥情况
哈哈
被“白嫖”了
瞎起哄
哦,对啊。这个不是回归数值。是总和为一的概率值
是除以总合除出来那个
我也晕了。。。
赶快重新看看softmax和交叉商损失的公式。。。理解得不透彻啊
好在,有大侠拨乱反正,已经拨了不止一次了。。。