标题可能没讲清楚,举个例子吧。
在MNIST数据集中,使用CNN提取图像特征后送入FC层输出(batch_size, 10)大小的矩阵,第二个维度10代表着10个类别。可是这10个类别分别代表什么类别呢?如果说这个矩阵从左到右代表着0—9还好理解,那又是什么保证了这10个种类一定是0—9的顺序呢?但如果是一些其他数据要怎么判断它的类别顺序呢?
准确来说softmax是一个置信度~hhh
嗯,因为是分子除分母(总和)得到的,得到的是互斥概率,只能用于但标签分类
多标签分类是怎么搞的?说是用sigmoid。
难道多分类就是取交叉商损失,然后取top n 就 n 个·分类标签了?
确实
那个是计算top n error的
有的数据集是大分类下有小分类,有模型一次大小分类都完成么?
就想用预训练模型那样,共用特征提取部分,分别训练最后分类的那层
最后弄两个fc不久搞定了么~
哈哈,对啊,预训练模型就是通用特征提取层的。finetune的就是分类层
对了,不知道finetune后面分类层时,冻结前面特征提取层是啥效果~~
冻结操作怎么实现啊~~
不是trainable=FALSE吗
除了冻结,可以限制参数更新幅度么?记得有个weight_clip_normal之类的来着
gan就有玩逐层训练的~
没用过。
是的
1
顺序是不用管的,只需要固定就好,也就是一个类别对应一个one hot向量。
准确来说softmax是一个置信度~hhh
嗯,因为是分子除分母(总和)得到的,得到的是互斥概率,只能用于但标签分类
多标签分类是怎么搞的?说是用sigmoid。
难道多分类就是取交叉商损失,然后取top n 就 n 个·分类标签了?
确实
那个是计算top n error的
有的数据集是大分类下有小分类,有模型一次大小分类都完成么?
就想用预训练模型那样,共用特征提取部分,分别训练最后分类的那层
最后弄两个fc不久搞定了么~
哈哈,对啊,预训练模型就是通用特征提取层的。finetune的就是分类层
对了,不知道finetune后面分类层时,冻结前面特征提取层是啥效果~~
冻结操作怎么实现啊~~
不是trainable=FALSE吗
除了冻结,可以限制参数更新幅度么?记得有个weight_clip_normal之类的来着
gan就有玩逐层训练的~
没用过。
是的
1
顺序是不用管的,只需要固定就好,也就是一个类别对应一个one hot向量。