最近用2.0的动态图写了下resnet和densenet,训练集准曲率都很低,怎么回事?
我逐渐减少、增加层数都试过了,训练集的准确率都上不去。这是模型有错误吧
就是简单码几层卷积效果都比 resnet和densenet的block效果好,郁闷啊~~
可能还是block写得有问题吧
跑的什么数据呢?
按理说ResNet再差也不会太差
模型的问题吧,怎么可能同时出现呢?
仔细查一下数据传递吧 很可能是实现的有错
这是什么玄学问题……我之前还遇到过测试集表现远高于验证集的情况……
用的caltech。
应该跟数据集有关系,文章给的densenet结构是跑imagenet数据集的。连cifar100上都能加分的,那个分辨率才32。
再调调结构试试吧
模型不但歪、而且散~~欠拟合可能是方差大,过拟合可能是偏差大,哈哈哈。我再调教调教。。。
对了,我可以用上次经典网络的那个香水还是口红的数据集再试试~~
对了,我还可以用那个化妆品的数据集试试~~
我试的时候晕了,增减的不是层而是dense块。
这次换成每块1层,起码训练集好好收敛了
那是不是数据的分布太玄妙了~~
一个时间序列数据,现在回想可能是这样,验证集里面有比较罕见的数据分布……
CIFAR100......这个数据集的准确率很难上去......
又get到一个新知识点,欠拟合还和方差有关吗?
不对,方差大不就说明数据不够多吗,太少的数据没法体现整体的分布情况
应该是数据太少的问题吧
这个测试集和验证集有区别吗。。。概念有点弄混,验证集是不是指比赛这种提交成绩用的验证数据呢
数据量确实不多,但就是觉得很神奇……
我逐渐减少、增加层数都试过了,训练集的准确率都上不去。这是模型有错误吧
就是简单码几层卷积效果都比 resnet和densenet的block效果好,郁闷啊~~
可能还是block写得有问题吧
跑的什么数据呢?
按理说ResNet再差也不会太差
模型的问题吧,怎么可能同时出现呢?
仔细查一下数据传递吧 很可能是实现的有错
这是什么玄学问题……我之前还遇到过测试集表现远高于验证集的情况……
用的caltech。
应该跟数据集有关系,文章给的densenet结构是跑imagenet数据集的。连cifar100上都能加分的,那个分辨率才32。
再调调结构试试吧
模型不但歪、而且散~~欠拟合可能是方差大,过拟合可能是偏差大,哈哈哈。我再调教调教。。。
对了,我可以用上次经典网络的那个香水还是口红的数据集再试试~~
对了,我还可以用那个化妆品的数据集试试~~
我试的时候晕了,增减的不是层而是dense块。
这次换成每块1层,起码训练集好好收敛了
那是不是数据的分布太玄妙了~~
一个时间序列数据,现在回想可能是这样,验证集里面有比较罕见的数据分布……
CIFAR100......这个数据集的准确率很难上去......
又get到一个新知识点,欠拟合还和方差有关吗?
不对,方差大不就说明数据不够多吗,太少的数据没法体现整体的分布情况
应该是数据太少的问题吧
这个测试集和验证集有区别吗。。。概念有点弄混,验证集是不是指比赛这种提交成绩用的验证数据呢
数据量确实不多,但就是觉得很神奇……