首页 炼丹房 帖子详情
同时欠拟合和过拟合怎么回事?
收藏
快速回复
炼丹房 问答新手上路 2452 31
同时欠拟合和过拟合怎么回事?
收藏
快速回复
炼丹房 问答新手上路 2452 31

最近用2.0的动态图写了下resnet和densenet,训练集准曲率都很低,怎么回事?

0
收藏
回复
全部评论(31)
时间顺序
AIStudio810258
#2 回复于2020-10

我逐渐减少、增加层数都试过了,训练集的准确率都上不去。这是模型有错误吧

0
回复
AIStudio810258
#3 回复于2020-10

就是简单码几层卷积效果都比 resnet和densenet的block效果好,郁闷啊~~

0
回复
AIStudio810258
#4 回复于2020-10
就是简单码几层卷积效果都比 resnet和densenet的block效果好,郁闷啊~~

可能还是block写得有问题吧

0
回复
thinc
#5 回复于2020-10

跑的什么数据呢?

0
回复
thinc
#6 回复于2020-10

按理说ResNet再差也不会太差

0
回复
austinleaven
#7 回复于2020-10

模型的问题吧,怎么可能同时出现呢?

0
回复
3
337954205
#8 回复于2020-10

仔细查一下数据传递吧 很可能是实现的有错 

0
回复
AIStudio810260
#9 回复于2020-10

这是什么玄学问题……我之前还遇到过测试集表现远高于验证集的情况……

0
回复
AIStudio810258
#10 回复于2020-10
thinc #5
跑的什么数据呢?

用的caltech。

应该跟数据集有关系,文章给的densenet结构是跑imagenet数据集的。连cifar100上都能加分的,那个分辨率才32。

再调调结构试试吧

0
回复
AIStudio810258
#11 回复于2020-10
模型的问题吧,怎么可能同时出现呢?

模型不但歪、而且散~~欠拟合可能是方差大,过拟合可能是偏差大,哈哈哈。我再调教调教。。。

0
回复
AIStudio810258
#12 回复于2020-10
用的caltech。 应该跟数据集有关系,文章给的densenet结构是跑imagenet数据集的。连cifar100上都能加分的,那个分辨率才32。 再调调结构试试吧

对了,我可以用上次经典网络的那个香水还是口红的数据集再试试~~

0
回复
AIStudio810258
#13 回复于2020-10
用的caltech。 应该跟数据集有关系,文章给的densenet结构是跑imagenet数据集的。连cifar100上都能加分的,那个分辨率才32。 再调调结构试试吧

对了,我还可以用那个化妆品的数据集试试~~

0
回复
AIStudio810258
#14 回复于2020-10
仔细查一下数据传递吧 很可能是实现的有错 

我试的时候晕了,增减的不是层而是dense块。

这次换成每块1层,起码训练集好好收敛了

0
回复
AIStudio810258
#15 回复于2020-10
这是什么玄学问题……我之前还遇到过测试集表现远高于验证集的情况……

那是不是数据的分布太玄妙了~~

0
回复
AIStudio810260
#16 回复于2020-10
那是不是数据的分布太玄妙了~~

一个时间序列数据,现在回想可能是这样,验证集里面有比较罕见的数据分布……

0
回复
thinc
#17 回复于2020-10
用的caltech。 应该跟数据集有关系,文章给的densenet结构是跑imagenet数据集的。连cifar100上都能加分的,那个分辨率才32。 再调调结构试试吧

CIFAR100......这个数据集的准确率很难上去......

0
回复
thinc
#18 回复于2020-10
模型不但歪、而且散~~欠拟合可能是方差大,过拟合可能是偏差大,哈哈哈。我再调教调教。。。

又get到一个新知识点,欠拟合还和方差有关吗?

不对,方差大不就说明数据不够多吗,太少的数据没法体现整体的分布情况

0
回复
thinc
#19 回复于2020-10
这是什么玄学问题……我之前还遇到过测试集表现远高于验证集的情况……

应该是数据太少的问题吧

0
回复
thinc
#20 回复于2020-10
这是什么玄学问题……我之前还遇到过测试集表现远高于验证集的情况……

这个测试集和验证集有区别吗。。。概念有点弄混,验证集是不是指比赛这种提交成绩用的验证数据呢

0
回复
AIStudio810260
#21 回复于2020-10
thinc #19
应该是数据太少的问题吧

数据量确实不多,但就是觉得很神奇……

0
回复
在@后输入用户全名并按空格结束,可艾特全站任一用户