深度学习调参有哪些经验呢?
无他,唯手熟尔。炼丹肯定是越炼越熟练的嘛
刚开始时先熟练“丹炉的使用技巧”,比如优化器、动态学习率、early stop什么的。熟练了后,研究研究训练数据的分布与调整、数据増广什么的。
除了这些还有吗,总感觉还有自己不知道的什么秘密,比赛的时候别人的成绩飞升,自己百般尝试却没什么效果。
可以看看练习赛的分享。
一次次尝试
都是公开的“秘密”,smote调整数据分配不平衡,各种数据増广,sample pairing/mixup
图片数据増广可以看我的帖子。
来AI Studio互粉吧~等你哦~ https://aistudio.baidu.com/aistudio/personalcenter/thirdview/76563
【项目分享】
训练数据太少?过拟合?一文带你领略“数据增长魔法”https://aistudio.baidu.com/aistudio/projectdetail/408059
一文帮你理解用Paddle训练模型的原理1-手写回归模型https://aistudio.baidu.com/aistudio/projectdetail/367090
一文帮你理解用Paddle训练模型的原理2-权值可视化(VisualDL)https://aistudio.baidu.com/aistudio/projectdetail/386954
只要特征提取的好,调参只是锦上添花,别太多依靠挑挑参就能得到好模型
深度学习中,特征是网络自己提取的吧
是不是指部分直观明显的特征靠人工提取然后再做特征融合。
数据和模型起主要作用,基本上这2个要素配合好了,精度效果飞升! 调参是在前2样无法改动的情况下 可以起到一定优化作用。
深度学习相比于机器学习最重要的特点就是特征自动提取了
dl现在一般都是做end to end,只要把原始数据丢进去就能出结果
调的多了
自然就有经验了
先了解基本的原理才是最核心的东西
嗯,这个方向是理想的目标方向,通用人工智能。现在模型结构也都是研究机器寻解怎么用基础的那些部件。
嗯,玩多了,就有感觉了
嗯,基本功很重要。调参就是想方设法降低模型的bias和varience
调参换言之就是人工优化问题
程序的效率 取决于你的优化
无他,唯手熟尔。炼丹肯定是越炼越熟练的嘛
刚开始时先熟练“丹炉的使用技巧”,比如优化器、动态学习率、early stop什么的。熟练了后,研究研究训练数据的分布与调整、数据増广什么的。
除了这些还有吗,总感觉还有自己不知道的什么秘密,比赛的时候别人的成绩飞升,自己百般尝试却没什么效果。
可以看看练习赛的分享。
一次次尝试
都是公开的“秘密”,smote调整数据分配不平衡,各种数据増广,sample pairing/mixup
图片数据増广可以看我的帖子。
来AI Studio互粉吧~等你哦~ https://aistudio.baidu.com/aistudio/personalcenter/thirdview/76563
【项目分享】
训练数据太少?过拟合?一文带你领略“数据增长魔法”
https://aistudio.baidu.com/aistudio/projectdetail/408059
一文帮你理解用Paddle训练模型的原理1-手写回归模型
https://aistudio.baidu.com/aistudio/projectdetail/367090
一文帮你理解用Paddle训练模型的原理2-权值可视化(VisualDL)
https://aistudio.baidu.com/aistudio/projectdetail/386954
只要特征提取的好,调参只是锦上添花,别太多依靠挑挑参就能得到好模型
深度学习中,特征是网络自己提取的吧
是不是指部分直观明显的特征靠人工提取然后再做特征融合。
数据和模型起主要作用,基本上这2个要素配合好了,精度效果飞升! 调参是在前2样无法改动的情况下 可以起到一定优化作用。
深度学习相比于机器学习最重要的特点就是特征自动提取了
dl现在一般都是做end to end,只要把原始数据丢进去就能出结果
调的多了
自然就有经验了
先了解基本的原理才是最核心的东西
嗯,这个方向是理想的目标方向,通用人工智能。现在模型结构也都是研究机器寻解怎么用基础的那些部件。
嗯,玩多了,就有感觉了
嗯,基本功很重要。调参就是想方设法降低模型的bias和varience
调参换言之就是人工优化问题
程序的效率 取决于你的优化