首页 炼丹房 帖子详情
深度学习7日入门--疫情特辑
收藏
快速回复
炼丹房 其他新手上路 1145 1
深度学习7日入门--疫情特辑
收藏
快速回复
炼丹房 其他新手上路 1145 1

    这次百度AIStudio推出的深度学习项目确实让我对深度学习有了更深刻的认识。深度学习作为机器学习中的主流研究方法,在CV、NLP和RS等很多领域取得了令人瞩目的成绩,通过这7日的学习,我对深度学习的感悟可以概括为以下几方面:

1. 要有扎实的基本功。这里的基本功指的是对模型、对算法的理解。做人工智能的研究,需要不断与时俱进,不断开拓创新,特别是在业界,大多是面向具体任务的,这要求我们对基本的网络结构有较为全面的理解,并能将其迁移到实际应用中。举例来说,如果要解决的是图像问题,CNN是一个很合适的特征提取结构,这是因为CNN能够提取边缘特征,并具有一定程度上的不变性。再比如说,要做目标检测,单纯地用CNN分类网络的结构并不能实现检测的功能,这里还涉及到目标区域anchor,一个自然的想法就是在分类的基础上对目标的边框做回归,这就是RCNN的思想。因此,夯实基础能节省很多不必要的时间成本和财力。

2. 要有足够的实践能力。理论要落实到生产,就必须掌握将算法转化为代码的能力。Python的重要性就不再赘述,python真的是入门深度学习必备的编程语言。要实现神经网络的构造,目前都要借助于成型的框架,如pytorch,tensorflow等,在这里不得不说,百度的PaddlePaddle深度学习框架确实比tensorflow友好得多,对于计算图和网络的构建十分方便快捷,网络的训练和数据迭代器也都有集成好的工具,更重要的是,AIStudio上提供GPU的算力支持,这相当于是在我们学习深度学习的道路上铺好了高速路。AIstudio上还有大量开放数据集,涉及范围很广,也有很多公开的项目,总体来说,要提升自己的实践能力,百度飞桨是一个很好的平台。

3. 调参炼丹。每个深度学习的研究者基本都要面对这样的挑战——1)效果不好;2)过拟合;3)提升模型效果;等等。神经网络有大量的超参数,尤其是深度神经网络,层数、每一层的神经元数、学习率、激活函数等等,有时候为了达到期望的效果,需要我们不断的尝试不同的超参数组合,也就是炼丹,这个过程非常煎熬。我们在调参时,也不能一味地胡乱尝试,也就是说调参也要讲方法。比如学习率,当你发现最终的验证集效果在某一个范围上下浮动,那就可能是学习率设置的过大,使得网络无法收敛至minimum,产生震荡,这时候就应该适当减小学习率。再比如说,对一个简单的特征维度很小的任务,如果设置每一层的神经元数过多,很容易产生过拟合。

    百度这一期的CV疫情特辑不管是从课程的讲解还是实战项目的设置上,都对我的深度学习能力有着很大的帮助,希望以后能借助百度的平台,做出很好的成果,也希望百度的PaddlePaddle能够不断壮大,同时还希望百度能够多举办一些类似的活动。

1
收藏
回复
全部评论(1)
时间顺序
l
lucywsq
#2 回复于2020-04

好棒呢~感谢分享~

0
回复
在@后输入用户全名并按空格结束,可艾特全站任一用户