上回初阶深度学习工程师的练级指南已奉上(没看到的小伙伴点这里:从第一本书开始,如何成为深度学习工程师<上篇> https://ai.baidu.com/forum/topic/show/865293)
过了初阶,少侠们如何努力更上一层楼呢?
小编奉上中阶深度学习工程师练级指南(外加高阶深度学习工程师的关注点)
希望能给小伙伴提供有效信息,帮助大家升级!
这里所定义的中阶选手,是深度学习理论基础扎实,实操方面尝试扩展深度学习更多应用场景的侠客。由此,从初阶→中阶,基本流程保持不变,变化的是每个步骤的深入程度。
中阶深度学习工程师进阶流程 阅读Paper → 看公开课 → 更多尝试 → Github交流
入手的第一篇paper
上篇提到的各类基础理论对于大家而言已是经烂熟于心,但是基础理论还远远不够。深度学习行业新成果不断涌现,为了保证时刻跟上步伐,需要着手阅读行业论文,学习其他大佬们的操作方法。
如下先推荐各方向适合入手的论文,再附上检索论文的多种途径,按需搜索~
【CNN方向】
"Deep learning for visual understanding: A review" [link, [PDF](articles/Deep learning for visual understanding A review.pdf)]
魏秀参的CNN卷积手册也值得仔细阅读,并且包含非常多的案例
http://lamda.nju.edu.cn/weixs/book/CNN_book.html
【RNN方向】
"Long short-term memory" 被业内人士推荐为RNN最佳解读
http://web.eecs.utk.edu/~itamar/courses/ECE-692/Bobby_paper1.pdf
【DQN方向】
Playing Atari with Deep Reinforcement Learning
https://arxiv.org/abs/1312.5602
【无监督学习/深度生成模型】
Le, Quoc V. "Building high-level features using large scale unsupervised learning." 2013 IEEE international conference on acoustics, speech and signal processing. IEEE, 2013. [pdf] (里程碑, 吴恩达, 谷歌大脑, Cat)
论文哪里找呢?小编整理了一些途径给大家参考~
Arxiv:从属于康奈尔大学图书馆,其中包含计算机科学方面论文分支,网罗机器学习、深度学习的最新论文成果,基本上所有的开发者寻找学术成果都会用到它。详细网址 https://arxiv.org
SCI检索库:高效丰富,如果觉得英文读起来略显吃力,也可以通过中国知网可以查询关注国内的学术成果。
本阶段可参考的公开课
中阶期间各位大侠仍然可以参考一些视频课程。
第一种是针对目前理解起来还有些吃力的理论,可以借助课程的力量辅助。
第二种是操作深度学习框架时的实操教学视频,可以带着操作问题去查找观看。
接下来也分为这两方面为大家推荐视频课程。
多伦多大学教授 Geoffrey Hinton机器学习与神经网络公开课,包括感知器、反向传播、卷积神经网络、循环神经网络、梯度下降和超参数贝叶斯优化等主题,参考链接如下
https://www.youtube.com/watch?v=cbeTc-Urqak&list=PLoRl3Ht4JOcdU872GhiYWf6jwrk_SNhz9
如果你使用的框架是PaddlePaddle,可以参考如下实践课程,其中已经分出了各个不同的AI技术方向。参考链接如下
https://ai.baidu.com/paddlepaddle/openCourses
更深度的模型实训
如果按照上篇操作,大家应该已经选定了合适的深度学习框架,且使用数据集和成型的模型跑起来了。作为一名中阶选手,需要把框架用的更熟练,尝试更多的数据集,探索更丰富的场景。
在此仍然延续上篇文章,默认各位中阶选手已经选择好具体的AI技术方向,以PaddlePaddle为例。
PaddlePaddle有多种模型可供开发者选择,包含RNN语言模型、点击率预估、文本分类、序列标注、机器翻译、图像分类、物体检测、OCR识别、语音识别等。借助这些模型,外加官方提供的数据库,可以尝试多种场景之下的应用。
【例】加州理工学院的美籍华裔学生EricZhao实现犬类面部识别和语义操作,经历安装-训练-使用三步,借助Siamese model训练,初步实现“宠物刷脸”他具体的操作详情可参考如下链接
https://github.com/ericzhao28/puppy_image_embeddings
Github开源交流
如上三个步骤顺利完成后,恭喜各位少侠,基本进入中阶工程师领域~
大家可以到Github上,寻找所使用的框架主站,进行提问或提修改需求。
以PaddlePaddle为例,链接 https://github.com/PaddlePaddle
广阔实战 大有可为
练就中阶又实现了一个质的飞跃!既然已经练就了本领,当然要寻找能够大展身手的途径~
一方面,大家可以带着简历去投递工作机会,把“炼丹”发展为终身事业。
另一方面,和朋友一起组队参加各种深度学习的比赛,通过比赛检验成果。
深度学习领域权威比赛包含:Kaggle、KDD Cup,期待能够看到大家一朝成名!
高阶深度学习工程师关注点
高阶选手基本上是行业专家和高阶从业技术人员。他们能够非常清楚的明确深度学习用在哪里、如何应用,并能够将深度学习应用在非常多的场景之中。在这个阶段技术层面已经全面成熟,基本上放眼江湖难逢敌手。
高阶选手的修炼就有非常多种的方式。在这里小编大胆猜想其修炼路径,希望能对大家早日成为宗师提供些许帮助。
【关注最新工具】
所谓最新工具,就是配合深度学习框架本身,有效提升深度学习框架运作效率的东西。高阶选手能够根据自己的开发需要,让这些工具发挥最佳辅助作用。
以PaddlePaddle为例,其中包含可视化工具Visual DL,弹性计算EDL。可视化工具能够帮助开发者观察分析模型的收敛情况、权重分布、特征分布等;而弹性计算能够提升机器使用效率,在工业化应用中能够成为提速能手。
【看行业发展趋势】
高阶选手不仅要在技术方向有专攻,另一方面也要关注行业动向,并输出一些自己的判断,对行业的把控程度远高于一般人。
高阶选手会选择看近两年的深度学习研究成果、行业报告等等。
如果想要找寻近两年内的研究成果,可以去看看顶级学术会议发表的论文,顶尖学术会议发布的论文是重点(含金量很高,能代表行业前沿)
以视觉方向为例,可以关注IEEE主办的三大学术会议CVPR、ECCV、ICCV
以NLP方向为例,可关注这三个国际顶级学术会议ACL、EMNLP 、CoNLL
想寻找更多顶级学术会议的文章,可以关注计算机学会
计算机学会推荐的AI方向的顶级学术会议和期刊,包含在如下链接中http://history.ccf.org.cn/sites/ccf/biaodan.jsp?contentId=2903940690839
至此,进阶深度学习工程师之路,相信已经深入大家心中~
学有所成,大家对深度学习工程师就业和掘金情况可能仍有疑问
不要急,后续系列会继续详解,敬请期待~
666
这个路线图不错