首页 飞桨菁英计划 帖子详情
【飞桨启航菁英计划】学习日志
收藏
快速回复
飞桨菁英计划 文章实习就业 304 2
【飞桨启航菁英计划】学习日志
收藏
快速回复
飞桨菁英计划 文章实习就业 304 2

10月20日来到百度大厦,办理了入职手续领了电脑等物资,一切流程都是十分正规,活动的计划和规则也都是从未见过。经过破冰环节、论文分享等一系列活动,对本次活动有了更加明确的认识,我们天大的几位同学组成了一队,开始14天的论文复现。

10月22日领到了最开始的两篇论文,在个人赛阶段表现的比较迷茫,如何开始,遇到问题如何解决也没有很好的思路,所以这第一篇论文拿到手里,心情还是比较沉重,会担心拖慢整个队伍的速度,会担心最后的结果不尽人意。

第一篇论文是关于relation_network网络结构的论文,一开始只觉得除了复现论文之外,还要完成复现流程的打卡点,真的增加了很多任务。到后面才发现按照打卡点来复现确实能够大大提升复现的速度和成功率。在第一步模型对齐部分,paddle和参考代码的结果就不能对齐,在经历了一步步的检验发现,原来是网络中的某些层之间会产生随机的参数,从而导致最后的对齐结果有差异。这次的问题虽然花费了将近一天的时间,但却走完了使用二分法找到差异点,使用reprod_log对齐工具。除此之外,对于这些用过了无数遍的各种网络层,突然有种探寻到内部和本质的感觉。

后面几步的对齐过程似乎顺利了许多,中间也经过了些许的问题,还好最后都解决了,在这个过程中,我的每个队友都干劲满满,短短几天,我就发现他们的身上有很多我需要学习的地方。

后面一次的选论文环节,我们组经历了一次大失败,先是选到了一个使用『稀疏张量』的论文,后面又选到了一个拥有超大数据集的论文,这两篇论文算是把我们折磨的够呛,每天忙忙碌碌,却都无功而返,但是在这几天似乎一直失败的过程中,发现我们小组真的很好很好,每个人都在想尽一切办法能够挽回一点分数,经过了这次,在后面的论文复现过程中,都佛系淡定了很多。

倒数第二次选到了一片NLP的论文,论文作者自己实现了一个优化器,这强迫我不仅要去看NLP方面的知识,还要去看optimizer的底层代码,这真是太难了,pytorch文档和paddle文档来回翻,各种参数删掉又加上。。。在某一刻,代码突然能够跑通,可真是太激动了!指导老师也超级好,在下班的时间还帮助我们一步步的分析代码,找到了出错的地方,虽然最后发现是一个很蠢的失误。

现在是11月2日,是最后一个lucky day了,每天忙忙碌碌就感觉时间过的真的很快,这十四天不光代码能力有了提高,也认识到了很多很好的同学。突然发现,也并不是那么恐惧毕业之后的工作生活了。

总之,希望百度飞桨能够越来越好,能够早日成为star最多的深度学习框架,希望所有努力的同学都能拥有更好的发展机会和更好的未来。

0
收藏
回复
全部评论(2)
时间顺序
BipolarZY
#2 回复于2021-11

收获+1,捕捉到实验室的隐藏大佬。

0
回复
一叶山火
#3 回复于2021-11

棒棒哒!

0
回复
在@后输入用户全名并按空格结束,可艾特全站任一用户