【飞桨启航菁英计划】-实习日志
收藏
为期两周的实习,让我收获很多。从最开始接触Paddle到熟悉整个论文复现流程,学习到很多新的知识。最开始的一篇关于GHM_loss,阅读论文之后,作者是在retina_net的基础上,针对正负样本的梯度不均衡问题,提出了梯度密度的概念,针对分类和回归问题,设计了GHMC和GHMR两种损失函数。在具体复现时,遇到了很多问题,前向对齐了resnet50,但是在后面Loss的计算中,差一些精度,在后面训练的时候出现了不收敛等问题。在关于第70篇Visual Attention Model in Deep Learning的复现中,在论文训练指标评估阶段遇到了问题,原torch代码对tensor进行max(1)[1],而在paddle中需要借助paddle.argmax()函数实现相关功能,找到这个bug费了好些时间。另外在有一篇关于NLP的论文中,遇到了torch.nn.utils.rnn.pack_padded_sequence的算子,这个在paddle中并没有对应实现,在请教研发老师后,建议在RNN或者LSTM中输入传入sequence_length实现等价的功能。
两周的时间,学习到了很多,也结识了很多有趣的朋友,收获满满!
0
收藏
请登录后评论
很好!
感谢组长提点 !