paddle支不支持attention-mode
收藏
paddle支不支持attention-model、deep residual learning的语法？
如果支持，能给个demo吗？
我们的应用场景是ctr预估，使用的模型是 MLP+FM。所以请问在MLP中如何实现attention-model、deep residual learning？谢谢
0
收藏
请登录后评论
attention-model的话可以参考Paddle Book中机器翻译部分的内容 ，对PaddlePaddle如何实现attention机制有详细介绍 https://github.com/PaddlePaddle/book/tree/develop/08.machine_translation 。
deep residual learning如果只是说需要支持这种残差机制，V2的话使用addto layer即可，可以参考Paddle Models中ResNet的示例 https://github.com/PaddlePaddle/models/blob/develop/image_classification/resnet.py#L47