首页 炼丹房 帖子详情
深度学习与图神经网络学习分享:CNN经典网络之-ResNet
收藏
快速回复
炼丹房 其他新手上路 377 6
深度学习与图神经网络学习分享:CNN经典网络之-ResNet
收藏
快速回复
炼丹房 其他新手上路 377 6

努力的孔子

resnet 又叫深度残差网络

深度网络的退化问题

resnet 解决了这个问题,并且将网络深度扩展到了最多152层。

残差学习

在普通的卷积过程中加入了一个x的恒等映射(identity mapping)

专家把这称作 skip connections 或者 shortcut connections

网络结构角度

当梯度消失时,f(x)=0,y=g(x)=relu(x)=x

1. 当梯度消失时,模型就是记住,长这样的就是该类别,是一个大型的过滤器

2. 在网络上堆叠这样的结构,就算梯度消失,我什么也学不到,我至少把原来的样子恒等映射了过去,相当于在浅层网络上堆叠了“复制层”,这样至少不会比浅层网络差。

数学角度

可以看到 有1 的存在,导数基本不可能为0

那为什么叫残差学习呢

可以看到 F(x) 通过训练参数 得到了 H(x)-x,也就是残差,所以叫残差学习,这比学习H(x)要简单的多。

等效映射 identity mapping

上面提到残差学习中需要进行 F(x)+x,在resnet中,卷积都是 same padding 的,当通道数相同时,直接相加即可,

但是通道数不一样时需要寻求一种方法使得 y=f(x)+wx

实现w有两种方式

1. 直接补0

2. 通过使用多个 1x1 的卷积来增加通道数。

一、算法和场景融合理解
二、数据理解及处理
分析典型场景中的典型数据,结合具体的算法,对数据进行处理
三、技术路径设计
针对具体的场景设计特定的神经网络模型,对典型数据适配的网络结构进介绍。
四、模型验证及问题排查
简单的算法或者模型对典型的场景进行快速验证,并且针对一些频发的问题进行讲解。
五、高级-模型优化的原理
不同的模型需要采用的优化函数以及反向传播中参数的优化方法
六、高级-定制化思路

0
收藏
回复
全部评论(6)
时间顺序
人工智能技术与咨询
#2 回复于2022-10

1、要九五妖妖妖

1
回复
人工智能技术与咨询
#4 回复于2022-10

2、二二幺伍贰(v)了解更多

1
回复
solene
#5 回复于2022-10

好厉害

1
回复
solene
#6 回复于2022-10

学到了

1
回复
nkufdu
#7 回复于2022-11

学到了

0
回复
学到两点半
#8 回复于2023-10

可以的

0
回复
在@后输入用户全名并按空格结束,可艾特全站任一用户