resnet(残差网络)的F(x)究竟长什么样子?

想弄明白resnet的机制,看了不少网络资源,都提到“H(X)= F(X)+X。H映射计算复杂,F(X)计算相对简单,所以加深网络是OK的”。。。H(…
关注者
492
被浏览
135,785
登录后你可以
不限量看优质回答私信答主深度交流精彩内容一键收藏

F是求和前网络映射,H是从输入到求和后的网络映射。

比如把5映射到5.1,

那么引入残差前是F'(5)=5.1,

引入残差后是H(5)=5.1, H(5)=F(5)+5, F(5)=0.1。

这里的F'和F都表示网络参数映射,引入残差后的映射对输出的变化更敏感。比如原来是从5.1到5.2,映射F'的输出增加了1/51=2%,而对于残差结构从5.1到5.2,映射F是从0.1到0.2,增加了100%。明显后者输出变化对权重的调整作用更大,所以效果更好。

残差的思想都是去掉相同的主体部分,从而突出微小的变化,看到残差网络我第一反应就是差分放大器...