Skip to content

Commit

Permalink
Merge pull request #88 from dawin2015/patch-1
Browse files Browse the repository at this point in the history
Update 4.1 ResNet.html
  • Loading branch information
ZhikangNiu authored May 17, 2024
2 parents 7b97526 + 119637d commit d63cb66
Showing 1 changed file with 2 additions and 2 deletions.
4 changes: 2 additions & 2 deletions docs/第四章/4.1 ResNet.html
Original file line number Diff line number Diff line change
Expand Up @@ -893,7 +893,7 @@ <h4>2.2.1 Shortcut Connection.<a class="headerlink" href="#shortcut-connection"
<p><img alt="shortcut" src="../_images/shortcut1.jpg" /></p>
<p>shortcut connection也就是所谓的“抄近道”,它有两种方式,其一为同等维度的映射,即输入输出直接相加(即上图中的F(x) + x),另一种为不同维度的映射,这时候就需要给x补充一个线性映射来匹配维度。</p>
<p>比如下面这个图:</p>
<img src="./figures/shortcut2.jpg" >
<img src="../../source/第四章/figures/shortcut2.jpg" >
<p>左:VGG-19模型,作为参考。 中:一个有34个参数层的普通网络。 右:一个有34个参数层的残差网络(即resnet34)</p>
<p>在上图最右侧的路径中,我们可以很明显的看到shortcut connection加入了网络之中,同时,图中也很明显的可以看到,实线部分就是进行了单纯的F(x)+x操作,而虚线部分,第一个卷积层的stride是2(那个/2的意思就是stride是2);同时注意到深度也发生了变换,channel数目增加一倍(扩大两倍),这样F(x)的分辨率比x小一半,厚度比x大一倍。在这样的shortcut connection中,就需要补充线性映射来增加维度。在ResNet中,作者使用了1 x 1的卷积核来达到这个目的。</p>
<p>另外,论文中又提到说:“……where both designs have similar time complexity.” 既然BasicBlock和Bottleneck二者的时间复杂度类似,那么为什么还要额外设计一个Bottleneck结构呢?</p>
Expand Down Expand Up @@ -1225,4 +1225,4 @@ <h2>3 总结<a class="headerlink" href="#id6" title="永久链接至标题">#</a


</body>
</html>
</html>

0 comments on commit d63cb66

Please sign in to comment.