Deep Residual Learning for Image Recognition Kaiming He Xiangyu Zhang Shaoqing Ren Jian Sun Microsoft Research kahe, v-xiangz, v-shren, jiansun @microsoft.com - 全部中文论文
translated: 2026-07-16
title: "Deep Residual Learning for Image Recognition Kaiming He Xiangyu Zhang Shaoqing Ren Jian Sun Microsoft Research kahe, v-xiangz, v-shren, jiansun @microsoft.com" aliases: - "ResNet" - "arXiv:1512.03385" source: "https://arxiv.org/abs/1512.03385" arxiv: "1512.03385" created: 2026-07-16 type: paper-translation status: translated tags: - paper - ml - deep-learning - vision
Deep Residual Learning for Image Recognition Kaiming He Xiangyu Zhang Shaoqing Ren Jian Sun Microsoft Research kahe, v-xiangz, v-shren, jiansun @microsoft.com - 全部中文论文
Page 1
<a id="S0001"></a> 为图像识别而深残留学习 Caiming He Xiangyu 张绍清 Ren Jian Sun Microsoft Research kahe, v-xiangz, v-shren, jiansun @microsoft.com {} 文摘 20 Deeper 神经网络更难训练.
<a id="S0002"></a> 我们提出了一个剩余学习框架,以方便培训10个比以前使用的网络要深得多的网络。
<a id="S0003"></a> 我们明确将各层重新划分为学习剩余功能,参照各层输入,在-0 1 2 里拉. 3 (1e4) 4 5 6 中取而代之的是学习无参考功能.
<a id="S0004"></a> 我们提供了全面的实证证据,表明这些剩余网络比较容易优化,并且能够从大幅度提高的深度中获得准确性。
<a id="S0005"></a> 在ImageNet的数据集上,我们评价了深度为152层的残余网——8-比VGG网更深[41],但复杂性仍然较低。
<a id="S0006"></a> 这些残留网的组合在ImageNet测试集上实现了3.57%的误差.
<a id="S0007"></a> 这一结果在ILSVRC2015分类任务上获得了第1名.
<a id="S0008"></a> 我们还对CIFAR-10进行了100和1000层的分析。
<a id="S0009"></a> 表达的深度对于许多视觉识别任务至关重要.
<a id="S0010"></a> 仅仅由于我们极其深刻的表达, 我们得到了28%的相对改进 COCO对象检测数据集。
<a id="S0011"></a> 深残留网是我们提交ILSVRC & COCO 2015比赛1的基础,我们在该比赛中还获得了ImageNet检测,ImageNet本地化,COCO检测和COCO分化等任务的第1名. 1. 联合国
<a id="S0012"></a> 导 言 深革命神经网络[22,21]引出一系列图像分类突破[21,50,40].
<a id="S0013"></a> 深层网络自然将低/中/高等特征[50]和分级器以端到端多层的方式整合,而地物的"级别"可以通过堆叠层的数量来丰富(深度).
<a id="S0014"></a> 最近的证据[41、44]显示,网络深度至关重要,具有挑战性的ImageNet数据集[36]的主要结果[41、44、13、16]都利用了“非常深”的[41]个模型,深度为16 [41]至30 [16]。
<a id="S0015"></a> 许多其他非三角视觉识别任务[8、12、7、32、27]还有1http://image-net.org/challenges/LSVRC/2015和http://mscoco.org/dataset/#detections-challenge2015.]% (rorre gniniart 20 10 00 1 2 3 4 5 6 interer.(1e4))% (rorre t set 56-layers 20-layers 56-layers 20-layer 图一.
<a id="S0016"></a> CIFAR-10上的训练出错(左)和测试出错(右),有20层和56层“平面”网络。
<a id="S0017"></a> 更深的网络有更高的训练出错,因此测试出错.
<a id="S0018"></a> 图4介绍了ImageNet上的类似现象。
<a id="S0019"></a> 由于深度的重要性,出现了一个问题: 学习更好的网络像堆放更多的地层一样容易吗?
<a id="S0020"></a> 回答这个问题的一个障碍是臭名昭著的渐变[1、9]消失/爆炸问题,这从一开始就阻碍了趋同。
<a id="S0021"></a> 然而,这个问题在很大程度上通过正常化初始化[23,9,37,13]和中间正态层[16]来解决,这使得有数十层的网络能够开始以回向传播来趋同于分层梯度回落(SGD)[22].
<a id="S0022"></a> 当更深层的网络能够开始趋同时,一个退化问题就暴露了:随着网络深度的增加,精度会饱和(这也许并不奇怪)并会迅速降解.
<a id="S0023"></a> 意外的是,这种退化不是由过度适应造成的,在适当深的模型中增加多层会导致更高的训练出错,如[11、42]所报告并经我们的实验充分核实。
<a id="S0024"></a> (培训准确性的)退化表明,并非所有系统都同样容易优化。
<a id="S0025"></a> 让我们考虑一个更浅的架构及其更深层的对应结构,使其增加更多的层次。
<a id="S0026"></a> 通过构建到更深的模型中存在一个解决方案:所添加的地层是身份映射,而其他地层则是从所学到的更浅的模型中复制出来的.
<a id="S0027"></a> 这种已构建的解决方案的存在表明更深的模型不应产生比更浅的对应器更高的训练出错.
<a id="S0028"></a> 但实验显示,我们目前的解析器无法找到1 5102 ceD 01]VC.sc[1v58330.2151:viXra]的解决方案.
Page 2
<a id="S0029"></a> ImageNet测试集,并获得ILSVRCx2015分级赛第1名.
<a id="S0030"></a> 极深的重分层怨恨在其它识别任务上也有出色的概括性能F (x) relu x,并带领我们进一步赢得了重分层身份的第1位:ImageNet检测,ImageNet本地化,COCO检测,以及COCO在ILSVRC & (x (cid:1)+ (cid:1)x F relu CO 2015比赛中的分层.
<a id="S0031"></a> 这一有力证据表明图2。
<a id="S0032"></a> 剩余学习:一个构件. 剩余学习原则是一般性的,我们期望它适用于其他愿景和非愿景问题。 (或无法在可行时间内这样做)。 2. 联合国
<a id="S0033"></a> 相关工作 在本文中,我们通过引入深层残余学习框架来解决退化问题。
<a id="S0034"></a> 在图像识别方面,VLAD(VLAD)代替希望每几个堆叠的地层直接适合一个[18]是一个由所希望的地基映射的残余向量编码的表示,我们明确允许这些与字典相连接,而Fisher Vector[30]可以是ers相接地基映射.
<a id="S0035"></a> 形式上,将所希望的表示成VLAD的概率版本[18].
<a id="S0036"></a> 两种基础映射都作为(x),我们让堆叠的非线性它们成为图像中继器的强势浅层表示,适合(x)=(x)x的另一个映射H克.
<a id="S0037"></a> orig-trieval和分类[4,48].
<a id="S0038"></a> 对于向量量化,内映射被重塑为(F x)+x. W H e hyp − othesize 表示它编码了剩余向量[17] , 显示比起编码原始向量,它更容易优化 re F sidual 映射. 原始的,无参考的绘图。
<a id="S0039"></a> 至极,如果一个在低等视觉和计算机图形中,为了求解映射是最佳的,那么推出部分差异方程(PDEs)会更容易,被广泛使用的剩余到零,而不是用堆栈多网格法来搭配身份映射[3]将系统重塑为非线性分层. lems 在多尺度中,每个子问题负责一个相干器和细管之间的剩余溶液. (x) + x的配体可以通过feedfor-F尺度实现.
<a id="S0040"></a> Multigrid的一个替代办法是具有“短连接”的分级基础前神经网络(图2)。 条件[45,46],它依赖于可重排快捷连接[2,34,49]的变量,是跳过一个或发送到两个尺度之间的剩余向量.
<a id="S0041"></a> 在我们的情况中,这些解析器的快捷连接简单[3,45,46]的聚合速度远快于stanperform身份映射,其输出被添加到没有意识到堆叠层输出的剩余性质的达德解析器上(图2).
<a id="S0042"></a> 这些方法表明,良好的再造切开连接既不会增加额外的参数,也不会增加压缩前提,从而可以简化优化. 神经上的复杂性。
<a id="S0043"></a> 整个网络仍然可以由SGD通过回放来训练端到端,并且可以成为eas-快捷连接.
<a id="S0044"></a> 导致使用共同库(如Caffe[19])快捷连接[2,34,49]的ily执行的实践和理论,在不修改解析器的情况下被长期研究. 时间。
<a id="S0045"></a> 早期培训多层感官的做法 我们在ImageNet(MLPs)上做了全面的实验,即从网络上添加一个连接的线性层[36],以显示降解问题并评价我们对输出的投入[34,49].
<a id="S0046"></a> 我们表明:(1) 我们极深的残余鱼网分层直接连接到辅助分类器上,很容易优化,但对应的 " 平地 " 网(用于处理已消失/正在消失的梯度)。
<a id="S0047"></a> 当[39、38、31、47] 的论文提出更深层中枢的方法时,论文的堆叠层)显示出较高的训练错误; 2) 我们的深层残余网可以很容易地享受从深度大为增加的精度增加而得到的接通性、梯度和传播出的错误。
<a id="S0048"></a> 在[44]中,“概念”层比以前的网络要好得多。 由快捷分支和几根更深的分支构成。
<a id="S0049"></a> 在CIFAR-10设定与我们的工作同时进行的“高速公路网络”[42,43] [20]中也显示了类似现象,这表明优化困难和目前捷径与地标函数的联系[15]. 我们的方法的效果 不仅仅是像一个特定的数据集。
<a id="S0050"></a> 这些闸门是数据依赖的,并有参数,我们在这个数据集上成功地展示了训练有素的模型,与我们的身份快捷键相对,这些快捷键是无参数的. 探索1000多层的模型
<a id="S0051"></a> 当一个有门的捷径被“关闭”(接近零),即“On ImageNet”分类数据集[36]时,我们在高速公路网络中获得的分层代表着极其深厚的残留网产生的非活性真菌成果。
<a id="S0052"></a> 相反,我们的表述总是学习层残网是有史以来最深的关于残余函数的网络;我们的身份快捷方式从未关闭过,ImageNet,而其复杂性仍然低于VGG,所有信息总是通过,并带有附加物[41].
<a id="S0053"></a> 我们的综艺节目在需要学习的电离残存功能上有3.57%的前5个出错.
Page 3
<a id="S0054"></a> 网络在ReLU[29]中未显示准确性增益,为了简化新近增加的深度(如超过100层),略去偏差. t.
<a id="S0055"></a> 操作+x由快捷键F连接和元素相加来完成.
<a id="S0056"></a> 添加后的深残留学习非线性(即: " (y) " ,见图2)。
<a id="S0057"></a> Eqn.(1)中的快捷连接既不引入前3.1.
<a id="S0058"></a> 剩余学习参数或计算复杂性。
<a id="S0059"></a> 这不仅让我们认为(x)是一种在实践中具有吸引力的基础绘图,而且对我们用几层堆放(不一定是整个网)来比较平地网络和残余网络也很重要。
<a id="S0060"></a> 我们可以相当配合X 表示这些层中第一层的投入。
<a id="S0061"></a> 如果一个平原/剩余网络同时具有多个非线性地层可以同比地调出相同数量参数,深度,宽度,并比较近似复杂函数2的假说,那么它就是等效-通量成本(可忽略不计的元素加法除外). 完全可以假设他们可以无症状的近似... x的尺寸,必须在 Eqn.(1). F使剩余函数相配,即(x)x(假设情况并非如此(例如,在改变输入/输出H−输入和输出为同维度时)).
<a id="S0062"></a> 因此通道,我们可以通过线性投影Ws来进行,而不是期望堆叠的地层大致(x),我们快捷连接来匹配维度:H明确让这些地层接近一个剩余函数(x)=(x)x.
<a id="S0063"></a> 原函数由此成为y= (x, Wi) + W s x (2) F H- F {} (x) + x.
<a id="S0064"></a> 虽然两种表型都应该能够同化-F,但我们也可以使用Eqn.(1)中的平方矩阵W.
<a id="S0065"></a> 但是,我们将在理论上接近所期望的功能(假设的),通过实验表明,身份映射足够了,学习的方便程度可能有所不同。 为了解决退化问题,这种重构是因反直觉引起的,因此,W只在与维相匹配时才被使用。 关于退化问题的现象(图1,左)。
<a id="S0066"></a> 剩余函数的形式是灵活的。
<a id="S0067"></a> Excerwe在导言中讨论过,如果本文中添加的地层可以F imments涉及一个具有两个功能或被构建为身份映射的功能,一个更深的模型应该有F 三地层(图5),而更多的地层是可能的.
<a id="S0068"></a> 但如果训练有误不超过其更浅的反相只有一分层,则Eqn.(1)类似于一分线层:part.
<a id="S0069"></a> 降解问题表明解子F y = W x + x,对此我们没有观察到优势. 1 我们还注意到,虽然上述注释是由多层非线性图层构成的。
<a id="S0070"></a> 将剩余学习重新连接的地层用于简单化,这些地层适用于配体,如果身份映射是最佳的,则解析者会分出地层.
<a id="S0071"></a> 函数 (x, W) 可以直接驱动多个非线性平地- i F { } 发送多个分层的重心.
<a id="S0072"></a> 元素辅助器向零方向接近身份映射。 tv在两个专题地图上进行,按频道进行.
<a id="S0073"></a> 在实际情况下,身份测绘不可能是最佳的,但我们的重新表述可能有助于为3.3设定先决条件。
<a id="S0074"></a> 如果最佳功能更接近于身份映射,而不是零映射,那么对于我们已经测试了各种平地/剩余网,并且对于寻找身份服务于一致现象的扰动就比较容易。
<a id="S0075"></a> 提供拆分实例,而不是学习新的功能。
<a id="S0076"></a> 我们显示打击,我们描述图像网的两个模型如下. (图7),即Plain Network中学到的剩余功能。
<a id="S0077"></a> 我们的平地基线(图3,中地)一般有小的响应,说明身份图主要受VGG网哲学启发[41](图3,平地提供合理的前提条件. 页:1
<a id="S0078"></a> 演化地层多有3个3个滤波器和× 3.2.
<a id="S0079"></a> 通过快捷键进行身份映射遵循了两个简单的设计规则:(一) 对于相同的输出特征映射大小,层有相同的fil-数量. 我们把残存的学习 推广到每一个堆积层。 之三;和 (二) 如果将特征图大小减半,则数字 - 图2显示了一个构件。
<a id="S0080"></a> 正式地说,在本文中,过滤器的泊位加倍,以便保留我们考虑一个构件的时间,该构件的定义是:每层复杂度.
<a id="S0081"></a> 我们直接通过有2个阶地的分层来进行下采样。
<a id="S0082"></a> 网络 y = (x, W ) + x. (1) F {i } 以全球平均集合层和1000道全相接层相接而成,并带有软马克斯.
<a id="S0083"></a> Here x 和 y 为自重层的输入和输出向量的总数在图3(中)为34. 考虑过。
<a id="S0084"></a> 函数 (x, W) 代表 F { i } 值得注意的是,我们的模型的过滤器和可学习的剩余绘图较少。
<a id="S0085"></a> 例如,图2中的复杂性低于VGG网41。
<a id="S0086"></a> 我们的34个有两层,=W / (W x),其中以2 1 F 的分层基线表示有36亿FLOP(乘以-添加),然而,这一假设仍然是一个未决问题。
<a id="S0087"></a> 见[28]。 只有18%的VGG-19(196亿FLOP)。 3个
Page 4
<a id="S0088"></a> VGG-19型34层平原34层残余物网络.
<a id="S0089"></a> 基于上述平面网络,我们插入了快捷连接(图3,右),将图像图像 s o iz u e t: p 2 u 2 t 4 3x3 conv,64 network 转换成对应的剩余版本.
<a id="S0090"></a> 身份快捷键(Eqn.(1))可以在输入和3x3凸起时直接被使用,64个输出的尺寸相同(集合中的固行快捷键,2输出图.
<a id="S0091"></a> 当维度增加(被点缀的行跑快道:112 3x3 conv,128 in Fig. 3)时,我们考虑两个选项: (A)快捷道仍然为3x3 conv,128 7x7 conv,64,/2 7x7 conv,64,2执行身份映射,额外零条目加码池,2池,2池,2输出来增加维度.
<a id="S0092"></a> 此选项不引入额外大小:56个3x3 conv,256个3x3 conv,64个3x3 conv,64个参数; (B) Eqn.(2)中的投影快捷键用于3x3 conv,256个3x3 conv,64个3x3 conv,64个相配尺寸(由 1 1 1 个进取).
<a id="S0093"></a> 对于双相×3×3相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相
<a id="S0094"></a> 执行3×3收缩口,64个3×3收缩口,64个池,/2个3×3收缩口,128个,/2个3×3收缩口,128个,2个. 我们对ImageNet的执行遵循惯例输出大小:28个3×3收缩口,512个3×3收缩口,128个3×3收缩口,128个在[21,41].
<a id="S0095"></a> 图像以更短的侧跑-3x3凸起,512个3x3凸起,128个3x3凸起,128个多米取样于[256,480]进行规模增强[41]. 3x3收缩口,512个3x3收缩口,128个3x3收缩口,128个A 224个收缩口,从一幅图像或其×平面翻接处随机抽取出,以每像素平均值减去[21].
<a id="S0096"></a> 3x3收缩口,512个3x3收缩口,128个3x3收缩口,128个标准色增收在[21]中使用.
<a id="S0097"></a> 我们采用批量的3x3收缩,128个3x3收缩,128个正常化(BN)[16]在每次分化之后和3x3收缩,128个3x3收缩,128个活化前,16个活化后.
<a id="S0098"></a> 我们将重心3x3凸起,128 3x3凸起,128 如 [13] 从头开始训练所有平地/剩余网.
<a id="S0099"></a> 我们s o iz u e t: p 1 u 4 t pool, p 1 u 4 t pool, s/2 3x3 conv, 256, s/2 3x3 conv, 256, s 2. 使用 SGD, 微型批量大小为256.
<a id="S0100"></a> 学习速率为:3x3 conv,512 3x3 conv,256 3x3 conv,256起自0.1起,在错误高原,3x3 conv,512 3x3 conv,256 3x3 conv,256和模型被训练最多60 104个迭代时被除去.
<a id="S0101"></a> We 3x3 conv, 512 3x3 conv, 256 3x3 conv, 256 ×使用0.0001的重量衰变和0.9的动力.
<a id="S0102"></a> We 3x3 conv, 512 3x3 conv, 256 3x3 conv, 256 不使用退出 [14],遵循了 [16] 的惯例. 3x3 conv, 256 3x3 conv, 256 在测试中,为了比较研究,我们采用了标准3x3收缩,256个3x3收缩,256个10个收缩测试[21].
<a id="S0103"></a> 为了取得最佳效果,我们采用[41,13]中的全-3x3 conv,256 3x3 conv,256等同分数,平均分数为:3x3 conv,256 3x3 conv,256等同分数分数分数分数分数分数分数分数分数分数取数分数分数分数分数分数分数分数分数分数分数分数分数分数取数分数分数分数分数分数分数分数取数分数分数分数分数分数分数取数分数分数分数分数分数分数分数分数分数取数分数分数分数分数分数分数分数分数分数分数分数分数分数分数取数分数分数分数分数分数分数分数分数分数分数分数分数分数分数分数分数分数分数分数分数分数分数分数分数分数分数分数分数分数分数分数分数分
<a id="S0104"></a> 实验 3x3 conv, 256 3x3 conv, 256 o si u z t e p: u 7 t pool, /2 3x3 conv, 512, /2 3x3 conv, 512, 2. 4.1.
<a id="S0105"></a> ImageNet 分类 3x3 conv, 512 3x3 conv, 512 我们在2012 Classifi-3x3 conv, 512 3x3 conv, 512 cation数据集[36]上评价我们的方法,这些数据集由1000个类组成.
<a id="S0106"></a> 型号为3x3相接相,512相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相
<a id="S0107"></a> 我们还获得一个最终的3x3凸起,512个3x3凸起,在测试服务器报告的100k测试图像上得到512个结果. o si u z t e p: u 1 t fc 4096 avg pool avg pool 我们评价上一和上五的错误率. fc 4096 fc 1000 fc 1000 fc 1000平原网络.
<a id="S0108"></a> 我们首先评估18层和34层平地网。
<a id="S0109"></a> 34层平原网为图3(中).
<a id="S0110"></a> 图像网络的示例网络架构.
<a id="S0111"></a> 左:18层平原网形式相近.
<a id="S0112"></a> 参见表1中的去VGG-19型 [41] (196亿FLOPs)作为参考.
<a id="S0113"></a> 中尾建筑. dle:有34个参数层(36亿FLOP)的平地网络.
<a id="S0114"></a> 表2的结果显示更深的34层平原右:一个有34个参数层的剩余网络(36亿网有比更浅的18层FLOPs更高的验证错误).
<a id="S0115"></a> 被点的快捷键会增加维度.
<a id="S0116"></a> 为了揭示原因,在图4(左)中,我们比较详细和其他变体。 在培训过程中纠正他们的训练/鉴定错误。
<a id="S0117"></a> 我们观察到了退化问题 -- -- 4
Page 5
<a id="S0118"></a> 层名输出大小为18相 34相 50相 50相 相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相 , 1024 1 1, 1024 conv5 x 7 × 7 (Cid:20) 3 × 3 × 3 , 5 5 1 1 2 (cid:21) × 2 (cid:20) 3 × 3 3 3 · 3 , 5 5 1 1 1 2 (cid:21) × 3 · 3 · 3 · 3 · 3 · 3 · · 5 · 5 · 3 · · 3 · · 3 · · 1 · 2 · 3 · · 5 · · 5 · 3 · · · · 3 · 3 · · · · 3 · · · · 3 · · · · · · · · · · · · · · · · · · · · · · · · · ·
<a id="S0119"></a> 块块以括号显示(又见图5),块块数被堆放.
<a id="S0120"></a> 俯冲采样由凸起相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接相接
<a id="S0121"></a> 细曲线指训练出错,而粗曲线指中心收成的验证出错.
<a id="S0122"></a> 左:由18层和34层组成的平地网.
<a id="S0123"></a> 在这个情节中,相较于平庸的对应物,剩余网络没有额外的参数. plain ResNet 减少训练错误 3。
<a id="S0124"></a> 今后将研究造成这种Opi-18层27.94 27.88米化困难的原因。 34层 28.54 25.03 残存网.
<a id="S0125"></a> 接下来我们评价18层和34层表2。
<a id="S0126"></a> 在ImageNet验证上,Top-1出错(%,10crop测试). 层余网。
<a id="S0127"></a> 基线结构 这里ResNet与平地相比没有额外的参数,与上面的平地网是相同的,希望有一个快捷方式对应的.
<a id="S0128"></a> 图4显示了培训程序。 连接被添加到每对3 3 个过滤器中, 如图 3 × (右) 。
<a id="S0129"></a> 在第一次比较(表2和图4右侧)中,我们对所有捷径使用身份映射,零平面34层平面网在增加维度的整个过程中有较高的训练错误(选项A)。
<a id="S0130"></a> 因此他们没有额外的整个训练程序,即使与平地对应方相比的溶液空间参数. 18层平原网络是一个子空间,我们从表2和表34层的1中得出了三大观测结果。
<a id="S0131"></a> 第一,情况被扭转 剩下的学习 - 我们主张这种优化难度不太可能发生 — — 34层的ResNet比18层的ResNet更好,
<a id="S0132"></a> 更重要的是,通过BN[16]培训的34层ResNet展品,确保了远期传播的训练出更低的训练出错,并且对信号普遍来说有非零差异。
<a id="S0133"></a> 我们还核实验证数据。
<a id="S0134"></a> 这表明,退化问题向后扩散的梯度呈现出健康的规范,在这种背景下得到了很好的处理,我们设法获得了生物网络。
<a id="S0135"></a> 因此,前向信号和后向信号都没有消失。
<a id="S0136"></a> 从深度增加中获得准确性。 事实上,34层平原网 仍然能够实现竞争... 第二,与其平面对应的34层活性精度(表3)相比,说明"解决者"的作品"3"(We)已经尝试了更多的训练活性迭代(3×),并在某种程度上仍然模糊.
<a id="S0137"></a> 我们推测,深平原网可能对退化问题有利,这表明这一问题不可能有指数低的汇合率,仅仅使用更多的迭代就会影响实际解决的问题。 页:1
Page 6
<a id="S0138"></a> VGG-16 [41] 28.07 9.33 3x3, 64 1x1, 64 relu GoogleNet [44] - 9.15 relu 3x3, 64 PRELU-net [13] 24.27 7.38 3x3, 64 relu 1x1, 256 plain-34 28.54 10.02 relu relu relu ResNet-34 A 25.03 7.76 ResNet-34 B 24.52 7.46 图5. 图像网更深的剩余功能 F.
<a id="S0139"></a> 左:一个ResNet-34 C 24.19 7.40 构件(在56×56地物图上),如图3中的ResNet-ResNet-50 22.85 6.71 34.
<a id="S0140"></a> 右:ResNet-50/101/152的“瓶颈”构件。
<a id="S0141"></a> ResNet-101 21.75 6.05 ResNet-152 21.43 5.71 无参数,身份快捷键帮助培训.
<a id="S0142"></a> ImageNet验证错误率 (%, 10 crop testing). 我们调查投影捷径(Eqn.(2))。
<a id="S0143"></a> 在表3中,我们的VGG-16是基于我们的测试。
<a id="S0144"></a> ResNet-50/101/152是备选方案B的比较方案3:(A) 使用零打字捷径,只使用预测来增加尺寸。 用于增加维度,所有快捷键都是无参数的(与表2和图4右同); (B) projecmod top-1 错误; top-5 错误。
<a id="S0145"></a> VGG [41] (ILSVRC'14) - 8.43†通取快捷键用于增加维度,而其他快捷键是身份;和 (C) 所有快捷键都是预测.
<a id="S0146"></a> GoogleNet [44] (ILSVRC ' 14) - 7.89 表3显示,所有三种选择都比普通对应方案下注相当多 -- -- VGG[41] (v5) 24.4 7.1之三。 B稍好于A.
<a id="S0147"></a> 我们PRELU-net [13] 21.59 5.71认为,这是因为A BN-inception [16] 21.99 5.81中的零加分维数确实没有剩余学习. C略好于ResNet-34 B 21.84 5.71 B,我们将此归因于许多(十三个)投影捷径引入ResNet-34 C 21.53 5.60的额外参数.
<a id="S0148"></a> 但是,A/B/C之间的小差-ResNet-50 20.74 5.25推论表明,投影捷径是ResNet-101 19.87 4.60,对于解决退化问题并不重要。
<a id="S0149"></a> 因此,我们ResNet-152 19.38 4.49在本文其余部分不使用备选案文C来减少迷你表4。
<a id="S0150"></a> ImageNet ory/时间复杂度和模型大小上的单模型结果出错率 (%).
<a id="S0151"></a> 身份快捷键是验证集(测试集上报告的除外)。 对于不增加下文提出的瓶颈结构的复杂性特别重要。 (测试) VGG [41] (ILSVRC ' 14) 7.32 Deeper Bottleneck Architectures.
<a id="S0152"></a> 我们接下来描述我们的GoogleNet446.66个更深的ImageNet网。
<a id="S0153"></a> 由于对列车-VGG41 6.8发车时间的担忧,我们修改了PRELU-net[13] 4.94号构件作为瓶颈设计4.
<a id="S0154"></a> 对于每个剩余函数,我们F BN-inception [16] 4.82使用一叠由3层而不是2层(图5.
<a id="S0155"></a> 三层ResNet (ILSVRC ' 15) 3.57是 1 1, 3 3和 1 1 的演化,其中 1 1 个层 × × × 负责减少并再增加(恢复) 表 5.
<a id="S0156"></a> 上出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出入出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出入出出出出出出出出出出出出出出出出出入出出出出出出出出出出出出出出出出出出出出出出出出出入出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出出 × 投入/产出维度。
<a id="S0157"></a> 图5显示了一个实例,两种设计的时间复杂度相近.
<a id="S0158"></a> ResNet将前1个错误减少3.5%(表2),结果 无参数身份快捷键尤其出自成功减少的训练出错(图4右对接瓶颈架构的出错).
<a id="S0159"></a> 这种比较验证了图5(正文)中残余切割的效果被投影所取而代之,人们可以学习极其深厚的系统. 显示时间复杂度和模型大小翻了一番,由于快捷键与"最末"两个高维相接,我们还注意到18层平原/剩余网结束.
<a id="S0160"></a> 因此,身份快捷方式导致更有效率的模型比较准确(表2),但用于瓶颈设计的18层ResNet. 汇合速度快(图4右对左).
<a id="S0161"></a> 当网络是“不是50层的ResNet:我们替换了过度深处的每个2层的块”(此处有18层)时,目前的SGD解决器仍然能够找到平地网的良好解决办法。
<a id="S0162"></a> 在这种情况下,4Deper非bottleneck ResNets(如图5左出)也获得了精度. ResNet通过提供从增加深度(如CIFAR-10所显示的)更快的汇合器来缓解优化,但在早期阶段却不如经济的汇合. 作为瓶颈ResNets。
<a id="S0163"></a> 因此,瓶颈设计的使用主要出于实际考虑.
<a id="S0164"></a> 我们还注意到,退化问题与身份问题相对。
<a id="S0165"></a> 我们已经表明,人们也目睹了普通网的瓶颈设计。 6个
Page 7
<a id="S0166"></a> 34层网有这个3层的瓶颈块,导致方法错误 (%) 一个50层的ResNet(表1).
<a id="S0167"></a> 我们使用选项B来增加最大值 [10] 9.38 维度。
<a id="S0168"></a> NIN [25] 8.81 101层和152层ResNets:我们通过使用更多的3层块#地层#参数来构建101-DSN [24] 8.22层和152层ResNets(表一).
<a id="S0169"></a> 值得注意的是,虽然深度显著为FitNet [35] 19 2.5M 8.39增加,但152层的ResNet(113亿FLOPs)仍为高速公路[42,43] 19 2.3M 7.54 (7.72±0.16) 比VGG-16/19网(15.3/19.6 bil-Highway [42,43] 32 1.25M 8.80狮子FLOPs)的复杂度更低.
<a id="S0170"></a> ResNet 20 0.27M 8.75 50/101/152级的ResNet比ResNet 32 0.46M 7.51级的ResNet更准确,差幅很大(表3和4)。
<a id="S0171"></a> ResNet 44 0.66M 7.17 我们没有看到退化问题,因此,ResNet 56 0.85M 6.97的喜悦程度因ResNet 110 1.7M 6.43 (6.61±0.16)深度大幅增加而显著提高。
<a id="S0172"></a> 所有评价都看到深度的好处。
<a id="S0173"></a> CIFAR-10测试集的分级错误.
<a id="S0174"></a> 所有冰毒 - 与最新方法的比较。
<a id="S0175"></a> 在表4中,数据增加。
<a id="S0176"></a> 对ResNet-110来说,我们运行它5倍于之前最好的单模型结果. 并显示[43]中“最佳(平均)”字样。
<a id="S0177"></a> 我们的基线34层的ResNet达到了非常有竞争力的准确性。
<a id="S0178"></a> 我们的152层的ResNet有一个单一的模型,所以我们的剩余模型的深度,宽度完全相同,前5级验证误差为4.49%.
<a id="S0179"></a> 这种单模型的结果和参数数作为平面对应. 业绩超过以往所有综艺成果(表5)。
<a id="S0180"></a> 我们使用了0.0001的重量衰变和0.9的动力,结合了6个不同深度的模型组成了集合体,并在[13]和BN [16]中采用重量初始化,但(在提交时只有两个152级模型). 没有退学。
<a id="S0181"></a> 这些模型是用迷你 -- 这导致测试集的上57%出错(表5)。 两个GPU上的批量尺寸为128个.
<a id="S0182"></a> 我们从学习开始 本条目获得ILSVRC2015年度第1名. 比率为0.1,在32k和48k重迭时除以10;和4.2。
<a id="S0183"></a> CIFAR-10与Analysis终止了64k重复式的训练,这在45k/5k列车/val分出.
<a id="S0184"></a> 我们遵循简单的数据 ugmen - 我们在[24]中对CIFAR-10数据集tation进行了更多的研究,用于培训:每边有4个像素被加成,[20],由50k训练图像和10k测试组成,从10个班级的加成图像中随机抽取了32个收成.
<a id="S0185"></a> 我们介绍训练成的实验 或横向翻转
<a id="S0186"></a> 为了测试,我们只评价培训单元,评价测试单元。
<a id="S0187"></a> 我们关注3232原作的单景. 我们比较n=3,5,7,9, 导致20,32,44, 推动最新结果, 所以我们有意使用{}56层网络。
<a id="S0188"></a> 图6 (左)显示了简单架构的行为如下. 平地网.
<a id="S0189"></a> 深平地网的深度增加,平地/残存建筑沿图3的形态而来,更深处的训练有误。
<a id="S0190"></a> 网络输入为32个32个图像,现象类似于ImageNet(图4,左)上的数字,而×每像素平均值被减去.
<a id="S0191"></a> 第一层是3 3 Convoon MNIST (见[42]),暗示这种优化×用.
<a id="S0192"></a> 然后我们用一叠6n的地层 加上3个3个难题 是一个根本的问题。 × 在大小分别为32,16,8的地物图上分别用"图"6(中)来显示ResNets的行为.
<a id="S0193"></a> 另外 { } 每个功能地图大小有 2n 层 。
<a id="S0194"></a> 与ImageNet案例(图4,右)相类似的数字,我们的ResNets过滤器分别为16,32,64.
<a id="S0195"></a> 子样取法为活活性,以克服优化难度和恶魔-{}由2分步走的进取所形成.
<a id="S0196"></a> 网络在深度增加时会结束平分精度增益. 全球平均集合,10个全程连接 我们进一步探索 n = 18, 导致一个110层的地层, 和软马克斯。
<a id="S0197"></a> 共有6n+2堆叠式加权ResNet.
<a id="S0198"></a> 在这种情况下,我们发现初始学习率层。
<a id="S0199"></a> 下表概括了建筑结构: 0.1个稍大,无法开始汇合5个.
<a id="S0200"></a> 因此我们使用0.01来给训练取暖,直到训练出错低于输出地图大小32×32 16×16 8×8 80%(约400个迭代),然后回到0.1和con-# 第1+2n 2n 2n 锡克训练.
<a id="S0201"></a> 其余的学习时间表和以前一样#过滤16 32 64。
<a id="S0202"></a> 这个110层的网络汇合得很好(图6,中间).
<a id="S0203"></a> 它比起其他深而薄的参数,当使用快捷键连接时,它们被连接到3个3层的对子上(总共是3n快捷键).
<a id="S0204"></a> 在此 5 上, 初始学习率为 0.1 , 它开始聚合( < 90% 错误) × 数据集, 我们在所有情况下使用身份快捷键( 即 选项 A) , 在几个纪元之后, 但仍然达到相似的精确度 。 第7条
Page 8
<a id="S0205"></a> 20 10 00 1 3 4 5 6里特.(1e4)% (ror 20 10平原-20 5平原-32平原-44平原-56平原-2 2 4 5 6里特.(1e4))% (ror 20 ResNet-20 ResNet-32 ResNet-44 ResNet-56 5-56-layer ResNet-110 20-layer 10-layer 5 1 0 4 5-6里特.(1e4))% (ror refore-110剩余-1202 图6.
<a id="S0206"></a> 虚线表示训练出错,粗线表示测试出错.
<a id="S0207"></a> plain-110的错误高于60%,没有显示.
<a id="S0208"></a> 右:有110层和1202层的ResNet. 3, 1 0 20 40 60 80 100层指数(按数量排序) dts. 3, 2 1 0 20 40 60 80 100层指数(原) plain-20 plain-56 ResNet-20 ResNet-56 ResNet-110 dts plain-20培训数据 07+12 07+12 ResNet-20测试数据 VOC 07测试 VOC 12测试 ResNet-56 ResNet-110 VGG-16 73.2 70.4 ResNet-101 76.4 73.8 表7. 按区域分列的
<a id="S0209"></a> PASCAL VOC 2007/2012测试集上使用基线快取R-CNN的物件检测mAP (%).
<a id="S0210"></a> 另见表10和11。 r. mAP@.5 mAP@.95] VGG-16 4.1.5 21.2 ResNet-101 48.4 27.2 图7
<a id="S0211"></a> CIFAR-10上的分层响应标准偏差(std).
<a id="S0212"></a> 这些答复是BN和表8之后每3×3层的产出。
<a id="S0213"></a> 非线性之前的COCO验证装置上的对象检测 mAP (%).
<a id="S0214"></a> 顶:用基线快取R-CNN在原地显示地层.
<a id="S0215"></a> 另见表9。 秩序。 秩序。
<a id="S0216"></a> 下行:答复按下行顺序排列. 类似训练错误。
<a id="S0217"></a> 我们认为,这是由于FitNet[35]和高速公路[42]等网络(表6)的过度适应。
<a id="S0218"></a> 1202-层网络可能不必要地属于最新成果(6.43%,表6)。 大型(19.4M)用于这个小数据集.
<a id="S0219"></a> 严格规范化如最大出 [10] 或辍学 [14] 用于获取"地层反应分析".
<a id="S0220"></a> 图7显示了本数据集的标准最佳结果([10,25,24,35]).
<a id="S0221"></a> 在本文中,层的偏差(std)反应.
<a id="S0222"></a> 答案是,我们不使用最大输出/掉出,仅仅将每3个层的输出固定在BN之后,在通过设计深而薄的架构进行其他分解之前,而不使用X非线性(ReLU/添加).
<a id="S0223"></a> 就ResNets而言,从注重Opimizasis的困难这一分析显示剩余功能的反应力。 tion.
<a id="S0224"></a> 但是,结合更强有力的规范化,可能会出现图7,显示ResNets的反应一般较小,证明结果,我们将在今后加以研究。 比他们的平凡的对手。
<a id="S0225"></a> 这些结果支持我们的基本动机(第3.1条),即剩余职能可能为4.3。
<a id="S0226"></a> PASCAL和MS COCO上的对象检测一般比非剩余函数更接近于零.
<a id="S0227"></a> 我们的方法有很好的概括性性能 我们还注意到更深的ResNet有较小的放大识别任务.
<a id="S0228"></a> 表7和表8显示了答复对象的解析情况,其证据是2007年和2012年的PASCAL VOC和2012年的ResNet-20、56和110图7中的线粒体基线结果的比较。
<a id="S0229"></a> 我们采用更快捷的R-CNN [32]作为延时器,一个单层的ResNet倾向于修改齿接法.
<a id="S0230"></a> 在这里,我们对改进信号较少感兴趣。
<a id="S0231"></a> 探测到1000多层
<a id="S0232"></a> 我们探索积极实施(见附录)使用这两个模型,这是1000多层的深层模型。
<a id="S0233"></a> 我们设定的n=200相同,所以收益只能归功于更好的网络. 导致一个1202层的网络, 其培训最显著的描述, 有关挑战性COCO数据集 我们忽略。
<a id="S0234"></a> 我们的方法没有显示优化难度,COCO的标准度量(mAP@[5],这个103层的网络能够实现训练出错.95])增加了6.0%,这是28%的相对改进.
<a id="S0235"></a> 它的测试错误仍然相当好,完全是由于学到的表述。 (7.93%,表6)。
<a id="S0236"></a> 在2015年的ILSVRC和COCO比赛中,
<a id="S0237"></a> 这种1202-层网络年龄网检测,ImageNet本地化,COCO检测的测试结果比我们110层网络的测试结果要差,尽管两者兼有COCO分化.
Page 9
<a id="S0238"></a> 关于深层神经网络的线性区域数量.
<a id="S0239"></a> 经校正的线性单位改善有梯度回落的受限子是困难的.
<a id="S0240"></a> IEEE交易在神经螺栓机上.
<a id="S0241"></a> Fisher内核在视觉词汇上为[2] C. M.
<a id="S0242"></a> 神经网络用于模式识别.
<a id="S0243"></a> 在CVPR, 2007. 大学出版社, 1995. [31] T.
<a id="S0244"></a> 暹罗,直觉中的线性转变.
<a id="S0245"></a> 魔鬼实时物体检测与区域建议网络.
<a id="S0246"></a> 在NIPS中,详见:近期特征编码方法的评价. 2015 (英语).
<a id="S0247"></a> Zisnetworks on convolutional special mapture. arXiv:1504.0666, 2015 (英语). Serman.
<a id="S0248"></a> 帕斯卡尔视觉对象类(VOC)挑战.
<a id="S0249"></a> 模式识别与神经网络.
<a id="S0250"></a> 剑桥: 第303–338页. 2010. 大学出版社, 1996. [6]. 师曰.
<a id="S0251"></a> 通过多区域 & [35] A.
<a id="S0252"></a> Gatta)和语义分解-知觉克能模型.
<a id="S0253"></a> 图像网拱门用于精确的物体检测和语义分解.
<a id="S0254"></a> 在大规模视觉识别挑战中. arXiv:1409.0575, 2014 (英语).
<a id="S0255"></a> 了解深线性神经网络中学习的非线性动力学培训难度. 深源神经网络.
<a id="S0256"></a> 在AISTATS, 2010. arXiv:1312.6120, 2013 [10] I. J.
<a id="S0257"></a> 由因子中心Y加速梯度下降.
<a id="S0258"></a> Maxout网络. arXiv:1302.4389 2013. 分解.
<a id="S0259"></a> 受限时间的革命神经网络[39] (原始内容存档于2013-10-12). N. N.
<a id="S0260"></a> 中心神经网络梯度因子.
<a id="S0261"></a> 神经网络:贸易的诡计, 第207–226页.
<a id="S0262"></a> 1998年深处的空间金字塔集合. 视觉识别的革命网络.
<a id="S0263"></a> 过度feat:综合识别,本地化和检测 Surpassing 人类层面在图像网分类上的性能.
<a id="S0264"></a> 非常深刻的革命网络 [14] G. E.
<a id="S0265"></a> Sutskever, 以及大规模图像识别。
<a id="S0266"></a> 通过共同防止[42] R. K.
<a id="S0267"></a> 高速公路网. 改装地物探测器。 arXiv:1207.0580, 2012. arXiv:1505.00387, 2015 [15] (中文(中国大陆) ). 师曰.
<a id="S0268"></a> 训练非常深入的计算,9(8):1735–1780,1997. Network. 1507.06228, 2015 [16]. 师曰.
<a id="S0269"></a> 批量正常化:加速深度[44] C.
<a id="S0270"></a> 通过减少内部同位变换来进行网络培训.
<a id="S0271"></a> 使用分级基础真菌-[18] H.
<a id="S0272"></a> 将本地图像描述符汇总为紧凑代码。 [46] R. (英语).
<a id="S0273"></a> 地方调整分级基础的先决条件。
<a id="S0274"></a> Caffe: 向二等方法的梯度进化结构 – 背向传播学习快感特征嵌入 。 arXiv:1408.5093, 2014. 与非线性变换相通.
<a id="S0275"></a> 从微小的不加工中学习多层特征, 2013. ages.
<a id="S0276"></a> VLFeat:一个开放而可移植的图书馆 [21] A.
<a id="S0277"></a> 计算机视觉算法的图像网分类, 2008. 有深演化神经网络.
<a id="S0278"></a> 具有 " s-plus " 的现代应用统计[22] 没错
<a id="S0279"></a> 反扩散适用于手-[50] M. D.
<a id="S0280"></a> 可视化和理解可通缩码识别.
<a id="S0281"></a> 神经计算 1989. 通心神经网络.
<a id="S0282"></a> 《神经网络:贸易的花招》,第9-50页。
<a id="S0283"></a> 深度监管网. arXiv:1409.5185, 2014. [25] M.
<a id="S0284"></a> 网易. arXiv:1312.4400, 2013. [26] T.-Y.
<a id="S0285"></a> 微软COCO:上下文中的常见对象.
<a id="S0286"></a> 充分演化语义分化网络.
Page 10
<a id="S0287"></a> 对象探测基线为8个图像(即每GPU1个),快取R-CNN步骤有16个图像的小型批量大小.
<a id="S0288"></a> RPN步骤和快活R-在本节中,我们采用基于CNN步骤的探测方法,对240克重迭进行了训练,并学习了基线快活R-CNN[32]系统。
<a id="S0289"></a> 型号为0.001转速,再以0.0001转速80克. 由ImageNet分类模型初始化,再由表8显示在对象检测数据上微调的MS COCO验证结果.
<a id="S0290"></a> ResNet-101比在ILSVRC & VGG-16出道时使用ResNet-50/101进行修饰时的mAP@[5.95]增加了6%,相对改进了28%,仅是Con-CO 2015检测比赛. 以更好的网络所学到的特色为荣.
<a id="S0291"></a> 与[32]中使用的VGG-16不同的是,我们的ResNet没有隐藏的可标可标,mAP@[5.95]的绝对增加(6.0%)为fc分层.
<a id="S0292"></a> 我们采纳了“与mAP(6.9%)一样远大节日网络”的想法。
<a id="S0293"></a> 这表明,需要绘制出一张图来解决这一问题”(NoC)[33]。
<a id="S0294"></a> 我们计算更深层的网络 既能提高识别度 也能利用这些图谱 使全图像共享的曲线图更加本地化 其图像上出行速度不大于16像素的ers(即:conv1,conv2 x,conv3 x;和conv4 x,完全91 conv B.
<a id="S0295"></a> ResNet-101中的对象检测改进层;表1。
<a id="S0296"></a> 我们认为这些地层与VGG-16中的13个凸起地层相似,为了完整起见,我们报告为此所做的改进,ResNet和VGG-16都有凸起地貌的竞赛图.
<a id="S0297"></a> 这些改进基于深度相同的全步(16像素).
<a id="S0298"></a> 这些层层有共同的特征,因此应受益于剩余学习。 区域提案网络(RPN,生成300个提案)[32]和一个快速R-CNN检测网络[7]。
<a id="S0299"></a> RoI 池 -- MS COCO ing [7] 被执行于 conv5 1.
<a id="S0300"></a> 我们的盒子精炼部分地遵循了它的特异性,所有层的凸起5 x 和上层被采用在[6]中每个被去除的地方化.
<a id="S0301"></a> 在更快的R-CNN中,最终输出区域,扮演了VGG-16的fc层角色.
<a id="S0302"></a> 最后是与其建议框不同的一个倒退的方框。
<a id="S0303"></a> 因此分级层被两个分级层所取而代之(classi-用于推论,我们从后退的相框虚构和相框回归[7]中汇集出一个新的特征). 并获得一个新的分类分数 和一个新的退步 对于BN层的使用, 经过前期训练,我们 com-box。
<a id="S0304"></a> 我们把这300个新的预测与每个层的300个预测的BN统计(表示和差异)合并。
<a id="S0305"></a> 非最大压制(NMS)在ImageNet培训集上.
<a id="S0306"></a> 然后,BN层被固定在预想的组合箱上,在进行物体检测的微调时使用IoU.
<a id="S0307"></a> 因此,BN的门槛为0.3 [8],然后是票箱投票[6].
<a id="S0308"></a> 箱式中继器成为有常数相抵的线性活化器,而精细使mAP改进了约2分(表9). 缩放,不通过微调更新BN统计数据。
<a id="S0309"></a> 我们在"快报"中结合了全球背景来修复BN层,主要是为了减少内存消耗R-CNN步骤.
<a id="S0310"></a> 鉴于全相机凸起的地貌图,我们接受更快的R-CNN训练. 集合全球空间金字塔集合12的功能,可被执行为:为PASCAL VOC 2007测试集,"RoI"集合使用整个图像的边框,作为我们在VOC 2007和16k列车中使用5k列车的图像. 罗
<a id="S0311"></a> 这一集合功能被输入到国际公路运输之后的地层到VOC 2012年的val图像中用于培训(“07+12”).
<a id="S0312"></a> 为了获得全球背景特征。
<a id="S0313"></a> 这个全球特征是Con-PASCAL VOC 2012测试集,我们使用10k列车val+测试被以最初的每个区域特征进行编目,然后是VOC 2007的图像和VOC 2012的16k列车val图像,即兄弟姐妹分类和箱回归层.
<a id="S0314"></a> 列车的超参数 - 新结构是训练有素的端到端.
<a id="S0315"></a> " 快速R-CNN " 的全球背景与[32]相同。
<a id="S0316"></a> 表7显示,mAP@5用大约1分(表9)。 结果。
<a id="S0317"></a> ResNet-101比多尺度测试改进了>3%的mAP.
<a id="S0318"></a> 在上述,所有结果由VGG-16获得.
<a id="S0319"></a> 这一增益完全是因为改进了Feasingle规模的训练/测试,例如[32],ResNet在其中学到了图像的花纹. 更短的一面是 s = 600 像素.
<a id="S0320"></a> 通过从一个MS COCO数据集中选择一个比例尺[26],在[12,7]中开发了多种规模的训练/测试MS COCO,在[33]中开发了80个对象的克托克特征金字塔,在[33]中使用了最大出地层.
<a id="S0321"></a> 我们评价PASCAL VOC 度量衡(mAP@我们目前的执行,我们进行了多级IoU=0.5)和标准COCO度量衡(mAP@IoU=在[33]之后的测试);我们没有进行多级:5.05:95。
<a id="S0322"></a> 我们使用火车上80克的图像 用于火车训练 因为时间有限
<a id="S0323"></a> 此外,我们还有 浏览和40克的图像 在val的一套评估。
<a id="S0324"></a> 我们仅对COCO的快取R-CNN阶梯检测系统形成多尺度测试,与PASCAL类似(但尚未对RPN阶梯).
<a id="S0325"></a> 我们在图像金字塔上用8-GPU imple-compute Conv 特征图来训练COCO模型,其中的修饰, RPN 步骤有一个小批量的图像短边是200、400、600、800、1000。
Page 11
<a id="S0326"></a> COCO列车COCO列车列车试验数据 COCO val CO 测试-dev mAP@ 5. @ 5..95] @ 5. 基线 更快 R-CNN (VGG-16) 41.5 21.2 基线 更快 R-CNN (ResNet-101) 48.2 +箱型改进 49.9 29.9 +箱型改进 51.1 30.0 53.3 32.2 +多尺度测试 53.8 32.5 55.7 34.9 综艺 59.0 37.4 表9. 按部门开列的所需资源
<a id="S0327"></a> MS COCO使用更快捷的R-CNN和ResNet-101. 系统网数据mAP为单车鸟船瓶装活活禽车车厢车厢车厢车厢牛座马匹mbike人厂羊沙发列车tv基线VGG-16 07+12 73.2 76.579.0 70.9 65.5 52.1 83.1 84.7 86.4 52.0 65.7 84.8 77.6 73.9 83.0 72.6 基线ResNet-101 07+12 76.4 79.8 80.7 76.2 68.3 55.9 85.1 89.8 87.8 87.8 69.4 88.3 88.9 80.9 78.4 7 78.6 79.8 85.3 72.0 基线*** ResNet-101 COCO+07+12 85.6 90. 89.6 87.8 76.1 89.9 89.9 89.6 89.5 90.80.7 89.3 89.7 65.4 85.1 85.6 89.8 表10 10.
<a id="S0328"></a> PASCAL VOC 2007测试集的检测结果.
<a id="S0329"></a> 基线是更快的R-CNN系统.
<a id="S0330"></a> “基线”系统包括表9中的箱型改进、上下文和多尺度测试。 系统网数据为:mAP eo 自行车鸟船 瓶装公交车 奶牛座车 狗马 摩托车人 花羊沙发火车 tv 基线 VGG-16 07++12 70.4 84.979.8 74.3 53.9 49.8 77.5 75.9 88.5 80.6 77.6 80.6 60.9 81.6.9 81.5 基线 ResNet-101 07++12 73.8 86.5 81.6 77.2 58.0 51.0 51.0 7 76.6 93.6 48.6 80.4 59.0 92.1 85.3 84.8 80.7 基线 ResNet-101 CO+07++12 83.8 92.1 88.4 75.9 71.4 86.3 87.8 94.2 66.8 89.4 93.9 90.9 90.9 89.6 67.9 88.2 80.3 表11。
<a id="S0331"></a> PASCAL VOC 2012测试集的检测结果(http://host.robots.ox.ac.uk:8080/leaderboard/extlb.php? challengeid=11&compid=4).
<a id="S0332"></a> 基线是更快的R-CNN系统.
<a id="S0333"></a> 系统“基线”包括表9中的方框改进、上下文和多尺度测试。
<a id="S0334"></a> 我们从金字塔上选取两个相邻的天平 经过val2测试[33].
<a id="S0335"></a> RoI集和随后的地层在GoogleNet44上进行 -- -- 43.9这两个比例尺的地物图[33],它们被我们的单一模型(ILSVRC ' 15)合并为60.5 58.8, 和[33]中的最大输出。
<a id="S0336"></a> 多尺度测试将我们的综艺节目(ILSVRC ' 15)改进了63.6 62.1分以上(表9)。
<a id="S0337"></a> 我们在ImageNet检测数据集上的结果(mAP,%).
<a id="S0338"></a> 接下来我们使用80k+40k列车的列车设置 我们的探测系统是更快捷的R-CNN [32],其改进用于训练,20k测试-dev用于评价.
<a id="S0339"></a> 表9中的测试使用ResNet-101. Dev set没有公开的地面真相,结果由评价服务器报告.
<a id="S0340"></a> 在这一背景下,我们在2007年PASCAL VOC上实现85.6%的mAP(表10)结果为55.7%的mAP和2012年PASCAL VOC上达到83.8%的mAP(表116)。
<a id="S0341"></a> 这是我们单一模式的结果。 在PASCAL VOC 2012上,比前作"前作"高出10分.
<a id="S0342"></a> 在更快速的R-CNN中,系统的设计旨在学习ous最先进的结果[6]. 区域提案和对象分类器,因此可以使用一个聚合图像网络检测器来推进这两个任务.
<a id="S0343"></a> 我们使用一个“图像网络检测”任务组合,涉及200个对象提议区域,而联盟的一组提议是亲类。
<a id="S0344"></a> 我们被每个地区分类的 组合失败了
<a id="S0345"></a> 表9 ImageNet DET的物体检测算法相同,显示了我们基于由3个网络组成的组合的结果.
<a id="S0346"></a> 网络预告为59.0%,测试-dev集为37.4%.
<a id="S0347"></a> 这个结果在1000级的ImageNet分类集上接受了培训,并在COCO 2015的检测任务上获得了第1名. 对DET数据进行了微调。
<a id="S0348"></a> 我们在[8]后将验证装置PASCAL VOC分为两部分(val1/val2)。
<a id="S0349"></a> 我们利用DET培训集和val1模型,根据上述检测模型,对PASCAL VOC数据集进行微调。
<a id="S0350"></a> 以COCO数据集的单模型为主(55.7%集.
<a id="S0351"></a> 在表9中,我们不使用其他mAP@5,我们在PAS-ILSVRC2015数据上微调了这一模式。
<a id="S0352"></a> 我们与ResNet-101的单一型号有CAL VOC集.
<a id="S0353"></a> 改进的盒子,Con... 6http://host.robots.ox.ac.uk:8080/anonymous/3OJ4OJ.html,文本,并采用多尺度测试.
Page 12
<a id="S0354"></a> LOC LOC 错误分类 上-5 LOC 错误分类 上-5 LOC 错误本地化 GT CLS 网络上关于预测 CLS val 测试 VGG的测试方法网 [41] VGG-16 1-crop 33.1 [41] OverFeat [40] (ILSVRC ' 13] 30.0 29.9 RPN ResNet-101 1-crop 13.3 RPN ResNet-101 稠密 11.7 GoogleNet [44] (ILSVRC ' 14) - 26.7 RPN ResNet-101 稠密ResNet-101 稠密ResNet-101 我们的测试方法网 [41] (ILSVRC ' 14) 26.9 25.3 RPN+RC NNN 稠密ResNet-101 10.6 (ILSVRC ' 15) 8.9.0 RPN 稠密共 8.9 表 14.
<a id="S0355"></a> ImageNet表13对本地化错误(%)的比较.
<a id="S0356"></a> 在ImageNet验证上本地化出错 (%).
<a id="S0357"></a> 在具有最先进方法的数据集中. “GT类的LOC出错”栏([41]),使用了地面真理类。
<a id="S0358"></a> 在“试验”一栏中,“1-作物”表示对224×224像素的中心作物进行试验,“密集”表示密集(完全用地演化法将中心作物误差为33.1%(表13))和多尺度试验。 真理课。
<a id="S0359"></a> 在同一设定下,我们使用ResNet-101净值的RPN方法将中心作物误差大幅降低到13.3%.
<a id="S0360"></a> 这一比较表明,我们框架的58.8%的MAP和我们3个模型的组合有62.1%的MAP性能。
<a id="S0361"></a> 密度(完全压缩DET测试集(表12)。
<a id="S0362"></a> 这个结果赢得了第1位的tional)和多尺度测试,我们的ResNet-101在ILSVRC2015年的ImageNet检测任务中有一个出错,使用地面真人类超过了11.7%.
<a id="S0363"></a> 使用ResNet-101获得8.5分的第二名(绝对分). 预测类别(4.6%为上至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下至下 C C.
<a id="S0364"></a> 图像网络本地化 以上结果仅以"快快R-CNN"[32]中的建议网络(RPN)为基础.
<a id="S0365"></a> 人们可以使用检测图像网本地化(LOC)任务[36]要求快速R-CNN[7]在快速R-CNN中联网来改进对象的分类和本地化.
<a id="S0366"></a> 但是我们注意到,在这个数据集中,一个图像通常假设图像级别分类器首先被采用为包含一个单一的主导对象,而建议区域则预测一个图像的类标签,而本地化高度相重叠,因此具有非常相近的通量算法,只用于预测边框的RoI集合特性.
<a id="S0367"></a> 因此,基于预测班次的以形象为中心的训练.
<a id="S0368"></a> 我们采用“每级快速R-CNN[7]生成小变异、相向性(PCR)战略[40、41]的样本,学习一个可能不适合进行花样训练的边框。
<a id="S0369"></a> 我们为Imby预先训练网络, 在目前的实验中, 我们使用原始的RageNet分类, 然后微调它们为localiza-CNN[8], 即以RoI为中心,
<a id="S0370"></a> 我们通过提供1 000级的Ima -- -- 我们的R-CNN实施培训网络如下。
<a id="S0371"></a> 我们使用GeNet的训练集。 每班RPN在训练图像上接受上述训练,以我们本地化算法为基础,采用RPN框架定界框,用于地面真理课.
<a id="S0372"></a> 这些作品[32]经过了几处修改.
<a id="S0373"></a> 与预测框中发挥依赖类建议的作用的方式不同. [32],即类不可知性,我们本地化的RPN是每个训练图像,是每类形式设计得分最高的200个建议.
<a id="S0374"></a> 这个RPN结尾取出两个sibare作为训练样品来训练R-CNN分级 1 1 分层为二进制分级(cls)×fier.
<a id="S0375"></a> 图像区域来自一个提案,被扭曲和框式回归(reg),如[32]。
<a id="S0376"></a> cls和reg分层为224,224像素,并被输入到分类网络中,两者都是从一个分级中分出,与[32]相对.
<a id="S0377"></a> 这个网络的输出由两个cally组成,cls层有1000-d的输出,每个维相间的fc层用于cls和reg,也以每等形式. 是二进制逻辑回归 预测是否是... 这个R-CNN网络在使用对象类的训练集上进行了微调;reg层有一个1000个4-d输出×以以RoI为中心时态的256个小批量大小.
<a id="S0378"></a> 包括1000个班级的箱式后退器。
<a id="S0379"></a> 如同[32]中,测试,RPN生成最高的得分的200个提案,我们的边框回归是指每个预测类的多个,R-CNN网络用于每个位置的翻译-不变量"锚"框. 更新这些提案的分数和方框位置。
<a id="S0380"></a> 如同我们的ImageNet分类训练(Sec.3.4)一样,我们这种方法将上到5位本地化误差缩小为随机抽样224,224个作物进行数据增强. × 10.6%(表13)。
<a id="S0381"></a> 这是我们用256个图像进行微调的小型小批量模型。
<a id="S0382"></a> 使用一个组合的网络 以Clasavoid阴性标本为主, 8个锚被洗涤 和本地化, 我们实现了一个顶端 5 本地化 多姆抽样 对于每个图像,
<a id="S0383"></a> 这一数字显著出差和负锚的比例为1:1 [32].
<a id="S0384"></a> 测试时,执行ILSVRC 14结果(表14),显示网络在图像上完全演化应用了64%. 相对减少出错。
<a id="S0385"></a> 这一结果在表13中获得了第1名,比较了本地化结果.
<a id="S0386"></a> 在ILSVRC2015年的ImageNet本地化任务后[41],我们首先以地真类作为分类预测进行"甲骨文"测试.