宽残差网络与图像分类训练技巧综述

这里主要探讨了深度残差网络（ResNet）的架构演进、性能优化及训练技巧。核心研究源于对退化问题的发现，即单纯增加层数会导致训练误差上升，为此研究者引入了残差学习框架，通过恒等映射简化了极深网络的优化。随后，宽残差网络（WRN）的研究指出，增加网络宽度比单纯增加深度更具效率，能有效缓解特征重用不足的问题并显著提升训练速度。最后，通过整合一套包含标签平滑、Mixup训练和余弦学习率衰减等在内的“技巧组合”，进一步挖掘了ResNet及其变体在图像分类与迁移学习任务中的精度潜力。