技巧只能源码找？李沐带你纵览卷积网络实战中的惊艳技艺 https://www.jiqizhixin.com/articles/120805

在这篇论文中，李沐等研究者研究了一系列训练过程和模型架构的改进方法。这些方法都能提升模型的准确率，且几乎不增加任何计算复杂度。它们大多数都是次要的「技巧」，例如修正卷积步幅大小或调整学习率策略等。总的来说，采用这些技巧会产生很大的不同。因此研究者希望在多个神经网络架构和数据集上评估它们，并研究它们对最终模型准确率的影响。

研究者的实验表明，一些技巧可以显著提升准确率，且将它们组合在一起能进一步提升模型的准确率。研究者还对比了基线 ResNet 、加了各种技巧的 ResNet、以及其它相关的神经网络，下表 1 展示了所有的准确率对比。这些技巧将 ResNet50 的 Top-1 验证准确率从 75.3％提高到 79.29％，还优于其他更新和改进的网络架构。此外，研究者还表示这些技巧很多都可以迁移到其它领域和数据集，例如目标检测和语义分割等。

Bag of Tricks for Image Classification with Convolutional Neural Networks

Tong He, Zhi Zhang, Hang Zhang, Zhongyue Zhang, Junyuan Xie, Mu Li

(Submitted on 4 Dec 2018 (v1), last revised 5 Dec 2018 (this version, v2))

Much of the recent progress made in image classification research can be credited to training procedure refinements, such as changes in data augmentations and optimization methods. In the literature, however, most refinements are either briefly mentioned as implementation details or only visible in source code. In this paper, we will examine a collection of such refinements and empirically evaluate their impact on the final model accuracy through ablation study. We will show that, by combining these refinements together, we are able to improve various CNN models significantly. For example, we raise ResNet-50’s top-1 validation accuracy from 75.3% to 79.29% on ImageNet. We will also demonstrate that improvement on image classification accuracy leads to better transfer learning performance in other application domains such as object detection and semantic segmentation.

摘要：图像分类研究近期的多数进展都可以归功于训练过程的调整，例如数据增强和优化方法的变化。然而，在这些文献中，大多数微调方法要么被简单地作为实现细节，或仅能在源代码中看到。在本文中，我们将测试一系列的微调方法，并通过控制变量实验评估它们对最终准确率的影响。我们将展示通过组合不同的微调方法，我们可以显著地改善多种 CNN 模型。例如，我们将 ImageNet 上训练的 ResNet-50 的 top-1 验证准确率从 75.3% 提升到 79.29。本研究还表明，图像分类准确率的提高可以在其他应用领域（如目标检测和语义分割）中实现更好的迁移学习性能。

Comments: 10 pages, 9 tables, 4 figures
Subjects: Computer Vision and Pattern Recognition (cs.CV)
Cite as: arXiv:1812.01187 [cs.CV]
(or arXiv:1812.01187v2 [cs.CV] for this version)