为什么现在的CNN模型都是在GoogleNet、VGGNet或者AlexNet上调整的?

如何开发出新的CNN分类模型,这就需要积累训练CNN的经验和直觉,以及大量的计算资源来尝试不同的网络结构。
小编感谢:

感谢@周博磊的技术和经验分享。


题主提问:

我看现在很多的模型都是在这几个模型上修改成的,很少有完全自己创建的模型,当然也可能我的眼界有限。
我想问的是,为什么现在设计新模型的不是很多呢?毕竟牛人和牛的研究机构还是很多的,是没有必要,还是比较困难?



@周博磊谢邀:

这是个挺好的问题。AlexNet(https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf), Network in Network(https://arxiv.org/pdf/1312.4400v3.pdf), VGG(https://arxiv.org/pdf/1409.1556.pdf), GoogLeNet(http://www.cv-foundation.org/openaccess/ content_cvpr_2015/papers/Szegedy_Going_Deeper_With_2015_CVPR_paper.pdf), Resnet(https://arxiv.org/pdf/1512.03385v1.pdf)等CNN网络都是图片分类网络, 都是在imagenet上1.2 million数据训练出来的。由于从这些pretrained网络抽出来的deep feature有良好的generalization的能力,可以应用到其他不同的CV问题,而且比传统的hand-craft feature如SIFT,bag of word要好一大截,所以得到广泛应用。目前大部分的high-level vision相关的问题,都是利用基于CNN的方法了。花点时间去了解这几个核心分类网络的结构和发展,是挺有必要的。

一般来说,某CNN网络在imagenet上面的分类结果越好,其deep feature的generalization能力越强。最近出现蛮多论文,里面在benchmark上面的比较是自己方法的核心网络换成resnet,然后去比别人基于vgg或者alexnet的方法,自然要好不少。所以对于某个CV的问题,选一个优秀的核心网络作为基础,然后fine-tune, 已经是套路,这点从ResNet那篇论文的citation的增长就可以看出来。fine-tune的原因一是训练AlexNet等网络需要imagenet, places等million级别的数据,一般的CV任务都没有这么多数据。二是因为pre-trained model本身的feature已经足够generalizable,可以立刻应用到另外一个CV任务。

至于如何开发出新的CNN分类模型,这就需要积累训练CNN的经验和直觉,以及大量的计算资源来尝试不同的网络结构。一般的研究者和实验室很难负担得起。但如果能搞出个如ResNet一样的牛逼网络,瞬间Best Paper ;), 这也是Kaiming师兄的厉害之处。这里有个八卦,去年Facebook AI Research里面Ross Girshick和Piotor Dollar等大牛带领几个research engineer&intern猛搞COCO challenge, 用上了DeepMask,MultiPath Network等黑科技,可惜最后还是败北于Kaiming领队的MSRA。原因是他们的核心网络还是基于VGG,而Kaiming放出大招ResNet。Resnet比起VGG单在imagenet上的分类结果就要好大概50%,这自然是没法比,甭管怎么个调参和前端如何好的object proposal,输得真是心服口服。这里值得一提的是,Kaiming能提出ResNet,不仅在于他对问题本身深入思考和灵敏的直觉(那篇Dark Channel paper真是直觉的直接体现),也在于他调CNN长期的积累,从spatial pyramid pooling, 到leaky relu, 再到resnet, 中间的确有三年多时间的投入。这里的后话是Kaiming加入FAIR, 跟Piotr Dollar坐到了一块。几个做high-level vision最牛逼的人都在FAIR里面了,很期待他们接下来强强联合会做出如何的研究工作。

最后我再梳理下这些网络之间的关系。我个人觉得这几个网络是这样演变而来的.

AlexNet - > VGG: VGG可以看成是加深版本的AlexNet. 都是conv layer + FC layer.
Network in Network -> GoogLeNet: NIN本身大家可能不太熟悉,但是我个人觉得是蛮不错的工作,Lin Min挺厉害。GoogLeNet这篇论文里面也对NIN大为赞赏。NIN利用Global average pooling去掉了FC layer, 大大减少了模型大小,本身的网络套网络的结构,也激发了后来的GoogLeNet里面的各种sub-network和inception结构的设计.
ResNet:这个网络跟前面几个网络都不同。我清楚记得这篇论文是在去年年底我去开NIPS的时候release到arxiv上的。当时我开会间歇中看着论文里面在cifar上面的一千层的resnet都目瞪狗呆了。。。然后再看到ResNet刷出了imagenet和COCO各个比赛的冠军,当时就觉得如果这论文是投CVPR, 那是绝对没有争议的Best paper, 果不其然。好像resnet后来又有些争议,说resnet跟highway network很像啥的,或者跟RNN结构类似,但都不可动摇ResNet对Computer Vision的里程碑贡献。当然,训练这些网络,还有些非常重要的trick, 如dropout, batch normalization等也功不可没。等我有时间了可以再写写这些tricks。

再最后,这里潜在的一个问题是这些CNN网络都是在ImageNet上面1.2million数据训练出来的,很难分析是否数据源本身会对CNN造成影响。我和MIT的同事建立了一个10 million级别的场景分类数据库Places Database (Places2: A Large-Scale Database for Scene Understanding)。Places是除了imagenet另外一个可以train CNN from scratch的图片数据库,我们把Places数据和不同pre-trained Places-CNNs都提供下载了。这里我们还做了些有意思的实验,比如说合并imagenet和places的数据,训练hybrid net,其feature也有不同的performance和generalization, 具体见GitHub - metalbubble/places365: The Places365-CNNs和我们的arxiv论文(http://places.csail.mit.edu/places2_arxiv.pdf)。我做了些CNN网络visualization的工作,看这些网络结构里面到底学到了什么东西,以及在物体为核心的Imagenet上和场景为核心的Places数据库上分别训练出来的结果是否不同,大家可以看看我之前的一篇ICLR'15 paper(https://arxiv.org/pdf/1412.6856.pdf)。随着object centric task的饱和,我期待在scene understanding方向会有更好的模型和方法出现。



更新:如果你觉得这篇回答有意思,也许你对我最近的CVPR'17上发表的比较不同网络可解释性的工作也感兴趣(CVPR 2017 有什么值得关注的亮点?)。
 
相关标签:
  • CNN
  • 神经网络

参与评论