Learning both Weights and Connections for Efficient Neural Network -- 论文笔记

这是2015年斯坦福和英伟达的一篇论文。

1.简介:

通过修剪训练后网络中的不重要连接(connections),来减少网络所需要的参数,减少内存和cpu的消耗,使网络更加适应在移动设备上运行。

2.idea思想:

1)首先训练整个网络,判断哪些是重要连接。

2)修剪不重要的连接。

3)重新训练修剪后的网络,微调保留下来的参数。

3.达到的效果:

1)在ImageNet上,减少了AlexNet 9倍的参数,从61 million的参数减少到6.1 million的参数;VGG网络则更是减少了16倍,并且修剪后的网路的accuracy没有下降。

2)可以防止过拟合

4.其它相关的工作:

1)用8位int型的activation代替16位float。

2)Network in Network和GoogleNet模型中使用了global average pooling代替FC层来减少参数,但在使用ImageNet的参数时,需要另外增加一个线性层。

3)dropout和本文的方法不同,dropout主要用来防止过拟合,并且是在训练过程中就产生0连接,而本文的方法则是在网络训练完之后对网络进行修剪,产生0连接。

4)HashNet这个本人没有看过,论文里作者猜想HashNet和pruning结合可能效果更好。

5.具体流程:

首先训练整个网络,目的是找出哪些是重要的连接;接着设置一个threshold,pruning掉low-weight的连接,将密集的网络变成稀疏的网络;最后则是对余下来的params进行微调,如果不微调,那么对网络的性能会有很大的影响。如图:

这里写图片描述

而使用本文的方法需要很大的技巧性:

1)Regularization:需要选择合适的regularization。L1范式会将更多的params转换成接近0,这在进行pruning之后,reTrain之前有很好的accuracy;L2范式在pruning和reTrain之后会降低accuracy。

2)Dropout and capacity control:dropout被当做“soft dropout”,而本文的方法则被当做“hard dropout”;这是因为dropout中被drop的在新的训练批时,可以被重新训练;而本文的则是直接去掉连接connections。而在使用本文方法的时候,dropout的ratio也分pruning之前和pruning不一样,具体如图所示:

这里写图片描述

3)Local Pruning and Parameter Co-adaptation:在reTrain的过程中,重新训练pruning后保存下来的weights比训练再次初始化的weights更好。其次,为了克服vanish gradient problem的问题,作者只训练pruning后shallow layer保存下来的params。

4)Iterative Pruning:其实就是重复的pruning,反复的找出不重要的连接然后pruning。

5)Pruning Neurons:一些0输入或者0输出的 neurons也能被pruned。

本文系作者原创,转载请先联系作者: 18254275587@163.com