信道压缩~通~通~减

一、1 X 1的卷积核作用

　所谓信道压缩，Network in Network是怎么做到的？

　对于如下的二维矩阵，做卷积，相当于直接乘以2，貌似看上去没什么意义：

　但是，对于下面这种32通道的数据，如果我用1个1x1x32的卷积核与其做卷积运算，得到的就是1个6x6的矩阵

　

　在这个过程中，发生了如下的事情：

• （1）遍历36个单元格（6x6）
• （2）计算左图中32个信道中截面与卷积核中32个元素的乘积
• （3）此时得到的结果，仍然是6x6x32的矩阵
• （4）每个6x6的矩阵都叠加起来，得到一个6x6的矩阵
• （5）接下来用Relu函数作用于这个6x6的矩阵
• （6）得到6x6的输出

 

　同理，如果我用N个1x1x32的卷积核与其做卷积运算，得到的就是N个6x6的矩阵。

　这种做法，通常称为1x1卷积或Network in Network。它的主要作用，就是降低信道数量。如下图：

　28x28x192的数据，被32个1x1x192的卷积核作用后，就变为28x28x32的数据。这也就是所谓信道压缩，信道降维。当然如果你愿意，也可以增加信道维度。这在Inception网络中很有用

　

　所以1 X 1 的卷积核有什么作用：

　　1）跨通道的特征整合

　　2）特征通道的升维和降维

　　3）减少卷积核参数（简化模型）

 

二、参考

　本文参考：

　感谢作者的分享：知识分享推动世界进步！