1. 深度可分离卷积简介

深度可分离卷积(depthwise separable convolution)是一种广泛应用于卷积神经网络模型结构中的即插即用模块,即插即用,方便部署,可以达到轻量化参数和计算量的需求.宏观上来说,其可以分解为两个更小的操作：depthwise convolution 和 pointwise convolution.

1. 具体原理

2.1普通卷积

考虑一个普通卷积,给定输入大小为DF*DF*M的tensor,当使用大小为Dk*Dk*M的卷积核进行卷积运算时,有如下定义成立:

figure1 : 普通卷积

共N个卷积核:计算量:Dk*Dk*M*Dg*Dg*N参数量:Dk*Dk*M*N

 

2.2深度可分离卷积

深度可分离卷积由depthwise convolution 和 pointwise convolution构成,给定和普通卷积相同的输入,进过两步序列性运算后输出与普通卷积结果相同,但计算开销减少.

    2.2.1 深度卷积(depthwise convolution)

在不改变输入tensor深度的情况下，对每一通道进行卷积操作

给定输入大小为DF*DF*M的tensor,当使用大小为Dk*Dk*1的卷积核进行卷积运算时,有如下定义成立:

共M个卷积核:计算量:Dk*Dk*1*Dg*Dg*M参数量:Dk*Dk*M*1 

2.2.2逐点卷积(pointwise convolution)

经过深度卷积后获得了Dg*Dg*M大小的tensor,在经过逐点卷积(1*1大小,深度为M的卷积核)卷积得到目的深度的tensor.

 

共N个卷积核:计算量:M*1*1*Dg*Dg*N参数量:N*M*1*1

 

因此,深度可分离卷积的参数如下:

计算量:Dk*Dk*1*Dg*Dg*M+M*1*1*Dg*Dg*N参数量:Dk*Dk*M*1+N*M*1*1

 

相比于普通卷积

计算量:Dk*Dk*M*Dg*Dg*N参数量:Dk*Dk*M*N

深度可分离卷积在完成相同计算目的的情况下计算开销更小

深度可分离卷积params传统卷积params=1N+1Dk2