Res DL9:神经网络

Res DL9:神经网络

 

神经网络

深度和宽度是深度神经网络的两个基本维度,分辨率不仅取决于网络,也与输入图片的尺寸有关。

深度

深度——神经网络的层数更深的网络,有更好的非线性表达能力,可以学习更复杂的变换,从而可以拟合更加复杂的特征,更深的网络可以更简单地学习复杂特征。网络加深会带来梯度不稳定、网络退化的问题,过深的网络会使浅层学习能力下降。深度到了一定程度,性能就不会提升了,还有可能会下降。

宽度

宽度——每层的通道数足够的宽度可以保证每一层都学到丰富的特征,比如不同方向,不同频率的纹理特征。宽度太窄,特征提取不充分,学习不到足够信息,模型性能受限。宽度贡献了网络大量计算量,太宽的网络会提取过多重复特征,加大模型计算负担。提升网络性能可以先从宽度入手,提高每一层的通道的利用率、用其他通道的信息补充较窄的层,找到宽度的下限,用尽量小的计算量得到更好的性能。

分辨率

分辨率——是指网络中特征图的分辨率

YOLO

depth_multiple 是用在backbone中的number≠1的情况下, 即在Bottleneck层使用,控制模型的深度,yolov5s中设置为0.33,假设yolov5l中有三个Bottleneck,那yolov5s中就只有一个Bottleneck。
因为一般number=1表示的是功能背景的层,比如说下采样Conv、Focus、SPP(空间金字塔池化)。
 
width_multiple 主要是用于设置arguments,例如yolov5s设置为0.5,Focus就变成[32, 3],Conv就变成[64, 3, 2]。以此类推,卷积核的个数都变成了设置的一半。