-
Notifications
You must be signed in to change notification settings - Fork 0
/
_7_图像锐化处理.py
30 lines (19 loc) · 3.55 KB
/
_7_图像锐化处理.py
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
# 7.图像锐化处理
图像掩膜是指通过设置模板图像后，使用模板图像与目标图像进行的各种位运算操作。将预先制作的模板图像与待处理图像进行矩阵乘法处理，从而得到感兴趣区图像，即ROI操作。模板中强调区域数值设置为1，其余区外数值设定为0，其利用矩阵乘法的概念，感兴趣区内图像内数值保持不变，而区外图像中非强化的部分数值都为0，以达到对于图像中非强化部分的屏蔽，其原理如图所示。
由于拉普拉斯算子是二阶算子，相比于Sobel算子其对于图像中噪声的灵敏度较高，所以在平滑区域拉普拉斯算子处理后的图像会产生多余的梯度噪声。Sobel算子在细节敏感度低于拉普拉斯算子，同时经双边滤波处理后，Sobel算子所得到的梯度图像对于灰度变化明显的边缘区域得到保留的同时，其产生的噪声会得到进一步的降低。因此，本算法以经过双边滤波处理的梯度图像为模板图像，并将其与拉普拉斯图像相乘。所得到的掩膜图像既可以保留灰度变化强烈的边缘信息，也可以降低拉普拉斯图像在平坦区域的噪声。
# 8.改进YOLO
#### ECA-Net
在SE-Net中全连接层的计算方式主要是将全局特征图进行权值矩阵组合，不利于复杂背景和目标特征的区分，且计算了过大。[2020年 ECA-Net被提出](https://afdian.net/item/44911cc67af511eea61f5254001e7c00)，该模型是基于SE-Net 改进的通道注意力模型，它使用卷积核大小为k的一维卷积代替全连接层进行k个临近范围的通道加权，实现局部交叉、通道交互，从而加强网络对局部特征信息的关注，增强背景和目标的区分能力[4]。ECA-Net网络结构如图所示。
k值计算如式，其中channels是输入特征的通道数。每5个通道输出为一个通道，用padding进行填充维持通道数不变。
#### 空间注意力
空间注意力机制的典型代表是CBAM结构，在继承了SE-Net通道注意力机制的基础上，又加入了空间注意力，如图所示。其中在通道上的处理又和SE-Net不太一样，SE-Net 取得是全局平均池化，而在CABM中既采用平均池化同时又结合了最大池化，有效防止信息的丢失。随后将池化后的特征分别经过共享权值的全连接层并做加运算输出，然后与初始特征乘积输出，得到通道上的加权[5]。
另一部分经过特征在空间上的注意力，首先是对输入特征做一个基于通道数的全局最大池化和全局均值池化,将通道压缩为一维。再将该特征经过一个卷积操作和sigmoid激活得到空间特征的加权特征，最后将该加权特征与原始输入进行乘积得到最后的输出特征。最后得到的特征在通道上、在空间上得到了加权，更加有利于模型在学习的过程中放大目标信息占比，缩小无关信息占比。其计算公式如式如下:
#### 改进YOLO代码实现