(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210692241.1 (22)申请日 2022.06.17 (71)申请人 长安大学 地址 710064 陕西省西安市雁塔区二环南 路中段126号 (72)发明人 王炜昊　王夏黎　 (74)专利代理 机构 西安恒泰知识产权代理事务 所 61216 专利代理师 王芳 (51)Int.Cl. G06V 10/774(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06V 10/30(2022.01) (54)发明名称 基于改进的多尺度融合生成对抗网络图像 增强方法 (57)摘要 本发明公开了一种基于改进的多尺度融合 生成对抗网络图像增强方法： 步骤1： 建立不同亮 度的图像数据集； 步骤2： 建立改进的生成对抗网 络图像增强模 型， 将训练集代入模 型进行训练得 到训练好的模型； 步骤3： 将待处理的真实的低照 度图像输入训练好的模型中得到增强后的图像。 本发明在生成器中引入通道注意力机制和残差 稠密块， 改善增强后图片局部突变的情况， 使网 络更加关注感兴趣信息， 增强网络的灵活性。 利 用多层网络多维度提取图片特征， 允许每一层网 络都可以向后面网络传输需要保留的信息， 将浅 层的特征与深层的特征融合， 在图像增强中可以 提取到更多细节信息， 解决增强后局部失真的问 题。 权利要求书3页 说明书9页 附图7页 CN 115223004 A 2022.10.21 CN 115223004 A 1.一种基于改进的多尺度融合生成对抗网络图像增强方法， 其特征在于， 包括如下步 骤： 步骤1： 建立 不同亮度的图像数据集； 步骤2： 建立改进的生成对抗网络图像增强模型， 将步骤1得到的训练集代入改进的生 成对抗网络图像增强模型进行训练， 得到训练好的模型； 通过测试集进行测试； 其中， 所述 改进的生成对抗网络图像增强模型包括 生成器和判别器； 所述生成器对输入其中的低照度图像数据集中每 个图像的处 理过程包括如下子步骤： 步骤21： 采用7*7的卷积层提取训练集的低照度图像的浅层特 征信息； 步骤22： 浅层特 征信息依次通过两个下采样层， 获取与原 始图像不同尺度的图像信息； 步骤23： 将步骤22获得的图像信息送入深度特征提取模块， 该模块包括两条并行的支 路， 这两条并行 的支路通过不同大小的卷积核获得不同感受野的深层信息； 所述两条并行 的支路组成相同， 包括依次连接的卷积层、 激活函数和交替模块层和Concat层， 且激活函数 的输出和交替模块的输出共同连接Concat层； 其中， 所述交替模块包括交替连接的三个残 差稠密块和三个通道 注意力模块； 步骤24： 将两条支路获得的不同感受野的深层信息进行视 觉融合得到融合的特 征图； 步骤25： 对融合的特征图依次进行一次卷积、 一次激活、 两次上采样和再次卷积操作， 得到输出特征图； 其中， 第一次卷积用于对融合后的特征进一步提取特征信息， 两次上采样 用于还原图像尺寸， 再次卷积用于图像恢复； 步骤26， 将步骤25得到的输出特征 图与训练集其对应的原始图像共同连接Concat层， 得到最终输出 结果； 步骤3： 将待处理的真实的低照度图像输入步骤3得到的训练好的模型中， 得到增强后 的图像。 2.如权利要求1所述的基于改进的多尺度融合生成对抗网络图像增强方法， 其特征在 于， 所述步骤1包括如下子步骤： 步骤11： 使用伽马校正对原 始图像I进行处 理， 得到第一低照度图像I1， 计算公式如下： 式中， I表示原 始图像(ground  truth)， I1表示第一低照度图像， γ1表示伽马值， 取0.2； 步骤12： 将原始图像I使用相机响应函数处理降低图像亮度， 得到第二低照度图像I2， 计 算公式如下： 式中， I2表示第二低照度图像， k表示虚拟曝光率， k＝ ‑5.33， a和b作为相机响应函数的 两个参数； 步骤13： 对原 始图像I使用图像处 理软件手工调节图像亮度， 得到第三低照度图像I3。 步骤14， 将数据集分为测试集和训练集； 3.如权利要求1所述的基于改进的多尺度融合生成对抗网络图像增强方法， 其特征在 于， 所述步骤23中， 所述残差稠密块包括稠密连接块和残差连接块， 其中， 稠密连接块用于 将每层卷积层提取的信息分别向其后的每一卷积层传输， 经过三个卷积层各自对应的稠密 连接块后， 通过连接函数融合浅层与深层的特征， 然后利用卷积核为1的卷积层 恢复特征图权　利　要　求　书 1/3 页 2 CN 115223004 A 2通道数； 残差连接块采用跳跃连接方式， 将输入残差稠密块的特征与经过稠密连接块卷积 并激活后的输出进行 逐像素相加。 4.如权利要求1所述的基于改进的多尺度融合生成对抗网络图像增强方法， 其特征在 于， 所述步骤23中， 所述的两条并行的支路的残差稠密块的卷积核大小分别为3 *3、 5*5； 5.如权利要求1所述的基于改进的多尺度融合生成对抗网络图像增强方法， 其特征在 于， 所述步骤23中， 所述通道注意力模块对残差稠密块得到的特征图的处理包括以下子步 骤： 步骤231： 位于通道注意力模块之前的残差稠密块输出的特征图分别进入通道注意力 模块的两个支路； 步骤232： 第一个支路使用全局平均池化将残差稠密块得到的特征图信息转化为通道 描述符， 将C ×H×W的特征图像转换为C ×1×1的特征图； 步骤233： 第二个支路使用全局最大池化将残差稠密块得到的特征图信息每个通道中 所有特征的最大值作为该通道的代 表特征， 得到特 征图； 步骤234： 将步骤232和步骤233获得的特征图分别通过两个卷积层放大缩小相同倍数 的通道数， 得到不同通道对应的特征权重， 其中在第一个卷积层后接一个激活函数层以防 止提取的特征数据在传输过程中发散， 再将这两个不同大小的通道特征进 行融合得到通道 特征信息， 之后通过Sigmo id激活函数进行激活； 步骤235： 采用Element ‑wise product模块， 将前一个残差稠密 块得到的特征图与步骤 234得到的特 征图中各个通道的权 重相乘， 得到加权后的特 征图。 6.如权利要求1所述的基于改进的多尺度融合生成对抗网络图像增强方法， 其特征在 于， 所述步骤2中， 所述判别器包括6个卷积层， 在前5个卷积层后均设有一个实例归一化层 和一个relu激活函数， 用来防止梯度消失； 在最后1个卷积层后设有一个Sigmo id激活函数。 7.如权利要求1所述的基于改进的多尺度融合生成对抗网络图像增强方法， 其特征在 于， 所述步骤2中， 所述判别器的损失函数为： 其中， 是指生成器生成样本的分布与真实图片分布之 间的Wasserstein距离， 表示图片取 自生成器网络输出的生成图片集， 表示图 片取自训练集中的正常照度图像集， 表示图片取自生成样本与真实样本之间区域， G (x)表示生成器根据原始输入图像x生成的图像， D(x)表示判别器对原始输入图像x的判别 评价， A表示期望值表达式， λ为梯度惩罚项的常系数， 为判别器梯度， 为WGAN‑GP梯度惩罚项， 其目的是让判别器梯度不超过1， 用来解决梯度不稳定的问题， 同时加速收敛。 8.如权利要求1所述的基于改进的多尺度融合生成对抗网络图像增强方法， 其特征在 于， 所述步骤2中， 所述 生成器的总体损失： LG＝Lcondition+λ*Lcontent权　利　要　求　书 2/3 页 3 CN 115223004 A 3