(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210747819.9 (22)申请日 2022.06.29 (71)申请人 西安理工大 学 地址 710048 陕西省西安市碑林区金花 南 路5号 (72)发明人 王文卿　周智强　张小乔　吕途　 刘涵　梁莉莉　 (74)专利代理 机构 西安弘理专利事务所 61214 专利代理师 王敏强 (51)Int.Cl. G06T 5/00(2006.01) G06V 10/80(2022.01) G06V 10/42(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 基于细节注入的双分支网络全色锐化方法 (57)摘要 本发明公开了一种基于细节注入的双分支 网络全色锐化方法， 首先将原始数据划分为训 练、 验证和测试数据， 生成相应的数据集并进行 预处理； 然后构建基于细 节注入的双分支全色锐 化网络模型； 对基于细 节注入的双分支全色锐化 网络模型进行训练； 利用训练好的网络模型对测 试数据进行融合； 最后对融合图像质量进行评 估。 本发明对于不同类别的源图像， 采用不同的 独立子网络进行特征提取， 并在特征融合的过程 中不断地利用提取的特征图， 弥补融合过程中丢 失的信息同时促进信息流动； 解决了现有方法没 有充分利用两类源图像中的特有信息及模型可 解释性不强导致的融合结果 性能不高的问题。 权利要求书3页 说明书9页 附图2页 CN 115082344 A 2022.09.20 CN 115082344 A 1.基于细节 注入的双分支网络全色锐化方法， 其特 征在于， 具体按照以下步骤实施： 步骤1、 将原 始数据划分为训练、 验证和 测试数据， 生成相应的数据集并进行 预处理； 步骤2、 构建基于细节 注入的双分支全色锐化网络模型； 步骤3、 对基于细节 注入的双分支全色锐化网络模型进行训练； 步骤4、 利用训练好的网络模型对测试 数据进行融合； 步骤5、 对融合图像质量进行评估。 2.根据权利要求1所述的基于细节注入的双分支网络全色锐化方法， 其特征在于， 所述 步骤1具体按照以下步骤实施： 步骤1.1、 给定多组原始多光谱MS图像和全色PAN图像， 每一组包含 的多光谱图像为一 个三维矩阵 全色图像为一个二维矩阵 其中 为实数域 符号， H、 W分别为全色图像的高和 宽， B为多光谱图像的波段数， r表示多光谱与全色图像的 空间分辨率之比， 将原始多光谱图像和全色图像按8∶ 1∶ 1的比例随机划分为训练数据、 验证 数据和测试数据； 步骤1.2、 对于训练数据和验证数据中的每一组图像， 采用与获取多光谱图像的传感器 的调制传递函数MTF相匹配的滤波器对原始多光谱MS图像进行滤波， 然后采用最近邻插值 的方式对滤波后的原始多光谱MS图像进 行下采样得到空间退化的原始多光谱MS图像， 同时 采用双三次插值方式对全色PA N图像进行下采样得到空间退化的全色PA N图像； 对空间退化 的原始多光谱MS图像进行上采样， 使空间退化的原始多光谱MS图像与空间退化的全色PAN 图像尺寸一致； 以空间退化的原始多光谱MS图像及空间退化的全色PAN图像作为模拟输入 数据， 并将原始多光谱MS图像作为参考图像， 按设定步幅将模拟输入数据和参考图像裁剪 为对应的小尺寸图像块， 以产生数据量较大的训练集和验证集； 步骤1.3、 对于产生的训练集和验证集， 以除以最大像素灰度值的方式对模拟输入数据 和参考图像进 行归一化， 再对归一化后的全色PA N图像进行低通滤波 得到归一化全色PAN图 像的低通版本， 并通过全色PA N图像减去归一化全色PA N图像的低通版本的方式获得归一化 全色PAN图像的高频成分； 步骤1.4、 对于测试数据， 分别生成模拟测试数据和真实测试数据两类； 生成模拟测试 数据的方式为： 对原始MS和PAN图像 分别执行 空间退化操作， 然后对退化的MS图像进行上采 样， 接着对上采样的退化MS图像及退化的PAN图像作归一化处理， 并对得到的PAN图像进行 高通滤波获得退化的PA N图像的高频成分， 以归一化后的上采样的退化MS图像和退化的PAN 图像的高频成分作为模拟测试数据； 生成真实测试数据的方式为： 对原始MS图像进行上采 样， 然后对上采样的MS图像及原始PAN图像作归一化处理， 接着对得到的PAN图像进行高通 滤波获得原始PAN图像的高频成分； 以归一化后的上采样 MS图像和PA N图像的高频成分作为 真实测试 数据。 3.根据权利要求2所述的基于细节注入的双分支网络全色锐化方法， 其特征在于， 所述 步骤2具体按照以下步骤实施： 步骤2.1、 构建两个并行的结构相似的特征提取子网络a和特征提取子网络b， 每个子 网 络由第1卷积层、 第1激活函数、 第2卷积层、 第2激活函数、 第3卷积层及第3激活函数 组成， 设 置第1卷积层的卷积核大小为1 ×1， 第2、 3卷积层的卷积核大小为3 ×3， 各卷积层的卷积核权　利　要　求　书 1/3 页 2 CN 115082344 A 2个数均为32， 滑动步幅均为1， 激活函数均采用整流线性单 元ReLU； 步骤2.2、 将所述步骤2.1中两个并行的特征提取子 网络的输出特征图沿通道方向进行 拼接， 并送入特征融合子网络， 所述特征融合子网络由三个连续的残差单元构成， 每一个残 差单元的结构由第1卷积层、 第1激活函数、 第2卷积层、 第2激活函数和第3卷积层组成， 并对 第1卷积层的输入和 第3卷积层的输出执行按元素加操作， 在获得第一和 第二个残差单元的 输出后， 将两个残差单元 的输出分别与两分支特征提取子网络第 1卷积层的输出特征图进 行拼接， 并以拼接后的数据作为下一残差单元的输入， 设置第1卷积层的卷积核大小为1 × 1， 卷积核个数为64， 第2、 3卷积层的卷积核大小为3 ×3， 个数分别为64、 32， 各层卷积核的滑 动步幅均为1， 激活函数采用整流线性单 元ReLU； 步骤2.3、 将特征融合子网络的输出送入图像重建子网络， 图像重建子网络的结构由第 1卷积层、 第1激活函数和第2卷积层组成， 设置第1卷积层的卷积核 大小为1×1， 卷积核个数 为32， 第2卷积层的卷积核大小为3 ×3， 个数为4或8， 卷积核的滑动步幅均为1， 激活函数采 用整流线性单 元ReLU； 步骤2.4、 将上采样的多光谱图像与图像重建子网络的输出进行相加， 得到最终的融合 图像。 4.根据权利要求3所述的基于细节注入的双分支网络全色锐化方法， 其特征在于， 所述 步骤3具体按照以下步骤实施： 步骤3.1、 将步骤2中的特征提取子 网络a、 特征提取子网络b、 特征融合子 网络和图像重 建子网络这四个子网络组合得到总体网络结构模型， 具体组合方法是先并行特征提取子网 络a和特征提取子网络b， 然后串 行特征融合子网络， 最后串 行图像重 建子网络， 然后将采用 步骤1中生成的训练集和验证集对构建的总体网络结构模型进行有监督训练， 训练过程中 采用的损失函数为 L＝LM+α·LS+β·Lλ (1) 其中LM、 LS、 Lλ分别为网络输出与参考图像 间的均方误差项、 网络输出与输入全色PAN图 像间的空间损失项及网络 输出与输入原 始多光谱MS图像间的光谱损失项， 步骤3.2、 三个损失项分别定义如下： 式中， M分别为网络的输出图像及参考图像， m、 p分别为退化的原始多光谱MS和全色 PAN图像， N为训练样本的批 大小batch  size， repmat为将p图像沿波段方向扩展至与 相同 波段数的操作， fdegrade表示对图像使用带有MTF 滤波的空间退化操作； 步骤3.3、 采用Adam方法更新模型参数， 训练过程中的学习率设置为0.001， 直到损失值 收敛或达到 设定的最大迭代次数时停止训练， 得到训练好的基于细节注入的双分支全色锐 化网络模型。 5.根据权利要求4所述的基于细节注入的双分支网络全色锐化方法， 其特征在于， 所述权　利　要　求　书 2/3 页 3 CN 115082344 A 3