(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210863230.5 (22)申请日 2022.07.20 (71)申请人 西安商汤智能科技有限公司 地址 710075 陕西省西咸 新区沣西新城西 部云谷二期1号楼15层15 01室 (72)发明人 黄小萃　孙其功　杨慧　马堃　 (74)专利代理 机构 北京林达刘知识产权代理事 务所(普通 合伙) 11277 专利代理师 刘新宇 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/82(2022.01) G06V 10/80(2022.01) G06V 10/54(2022.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 表情识别方法及装置、 电子设备和存 储介质 (57)摘要 本公开涉及一种表情识别方法及装置、 电子 设备和存储介质， 通过确定包括目标人脸的热成 像图像作为待识别人脸图像。 对待识别人脸图像 进行不同尺度的语义特征提取并融合得到特征 人脸图像， 再通过至少一种人脸特征提取模型分 别对特征人脸图像进行特征提取， 得到表情特征 图像。 根据表情特征图像确定目标人脸的表情。 本公开基于热成像图像进行表情识别， 能够在光 照条件较差的场景下进行表情识别。 同时， 通过 对热成像图像进行不同尺度的纹理特征提取得 到包括目标人脸细节纹理特征的特征人脸图像， 进一步根据特征人脸图像准确地确定目标人脸 的表情， 提高了基于热成像图像进行表情识别的 准确性。 权利要求书2页 说明书15页 附图7页 CN 115205942 A 2022.10.18 CN 115205942 A 1.一种表情识别方法， 其特 征在于， 所述方法包括： 确定待识别人脸图像， 所述待识别人脸图像为包括目标 人脸的热成像图像； 根据多个特 征提取算子和所述待识别人脸图像确定多个 语义特征图像； 对多个所述语义特 征图像进行融合， 得到特 征人脸图像； 通过至少一种人脸特征提取模型分别对所述特征人脸图像进行表情特征提取， 得到表 情特征图像； 根据所述表情特 征图像确定所述目标 人脸的表情。 2.根据权利要求1所述的方法， 其特征在于， 所述多个特征提取算子包括尺寸和方向中 至少一项不同的Gabor滤波 核。 3.根据权利要求1或2所述的方法， 其特征在于， 所述根据多个特征提取算子和所述待 识别人脸图像确定多个 语义特征图像包括： 通过多个特征提取算子分别对所述待识别人脸图像进行纹理特征提取， 得到不同尺度 的纹理特征图像； 将所述待识别人脸图像和多个不同尺度的纹理特征图像输入语义耦合网络， 输出所述 待识别人脸和所述多个纹 理特征图像对应的语义特 征图像。 4.根据权利要求3所述的方法， 其特征在于， 所述语义耦合网络包括多个连续的卷积 层， 所述将所述待识别人脸图像和多个不同尺度的纹理特征图像输入语义耦合网络， 输出 所述待识别人脸和所述多个纹 理特征图像对应的语义特 征图像， 包括： 在所述语义耦合网络的多个所述卷积层中确定 至少一个目标 卷积层； 将所述待识别人脸图像和所述多个纹理特征图像分别输入多个所述语义耦合网络， 分 别由多个所述语义耦合网络中的多个卷积层依次对输入图像进行卷积， 得到所述目标卷积 层输出的目标语义特 征； 将每个所述目标语义特征融合后再分别输入每个所述多尺度语义耦合网络中位于所 述目标卷积层下一位置的卷积层继续进行卷积， 得到每个所述语义耦合网络输出的语义特 征图像。 5.根据权利要求1 ‑4中任意一项所述的方法， 其特征在于， 所述通过至少一种人脸特征 提取模型分别对所述特 征人脸图像进行表情特 征提取， 得到表情特 征图像包括： 通过表情特 征提取网络对所述特 征人脸图像进行 特征提取， 得到第一特 征图像； 通过眼部特 征提取网络对所述特 征人脸图像进行 特征提取， 得到第二特 征图像； 通过嘴部特 征提取网络对所述特 征人脸图像进行 特征提取， 得到第三特 征图像； 根据所述第一特 征图像、 所述第二特 征图像和所述第三特 征图像确定表情特 征图像。 6.根据权利要求5所述的方法， 其特征在于， 所述表情特征提取网络包括单一特征提取 分支和全局特 征提取分支， 所述表情特 征提取网络的训练过程包括： 确定多个样本图像； 将所述多个样本图像一同输入所述表情特 征提取网络； 通过所述单一特 征提取分支分别提取每 个所述样本图像对应的单一特 征图像； 通过所述全局特征提取分支提取每个所述样本图像对应的单一特征图像， 以及确定表 征每个所述单一特征图像与其他单一特征图像相似度的相似度矩阵， 根据所述相似度 矩阵 和每个所述单一特 征图像确定每 个所述样本图像对应的全局特 征图像；权　利　要　求　书 1/2 页 2 CN 115205942 A 2根据每个所述样本图像的单一特 征图像和全局特 征图像确定检测特 征图像； 根据每个所述样本图像的检测特 征图像调节所述表情特 征提取网络 。 7.根据权利要求6所述的方法， 其特征在于， 所述通过表情特征提取网络对所述特征人 脸图像进行 特征提取， 得到第一特 征图像包括： 分别通过所述单一特征提取分支和全局提取分支对所述特征人脸图像进行特征提取， 得到所述特 征人脸图像对应的两个单一特 征图像； 将所述特 征人脸图像对应的两个单一特 征图像相加得到第一特 征图像。 8.根据权利要求5 ‑7中任意一项所述的方法， 其特征在于， 所述根据所述第一特征图 像、 所述第二特 征图像和所述第三特 征图像确定表情特 征图像包括： 将所述第一特征图像、 第二特征图像和第三特征图像作为通道进行叠加， 得到表情特 征图像。 9.一种表情识别装置， 其特 征在于， 所述装置包括： 待识别图像确定模块， 用于确定待识别人脸图像， 所述待识别人脸图像为包括目标人 脸的热成像图像； 纹理提取模块， 用于根据多个特征提取算子和所述待识别人脸图像确定多个语义特征 图像； 特征图像确定模块， 用于对多个所述语义特 征图像进行融合， 得到特 征人脸图像； 特征提取模块， 用于通过至少一种人脸特征提取模型分别对所述特征人脸图像进行表 情特征提取， 得到表情特 征图像； 表情识别模块， 用于根据所述表情特 征图像确定所述目标 人脸的表情。 10.一种电子设备， 其特 征在于， 包括： 处理器； 用于存储处理器可执行指令的存 储器； 其中， 所述处理器被配置为调用所述存储器存储的指令， 以执行权利要求1至8中任意 一项所述的方法。 11.一种计算机可读存储介质， 其上存储有计算机程序指令， 其特征在于， 所述计算机 程序指令被处 理器执行时实现权利要求1至8中任意 一项所述的方法。权　利　要　求　书 2/2 页 3 CN 115205942 A 3