(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210683991.2 (22)申请日 2022.06.17 (71)申请人 平安科技 （深圳） 有限公司 地址 518033 广东省深圳市福田区福田街 道福安社区益田路5033号平 安金融中 心23楼 (72)发明人 熊文硕　曾凡涛　刘玉宇　 (74)专利代理 机构 北京市京大律师事务所 11321 专利代理师 何少岩 (51)Int.Cl. G06V 40/20(2022.01) G06V 40/16(2022.01) G06V 20/40(2022.01) G06V 10/74(2022.01)G10L 17/22(2013.01) (54)发明名称 视频面审辅助方法、 装置、 设备及存 储介质 (57)摘要 本发明涉及人工智能技术领域， 公开了一种 视频面审辅助方法、 装置、 设备及存储介质， 用于 提高视频面审中对欺诈行为的识别准确度。 视频 面审辅助方法包括： 当审批人员和目标人员处于 预置的音视频检测区域时， 获取对应的音视频数 据， 并基于音视频数据进行音频检测； 若音视频 数据中存在审批人员的音 频， 则当审批人员的音 频结束时对目标人员进行多种动作的识别， 多种 动作包括目光动作、 头部动作和手部动作； 若目 光动作符合预设目光动作、 头部动作符合预设头 部动作或手部动作对目标人员的脸部形成遮挡， 则确定目标人员存在面审欺诈行为； 生成面审欺 诈行为对应的提醒信息， 并将提醒信息发送至面 审提醒终端。 权利要求书3页 说明书13页 附图3页 CN 115273221 A 2022.11.01 CN 115273221 A 1.一种视频面审辅助方法， 其特 征在于， 所述视频面审辅助方法包括： 当审批人员和目标人员处于预置的音视频检测区域时， 获取对应的音视频数据， 并基 于所述音视频 数据进行音频检测； 若所述音视频数据中存在所述审批人员的音频， 则当所述审批人员的音频结束时对所 述目标人员进行多种动作的识别， 所述多种动作包括目光动作、 头 部动作和手部动作； 若所述目光动作符合预设目光动作、 所述头部动作符合预设头部动作或所述手部动作 对所述目标人员的脸部形成遮挡， 则确定所述目标人员存在面审欺诈行为， 其中， 所述预设 目光动作包括目光慢瞟、 目光快瞟和目光抖动， 所述预设头部动作包括头部快速转动、 头部 向左转动和头 部向右转动； 生成所述 面审欺诈行为对应的提醒信息， 并将所述 提醒信息发送至面审提醒终端。 2.根据权利要求1所述的视频面审辅助方法， 其特征在于， 所述若所述音视频数据中存 在所述审批人员的音频， 则当所述审批人员的音频结束时对所述目标人员进 行多种动作的 识别， 所述多种动作包括目光动作、 头 部动作和手部动作， 包括： 若所述音视频数据中存在所述审批人员的音频， 则当所述审批人员的音频结束时获取 所述目标 人员的人脸视频； 根据所述人脸视频进行目光动作识别， 得到目光动作识别结果； 根据所述人脸视频进行头 部动作识别， 得到 头部动作识别结果； 根据所述人脸视频进行手部动作识别， 得到手部动作识别结果。 3.根据权利要求2所述的视频面审辅助方法， 其特征在于， 所述根据所述人脸视频进行 目光动作识别， 得到目光动作识别结果， 包括： 将所述目标人员在所述人脸视频的每帧视频中的目光落点角度值进行平面直角坐标 系映射， 并将所述每 帧视频中的目光落点角度值对应的目光坐标点进行连接， 生成所述 目 标人员的目光动作线段， 所述 目光坐标点对应的横坐标用于指示视频帧， 对应的纵坐标用 于指示目光 落点角度值； 调用预置的视线点检测模型对所述目光动作线段进行模板匹配； 若所述目光动作线段中的任一线段和预设目光动作曲线模板的匹配距离大于或等于 预设目光动作匹配距离， 则确定所述 目标人员的目光动作符合预设目光动作， 所述预设目 光动作包括目光慢瞟、 目光快瞟和目光抖动； 若所述目光动作线段中的每一线段和所述预设目光动作曲线模板的匹配距离小于所 述预设目光动作匹配距离， 则确定所述目标 人员的目光动作未符合所述预设目光动作。 4.根据权利要求2所述的视频面审辅助方法， 其特征在于， 所述根据所述人脸视频进行 头部动作识别， 得到 头部动作识别结果， 包括： 将所述目标人员在所述人脸视频的每帧视频中的头部姿态角度值进行平面直角坐标 系映射， 并将所述每 帧视频中的头部姿态角度值对应的头部姿态坐标点进行连接， 生成所 述目标人员的头部动作线段， 所述头部姿态坐标点对应的横坐标用于指示视频帧， 对应的 纵坐标用于指示头 部姿态角度值； 通过预置的头 部姿态检测模型对所述头 部动作线段进行模板匹配； 若所述头部动作线段中的任一线段和预设头部动作曲线模板的匹配距离大于或等于 预设头部动作匹配距离， 则确定所述 目标人员的头部动作符合预设头部动作， 所述预设头权　利　要　求　书 1/3 页 2 CN 115273221 A 2部动作包括头 部快速转动、 头 部向左转动和头 部向右转动； 若所述头部动作线段中的每一线段和所述预设头部动作曲线模板的匹配距离小于所 述预设头 部动作匹配距离， 则确定所述目标 人员的头 部动作未符合预设头 部动作。 5.根据权利要求2所述的视频面审辅助方法， 其特征在于， 所述根据所述人脸视频进行 手部动作识别， 得到手部动作识别结果， 包括： 根据所述人脸视频生成所述目标 人员的人脸区域 位置框； 对所述人脸视频进行手部检测； 若所述人脸视频中存在手部， 则生成所述手部对应的手部位置 框； 计算所述人脸区域位置框和所述手部位置框之间的交集值， 所述交集值用于指示所述 人脸区域位置框和所述手部位置框之间重叠区域的面积占所述人脸区域位置框和所述手 部位置框的总面积的比值； 若所述交集值大于或等于预设值， 则确定所述目标人员的手部动作对所述目标人员的 脸部形成遮挡； 若所述交集值小于预设值， 则确定所述目标人员的手部动作对所述目标人员的脸部未 形成遮挡。 6.根据权利要求1所述的视频面审辅助方法， 其特征在于， 所述当审批人员和目标人员 处于预置的音视频检测区域时， 获取对应的音视频数据， 并基于所述音视频数据进行音频 检测， 包括： 当审批人员和目标 人员处于预置的音视频检测区域时， 获取对应的音视频 数据； 将所述音视频 数据中的音频 数据进行提取， 得到音频 数据； 对所述音频 数据进行声纹特 征提取， 得到声纹特 征序列； 若所述声纹特征序列与预置的审批人员声纹特征序列匹配， 则确定所述音视频数据中 存在所述审批人员的音频； 若所述声纹特征序列与预置的审批人员声纹特征序列 未匹配， 则确定所述音视频数据 中未存在所述审批人员的音频。 7.根据权利要求1 ‑6中任一项所述的视频面审辅助 方法， 其特征在于， 在所述当审批人 员和目标人员处于预置的音视频检测区域时， 获取对应的音视频数据， 并基于所述音视频 数据进行音频检测之后， 在所述生成所述面审欺诈行为对应的提醒信息， 并将所述提醒信 息发送至面审提醒终端之前， 还 包括： 若所述音视频数据中存在所述审批人员的音频， 则当所述审批人员的音频结束时获取 所述目标 人员的人脸视频； 根据所述人脸视频对所述目标 人员的耳部进行颜色检测； 若所述耳部的颜色符合预设颜色， 则确定所述目标 人员存在面审 欺诈行为。 8.一种视频面审辅助装置， 其特 征在于， 所述视频面审辅助装置包括： 音频检测模块， 用于当审批人员和目标人员处于预置的音视频检测区域时， 获取对应 的音视频 数据， 并基于所述音视频 数据进行音频检测； 动作识别模块， 用于若所述音视频数据中存在所述审批人员的音频， 则当所述审批人 员的音频结束时对所述 目标人员进行多种动作的识别， 所述多种动作包括 目光动作、 头部 动作和手部动作；权　利　要　求　书 2/3 页 3 CN 115273221 A 3