(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210814552.0 (22)申请日 2022.07.11 (71)申请人 杭州隽睿信息科技有限公司 地址 311100 浙江省杭州市余杭区仓前街 道文一西路1288号海创科技中心4幢9 层、 3幢10层 (72)发明人 陈杨　 (51)Int.Cl. G06V 20/58(2022.01) G06V 10/764(2022.01) G06V 10/80(2022.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06V 10/22(2022.01) G01S 13/86(2006.01) G01S 13/931(2020.01)G01S 7/41(2006.01) (54)发明名称 智能车辆 检测系统及其检测方法 (57)摘要 本申请涉及智能车辆的领域， 其具体地公开 了一种智能车辆检测系统及其检测方法， 其通过 卷积神经网络模型分别提取被测目标的多个图 像和被测目标的检测信号的高维隐含特征分布 信息， 并且还通过基于上下文的编码器模型对毫 米波雷达相对于每个摄像头对应的五元坐标进 行高维关联特征提取， 这样就能够通过线性投影 获得与所述位置特征向量相同长度的图像特征 向量， 再计算所述图像特征向量与所述位置特征 向量之间的方位增益因数以对所述第一特征图 和所述第二特征图进行加权， 从而得到更为准确 的智能车辆与被测目标之间的距离。 通过这样的 方式， 能够提升辅助驾驶系统对于行驶环境中车 辆的感知能力。 权利要求书2页 说明书12页 附图4页 CN 115205821 A 2022.10.18 CN 115205821 A 1.一种智能车辆检测系统， 其特征在于， 包括： 图像数据单元， 用于通过部署于智能车 辆的用于机器视觉的摄像头获取被测目标的多个图像； 第一神经网络单元， 用于将所述多 个图像分别通过第一卷积神经网络以获得多个第一特征图； 毫米波数据单元， 用于通过部 署于所述智能车辆的毫米波雷达获取所述被测目标 的检测信号； 第二神经网络单元， 用于 将所述检测信号的波形图通过第二卷积神经网络以获得第二特征图； 位置数据单元， 用于 以所述毫米波雷达为坐标系原点， 获取每个所述摄像头的五元坐标 其中， x, y,z为空间坐标， 和 θ 分别表 示俯仰角和方位角； 位置编码单元， 用于将每个所述摄像头的 五元坐标 通过包含嵌入层的基于上下文的编码器模型以获得五个特征向量， 并将五个所述特征向量进行级联以获得位置特征向量； 投影单元， 用于对所述第一特征图 进行线性投影以获得与所述位置特征向量相同长度的图像特征向量； 方位增 益因数单元， 用于计算所述图像特征向量和每个所述摄像头的位置特征向量之间的方位增益因数， 其 中， 所述方位增 益因数基于所述第一特征图和所述第二特征图之间的距离、 所述图像特征 向量和所述位置特征向量之间的距离和所述摄像头和所述毫米波雷达之间的物理距离确 定； 加权单元， 用于以每个所述方位增 益因数作为加权系 数对每个所述第一特征图进行加 权以获得多个加权第一特征图； 融合单元， 用于计算所述多个加权第一特征图和所述第二 特征图的加权和以获得解码特征图； 以及解码单元， 用于对所述解码特征图进行解码回归 以获得解码值， 所述 解码值表示智能车辆与被测目标之间的距离 。 2.根据权利要求1所述的智能车辆检测系统， 其中， 所述第 一卷积神经网络的各层在层 的正向传递过程中对输入数据进 行卷积处理、 池化处理和激活处理以由所述第一卷积神经 网络的最后一层输出所述第一特征图， 其中， 所述第一卷积神经网络的第一层的输入为所 述图像； 以及， 所述第二卷积神经网络的各层在层的正向传递过程中对输入数据进行卷积 处理、 池化处理和激活处理以由所述第二卷积神经网络的最后一层输出所述第二特征图， 其中， 所述第二卷积神经网络的第一层的输入为所述检测信号的波形图。 3.根据权利要求2所述的智能车辆检测系统， 其中， 所述位置编码单元进一步用于： 使 用所述编码器模型的嵌入层将所述五元坐标 的各个坐标元素转化为坐标向量以获得坐标 向量的序列； 使用所述编 码器模型的转换器对所述坐标向量的序列进 行处理以获得五个所 述特征向量； 以及， 将五个所述特 征向量进行级联以获得 所述位置特征向量。 4.根据权利要求3所述的智能车辆检测系统， 其中， 所述投影单元进一步用于： 对所述 第一特征图进行沿着宽度维度和高度维度进行线性投影以获得与通道维度相等的通道特 征向量； 以及， 对所述 通道特征向量进行线性变换以获得 所述图像特 征向量。 5.根据权利要求4所述的智能车辆检测系统， 其中， 所述方位增益因数单元， 进一步用 于以如下公式计算所述图像特征向量和每个所述摄像头的位置特征向量之间的方位增 益 因数； 其中， 所述公式为： 其中vL是位置特征向量， vi是图像特征向量， || ·||代表欧式距离， d0代表摄像头与毫 米波雷达之间的物理距离， 且df代表第一特 征图与第二特 征图之间的距离 。权　利　要　求　书 1/2 页 2 CN 115205821 A 26.根据权利要求5所述的智能车辆检测系统， 其中， df表示所述第一特征图和所述第二 特征图之间的余弦距离 。 7.根据权利要求6所述的智能车辆检测系统， 其中， 所述解码单元， 进一步用于： 以如下 公式对所述解码特征图进行解码回归以获得所述解码值， 其中 ， 所述公式为： 其中X是解码特 征图， Y是解码值， W是权 重张量， 表示矩阵乘。 8.一种智能车辆检测系统 的检测方法， 其特征在于， 包括： 通过部署于智能车辆的用于 机器视觉的摄像头获取被测目标的多个图像； 将所述多个图像分别通过第一卷积神经网络 以获得多个第一特征图； 通过部署于所述智能车辆的毫米波 雷达获取所述被测目标的检测 信号； 将所述检测信号的波形图通过第二卷积神经网络以获得第二特征图； 以所述毫米波 雷达为坐标系原点， 获取每个所述摄像头的五元坐标 其中， x,y,z为空间坐 标， 和θ分别表示俯仰角和方位角； 将每个所述摄像头的五元坐标 通过包含 嵌入层的基于上下文的编 码器模型以获得五个特征向量， 并将五个所述特征向量进行级联 以获得位置特征向量； 对所述第一特征图进 行线性投影以获得与所述位置特征向量相同长 度的图像特征向量； 计算所述图像特征向量和每个所述摄像头的位置特征向量之 间的方位 增益因数， 其中， 所述方位增益因数基于所述第一特征图和所述第二特征图之间的距离、 所 述图像特征向量和所述位置特征向量之间的距离和所述摄像头和所述毫米波雷达之间的 物理距离确定； 以每个所述方位增益因数作为加权系数对每个所述第一特征图进 行加权以 获得多个加权第一特征图； 计算所述多个加权第一特征图和所述第二特征图的加权和以获 得解码特征图； 以及对所述解码特征图进行解码回归以获得解码值， 所述解码值表示智能 车辆与被测目标之间的距离 。 9.根据权利要求8所述的智能车辆检测系统的检测方法， 其中， 所述第 一卷积神经网络 的各层在层的正向传递过程中对输入数据进 行卷积处理、 池化处理和激活处理以由所述第 一卷积神经网络的最后一层输出所述第一特征图， 其中， 所述第一卷积神经网络的第一层 的输入为所述图像； 以及， 所述第二卷积神经网络的各层在层的正向传递过程中对输入数 据进行卷积处理、 池化处理和激活处理以由所述第二卷积神经网络的最后一层输出所述第 二特征图， 其中， 所述第二卷积神经网络的第一层的输入为所述检测信号的波形图。 10.根据权利要求8所述的智能车辆检测系统的检测方法， 其中， 将每个所述摄像头的 五元坐标 通过包含嵌入层的基于上下文的编码器模型以获得五个特征向量， 并将五个所述特征向量进行级联以获得位置特征向量， 包括： 使用所述编码器模型 的嵌入 层将所述 五元坐标的各个坐标元素转化为坐标向量以获得坐标向量的序列； 使用所述编码 器模型的转换器对所述坐标向量的序列进行处理以获得五个所述特征向量； 以及， 将五个 所述特征向量进行级联以获得 所述位置特征向量。权　利　要　求　书 2/2 页 3 CN 115205821 A 3