基于时空约束模型优化的车辆重识别方法与流程

文档序号:19943674发布日期:2020-02-14 23:33
基于时空约束模型优化的车辆重识别方法与流程

本发明涉及车辆重识别技术,尤其涉及一种基于时空约束模型优化的车辆重识别方法。



背景技术:

在城市的交通体系中,管理者面临车流量与日俱增、立体交通网络庞大等困难。对车辆的分析已经成为了智能城市交通的核心,车辆的检索、追踪、重识别等技术,在安防领域有至关重要的意义。车辆重识别是一种针对特定车辆对象的跨摄像头监控视频自动检索技术,即在照射区域无重叠的多摄像头下匹配不同时间出现的同一车辆对象。车辆重识别技术旨在复杂的环境中识别出相同额车辆,在智能城市安全化城市中的视频监控技术中有着广泛的应用。

目前的车辆重识别方法主要分为两类。一类通过硬件设备:如利用路面下的传感器。这类方法往往伴随着巨额的成本,所能获得的信息屈指可数。另一类通过交通卡口的监控视频:在不同摄像头中抓拍到的车辆图片或者视频进行比对检索。此类关注点在于找到鲁棒和稳定的视觉特征进行车辆重识别。当遇到外部的因素例如车辆姿态变化、分辨率低、摄像头设置等的干扰下,以上的车辆重识别技术并不能保证有较高的准确率。尤其是对车型、颜色相似的车辆进行重识别,单单靠视觉信息根本无法解决。



技术实现要素:

本发明要解决的技术问题在于针对现有技术中的缺陷,提供一种基于时空约束模型优化的车辆重识别方法。

本发明解决其技术问题所采用的技术方案是:一种基于时空约束模型优化的车辆重识别方法,包括以下步骤:

1)获取待查询车辆图像;所述图像为至少一张包含目标车辆的图片;

2)对于给定的车辆查询图像和若干张候选图片,通过带有以车辆骨架关键点检测作为注意力机制的车辆姿态分类器提取出车辆姿态特征并输出车辆姿态类别;

3)将车辆姿态特征与车辆的细粒度身份特征融合得到车辆基于视觉信息的融合特征,对各个车辆的融合特征进行特征度量并得到视觉匹配概率;

4)将车辆姿态类别结合摄像头拍摄方向估计车辆相对行驶方向,基于摄像头拓扑关系和车辆相对行驶方向引导建立车辆时空转移模型;

5)得到车辆时空匹配概率;

6)基于贝叶斯概率模型,联合车辆的视觉匹配概率与时空匹配概率得到最终车辆匹配的联合概率;

7)将查询车辆与所有的候选车辆匹配的联合概率按降序排列,得到车辆重识别排序表。

按上述方案,所述车辆姿态分类器的结构如下:所述车辆姿态分类器为端到端的神经网络,包括四级神经网络,具体如下:

第一级车辆骨架关键点检测神经网络、第二级车辆全局特征提取神经网络、第三级4个姿态特征提取网络和第四级姿态分类神经网络;

其中,第一级车辆骨架关键点检测神经网络,采用一个一级二阶的沙漏网络(stackedhourglassnetworks)结构,对所述车辆图片中骨架关键点进行检测,输出含有关键点位置信息的特征热力图;按照车辆姿态的4个类别(前面、背面、左侧面、右侧面)上出现的关键点,将所述的含有关键点位置信息的特征热力图进行叠加,得到4个姿态注意力特征图;

第二级车辆全局特征提取神经网络,采用resnet18网络第一层resnetblock块,对所述车辆图片提取初步的全局特征,即64*64*64维的全局特征;再将上述的4个姿态注意力特征分别映射到初步的全局特征中,分别生成了4个特征,即4个64*64*64维特征;

第三级姿态特征提取网络,采用4个不含全连接层的alaxnet网络,分别对上述的4个中部特征提取出车辆4个姿态特征,即得到4个256*7*7维的姿态特征;

将所述的车辆4个姿态特征合并输入至第四级姿态分类神经网络,预估车辆的4个姿态类别(前面、背面、左侧面、右侧面)。

按上述方案,所述步骤3)中,车辆细粒度身份特征是由车辆图片输入到车辆全局特征提取网络,生成的512*8*8维特征;车辆基于视觉信息的融合特征是将车辆姿态特征与车辆细粒度身份特征联合输入到一个特征融合网络,生成的1*2048维特征。

按上述方案,所述的车辆全局特征提取网络,采用resnet18前4层的resnetblock块组成;所述特征融合网络,采用2层全连接层神经网络(full-connectlayer),取其中第一层全连接层后的输出作为车辆的融合特征。

进一步的,所述方法训练特征融合网络网络方法包括:冻结车辆全局特征提取网络和车辆姿态特征网络的权重参数,对最后两层全连接层神经网络采用了交叉熵损失和三元组损失的度量距离学习,训练所述网络的特征学习过程;

按上述方案,所述视觉匹配概率的计算方法如下:在视觉上查询车辆i和候选车辆j匹配的概率pv

其中,为查询车辆i的融合特征,为候选车辆j的融合特征。

按上述方案,所述步骤5)中车辆时空匹配概率通过建立车辆姿态引导时空模型计算得到,具体步骤包括:

根据摄像头的拓扑图和摄像头的拍摄视角,预先建立摄像头id、车辆出现的姿态类别、车辆相对行驶方向的映射表。当车辆图片通过姿态分类器评估出车辆姿态类别后,将车辆姿态类别查找映射表可以估计出车辆相对行驶方向。

定义y1表示查询车辆与候选车辆具有相同id;y0表示查询车辆与候选车辆具有不同id;a1表示查询车辆与候选车辆具有相同行驶方向;a2表示查询车辆与候选车辆具有不同行驶方向。

基于朴素贝叶斯分类器原理,带有姿态引导的时空概率模型,计算探测车辆之间的匹配概率如下公式

其中对于公式中分母可以看成常数,因此可以化简公式为

ppgest(y1|ai,δt)=p(ai|y1)*p(δt|y1)*p(y1)

从训练集中,根据车辆id及车辆行驶方向分布情况统计出先验概率p(ai|y1)和p(y1);根据车辆时空数据可以建立时空概率模型,计算出先验概率p(δt|y1),对于训练集中每一对摄像头下的每一辆车,首先根据车辆的姿态估计车辆相对行驶方法,然后该摄像头对下的车辆两两匹配,统计出当在车辆id相同时出现相同行驶方向的概率p(a1|y1)和当在车辆id不同时出现不同行驶方向的概率p(a2|y1);从训练集中可以获取车辆时空数据,按照每对摄像头cn-cm进行时空数据分类,统计所有的正样本在每对摄像头下的转移时间δtn→m,计算得到正样本点在每对摄像头下的转移时间均值μn→m和方差σn→m;假设车辆在摄像头对的时空转移分布服从高斯分布,查询车辆i与候选车辆j的转移时间为由如下高斯分布的公式

可计算得到查询车辆i与候选车辆j在时空信息上匹配的概率p(δt|y1)。

按上述方案,所述步骤6)中计算车辆匹配的联合概率步骤包括:假设所述的查询车辆i和候选车辆j在视觉上匹配的概率与在时空上匹配的概率满足独立分布,基于贝叶斯概率模型,所述的车辆匹配的联合概率可由如下公式计算:

p=pv×θ×ppgest

其中,θ表示了车辆姿态分类的可信度;

最终,将所述的查询车辆与所有的候选车辆匹配的联合概率按降序排列,得到车辆重识别排序表。

本发明产生的有益效果是:

1)在车辆的视觉信息上,该方法能提取出车辆的姿态特征与车辆细粒度身份特征,并将这两种特征通过带有距离学习训练过的神经网络层进行融合,生成融合特征,进行基于车辆视觉信息的匹配。采用上述的车辆融合特征进行特征距离度量,减小了车辆相同id的类内距离,扩大了车辆不同id类间距离,让车辆即使在姿态变化的情况下仍能正确的进行匹配,大幅度降低了车辆之间的误识率。

2)在车辆的时空信息上,该方法建立了车辆摄像头间时空转移概率模型,评估车辆的姿态类别,并结合摄像头的拍摄角度和拓扑关系,对时空转移概率模型进行引导和优化。上述的车辆姿态引导时空模型,充分的挖掘了车辆的相对行驶信息,提高了基于时空信息的车辆重识别率。

3)该方法融合了车辆的视觉信息和时空信息,采用了视觉匹配概率与时空匹配概率联合度量,得到即使在车辆在视觉上类间距离难以区分的情况,仍具有较高的识别效率。

附图说明

下面将结合附图及实施例对本发明作进一步说明,附图中:

图1为本发明基于时空约束模型优化的车辆重识别方法流程图;

图2为本发明的以车辆骨架关键点检测作为注意力机制的车辆姿态分类器结构示意图;

图3为本发明的车辆姿态特征与车辆特征融合过程示意图;

图4为本发明的估计车辆相对行驶方向过程示意图;

图5为本发明的建立车辆姿态引导时空的朴素贝叶斯模型过程示意图;

图6为本发明的计算姿态引导时空的匹配概率过程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。

如图1所示,本发明实施实例提供了一种基于时空约束模型优化的车辆重识别方法,包括以下步骤:

步骤s102,获取探测车辆图像;

具体实现时,在该步骤中获取的车辆图片,包括多个方向的车辆图片、拍摄该图片的摄像头id和拍摄该图片的时刻点或者视频帧号。

步骤s104,对于给定的车辆查询图片和候选图片,通过带有以车辆骨架关键点检测作为注意力机制的车辆姿态分类器获得车辆姿态特征和车辆姿态类别;

姿态分类器的结构如图2所示。对车辆姿态类别的划分,可以分成4类,例如正面(对应的图片是车头图片)、背面(对应的图片是车尾图片)、左侧面(对应的图片是车头朝左的图片)以及右侧面(对应的图片是车头朝右的图片)等,其中,具体划分情况可以根据实际使用情况进行划分。

将车辆图片输入至车辆姿态分类器,其中车辆姿态分类器为端到端的神经网络,包括第一级车辆骨架关键点检测神经网络、第二级车辆全局特征提取神经网络、第三级4个姿态特征提取网络和第四级姿态分类神经网络;通过第一级车辆骨架关键点检测神经网络对所述车辆图片中骨架关键点进行检测,输出车辆骨架额20个关键点位置热力图;按照车辆姿态的4个类别(正面、背面、左侧面、右侧面)上出现的可见关键点,将所述的含有关键点位置信息的特征热力图进行叠加,得到4个姿态注意力特征图;通过第二级车辆全局特征提取神经网络对车辆图片进行初步的全局特征提取,生成初步的全局特征图;将4个姿态注意力特征图与初步的全局特征图进行点乘操作,将4个姿态注意力特征图分别映射到初步的全局特征图中,得到4个含姿态注意力的特征图;将这4个含姿态注意力的特征图并分别输入第三级姿态特征提取网络,提取出车辆4个姿态特征;将车辆4个姿态特征拼接合并输入至第四级姿态分类神经网络,预估车辆的4个姿态类别(前面、背面、左侧面、右侧面)。

第一级车辆骨架关键点检测神经网络采用沙漏网络结构(stackedhourglassnetwork),输出的20个关键点位置特征图大小为64*64维;第二级车辆全局特征提取神经网络采用2个残差网络块(resnetblock)结构,输出的4个含姿态注意力的中步特征图的大小均为64*64*64维;第三级4个姿态特征提取网络均采用alexnet网络中的特征提取器,输出的4个车辆姿态特征图的大小均为256*7*7维;第四级姿态分类神经网络采用alexnet网络中的特征分类器输出车辆姿态的4个类别。

步骤s106,将车辆姿态特征与车辆的细粒度身份特征融合得到车辆基于视觉信息的融合特征,对各个车辆的融合特征进行特征度量并得到视觉匹配概率;

车辆姿态特征与车辆身份特征融合的过程如图3所示。将车辆图片输入至车辆特征提取神经网络,提取车辆细粒度身份特征;将车辆姿态特征与车辆细粒度身份特征联合输入到特征融合网络,生成车辆的融合特征;

车辆特征提取神经网络采用残差网络结构(resnet18),输出车辆身份特征的大小为512*8*8维;特征融合网络采用2层全连接层神经网络(full-connectlayer),取其中第一层全连接层后的输出作为车辆的融合特征,其大小为1*2048维。

训练特征融合网络的方法如下:采用了交叉熵损失函数和三元组损失函数的度量学习,训练所述网络的特征学习过程;在采用度量学习的损失函数训练特征融合网络2层全连接层神经网络的过程中,减小了车辆相同id的类内距离,扩大了车辆不同id类间距离,增强车辆融合特征的鲁棒性。

将所有的探测车辆图像提取得到基于视觉的融合特征后,采用如下公式所示的计算方法,计算在视觉上查询车辆i和候选车辆j匹配的概率pv,其中查询车辆i所述融合特征为候选车辆j所述融合特征为

步骤s108,根据历史车辆行驶时空数据,建立同一车辆在摄像头间转移时间的时空概率模型;将车辆姿态类别结合摄像头拍摄方向估计车辆相对行驶方向,基于摄像头拓扑关系和车辆相对行驶方向引导已建立的车辆时空转移模型并得到车辆时空匹配概率;

估计车辆相对行驶方法的过程如图4所示。根据摄像头的拓扑图和摄像头的拍摄视角,预先建立摄像头id、车辆出现的姿态类别、车辆相对行驶方向的映射表。当车辆图片通过姿态分类器评估出车辆姿态类别后,将车辆姿态类别查找映射表可以估计出车辆相对行驶方向。

建立车辆姿态引导时空的朴素贝叶斯模型过程如图5所示,计算车辆姿态引导时空匹配概率过程如图5所示。定义y1表示查询车辆与候选车辆具有相同id;y0表示查询车辆与候选车辆具有不同id;a1表示查询车辆与候选车辆具有相同行驶方向;a2表示查询车辆与候选车辆具有不同行驶方向。

基于朴素贝叶斯分类器原理,带有姿态引导的时空概率模型,计算探测车辆之间的匹配概率如下公式

其中对于公式中分母可以看成常数,因此可以化简公式为

ppgest(y1|ai,δt)p(ai|y1)*p(δt|y1)*p(y1)

从训练集中,根据车辆id及车辆行驶方向分布情况可以统计出先验概率p(ai|y1)和p(y1);根据车辆时空数据可以建立时空概率模型,计算出先验概率p(δt|y1)。

具体实施时,对于训练集中每一对摄像头下的每一辆车,首先根据车辆的姿态估计车辆相对行驶方法,然后该摄像头对下的车辆两两匹配,统计出当在车辆id相同时出现相同行驶方向的概率p(a1|y1)和当在车辆id不同时出现不同行驶方向的概率p(a2|y1)。

从训练集中可以获取车辆时空数据,按照每对摄像头cn-cm进行时空数据分类,统计所有的正样本(同一辆车)在每对摄像头下的转移时间δtn→m,计算得到正样本点在每对摄像头下的转移时间均值μn→m和方差σn→m;假设车辆在摄像头对的时空转移分布服从高斯分布,查询车辆i与候选车辆j的转移时间为由如下高斯分布的公式

可计算得到查询车辆i与候选车辆j在时空信息上匹配的概率p(δt|y1);

步骤s110,基于贝叶斯概率模型,联合车辆的视觉匹配概率与时空匹配概率得到最终车辆匹配的联合概率。

计算车辆匹配的联合概率步骤包括:假设所述的查询车辆i和候选车辆j在视觉上匹配的概率与在时空上匹配的概率满足独立分布,基于贝叶斯概率模型,所述的车辆匹配的联合概率可由如下公式计算:

p=pv×θ×ppgest

其中,θ表示了车辆姿态分类的可信度。具体实施时,在步骤s104中的姿态分类器,输出的该姿态类别得分即作为姿态分类可信度。

最终,将所述的查询车辆与所有的候选车辆匹配的联合概率按降序排列,得到车辆重识别排序表。

应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

再多了解一些
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1
彩票开奖查询 广东11选5 500万彩票网 500w彩票 500w彩票 500w彩票 500w彩票 500w彩票 500w彩票 500w彩票 <顶点小说网修真世界>| <全本小说免费阅读txt>| <完美世界小说sodu>| <大主宰txt全集下载>| <天天棋牌>| <豆豆小说阅读网 总裁>| <58免费小说阅读网>| <有声小说打包下载>| <小说阅读网作者专区>| <我欲封天 耳根 小说>| <神印王座小说>| <完美世界小说txt奇书>| <都市小说完本>| <小说阅读网青春校园版>| <亚马逊电子书阅读器>| <神印王座小说>| <完美世界手机阅读>| <玄幻小说完本下载>| <完美世界小说最新>| <重生小说排行榜>| <完结全文阅读小说网>| <斗牛棋牌>|