买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京大学申请的专利基于多模态交互和多阶段优化的实时RGBT目标跟踪方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115170605B 。

龙图腾网通过国家知识产权局官网在2026-04-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210673885.6，技术领域涉及：G06T7/246；该发明授权基于多模态交互和多阶段优化的实时RGBT目标跟踪方法是由任桐炜;武港山;侯瑞超;许博约设计研发完成，并于2022-06-15向国家知识产权局提交的专利申请。

本基于多模态交互和多阶段优化的实时RGBT目标跟踪方法在说明书摘要公布了：本发明提出了一种基于多模态交互和多阶段优化的实时RGBT目标跟踪方法，跟踪模型包括特征提取模块、多模态交互模块、目标分类器以及结果优化模块；利用公开的RGBT数据集对跟踪模型进行训练，包括离线训练和在线训练两个阶段。本发明构建多模态交互模块学习鲁棒的特征表达，改善跨模态特征之间的注意力计算方式，实现两种模态的互补增强，通过引入门控函数，有效去除冗余噪声的影响；构建多阶段优化模块结合光流算法和优化模型实现跟踪结目标的精确重定位，有效缓解相机抖动、局部遮挡等因素造成的影响，提升跟踪模型的鲁棒性和实时性。

本发明授权基于多模态交互和多阶段优化的实时RGBT目标跟踪方法在权利要求书中公布了：1.基于多模态交互和多阶段优化的实时RGBT目标跟踪方法，其特征在于基于红外光和可见光两种模态交互，构建一个目标跟踪模型，首先利用已有RGBT目标跟踪数据进行离线训练，在线跟踪时，根据首帧确定的跟踪目标在线微调跟踪目标模型参数，然后对视频序列进行实时目标跟踪；所述目标跟踪模型包括特征提取模块、多模态交互模块、目标分类器以及结果优化模块，实现如下： 步骤1：将经过时空配准的热红外和可见光图像作为目标跟踪模型的输入； 步骤2：构建共享权重的双流特征提取模块，所述双流特征提取模块利用轻量化VGG-M的前三层卷积对输入的热红外及可见光图像提取红外和可见光的深度特征； 步骤3：构建多模态交互融合模块，对提取的红外和可见光的深度特征，计算多头跨模态注意力生成特征残差图，以双向增强的方式提升模态质量： 单一跨模态注意的从红外到可见光模式的判别特征转换表示为公式如下： 上式中，表示一对从步骤2中获取的可见光和红外深度特征，R表示可见光，T表示红外，公式1中Q，K和V分别表示查询、键和值，均经过1×1卷积操作进行变维，dk表示尺度因子，首先，建立QR和KT之间的交叉模态关联，然后通过softmax函数生成注意矩阵，最后，交叉模态特征由注意力矩阵和VT加权生成，为了兼顾不同空间的注意力分布，将单一跨模态注意扩展到多头结构，公式如下： MultiHeadQR,KT,VT＝ConcatH1,…,HnWO2 上式中，表示第i个注意力头下Q，K和V的权重矩阵，WO表示多头注意力拼接的权重矩阵，n表示注意力头的个数，i＝1,…,n，Concat表示级联操作； 得到多头跨模态注意力的特征残差图FT-R＝MultiHeadQR,KT,VT，根据双向增强的特性，根据上述公式反之计算得FR-T＝MultiHeadQT,KR,VR，FR-T表示多头跨模态注意力的可见光模式转移到红外模式的判别力特征，即得到两个特征互补残差图FR-T和FT-R； 步骤4：使用门控函数去除步骤3所得结果中的冗余特征信息，再利用级联的方式将增强的多模态特征聚合； 步骤5：利用ROIAlign在步骤4所生成的融合特征图上进行目标与背景采样，以目标为正例，背景为负例构建训练样本，用于训练目标分类器； 步骤6：构建目标分类器，由三层全连接层组成，使用softmax计算二分类损失，从而更新模型参数，目标分类器输出跟踪预测结果； 步骤7：构建结果优化模块，由光流算法和优化模型组成，光流用于预测目标的大范围移动，计算相邻两帧之间的偏移量，对跟踪结果进行修正，优化模型则对预测结果进行二次回归，从而获得更为精确的定位。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京大学，其通讯地址为：210093 江苏省南京市鼓楼区汉口路22号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。