买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉山东大学申请的专利一种基于交叉注意力的多模态融合小波知识蒸馏的视频行为识别方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115294498B 。

龙图腾网通过国家知识产权局官网在2026-04-07发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210938396.9，技术领域涉及：G06V20/40；该发明授权一种基于交叉注意力的多模态融合小波知识蒸馏的视频行为识别方法及系统是由李玉军;权振振;刘治设计研发完成，并于2022-08-05向国家知识产权局提交的专利申请。

本一种基于交叉注意力的多模态融合小波知识蒸馏的视频行为识别方法及系统在说明书摘要公布了：本发明涉及一种基于交叉注意力的多模态融合小波知识蒸馏的视频行为识别方法及系统，包括：获取可穿戴传感器数据并进行处理：将可穿戴传感器数据的一维时间序列信号转换为二维图像表示；搭建多模态注意力空洞卷积核残差网络；训练教师网络；搭建学生网络；构建小波蒸馏损失，通过最小化小波蒸馏损失、交叉熵损失来训练学生网络；通过训练好的学生网络对可穿戴传感器‑视频行为进行识别，得到识别结果。本发明通过多模态交叉注意力进行不同模态信息的充分融合，利用小波知识蒸馏指导视频进行识别。本发明通过小波变换过滤噪声，鲁棒性强。

本发明授权一种基于交叉注意力的多模态融合小波知识蒸馏的视频行为识别方法及系统在权利要求书中公布了：1.一种基于交叉注意力的多模态融合小波知识蒸馏的可穿戴传感器-视频行为识别方法，其特征在于，包括步骤如下： 获取可穿戴传感器数据并进行处理：将可穿戴传感器数据的一维时间序列信号转换为二维图像表示； 搭建多模态注意力空洞卷积核残差网络即教师网络； 训练教师网络； 搭建学生网络； 最小化小波蒸馏损失、交叉熵损失来训练学生网络； 通过训练好的学生网络对可穿戴传感器-视频行为进行识别，得到识别结果； 多模态注意力空洞卷积核残差网络包括1个卷积层、1个BN层、1个激活函数层、4个MaxPooling层、5个SADRM模块、1个DWT模块、1个模态融合模块、1个全连接层；模态融合模块包括多个CVA模块； 通过卷积层、BN层、激活函数层、SADRM模块、MaxPooling层、DWT模块的搭建进行可穿戴传感器数据的特征提取，MaxPooling层进行下采样操作，DWT模块进行小波变换，多个CVA模块处理不同模态间的融合，从多个CVA模块获取的融合后的特征通过级联输入到全连接层； SADRM模块包括1*1卷积层、堆叠的一个1*1卷积层和一个3*3卷积层、一个LKA模块、堆叠的2个扩张率为2的3*3空洞卷积层和堆叠的2个扩张率为4的3*3空洞卷积层； 教师网络的上一层特征图输入到SADRM模块中，分别经过上述各部分的计算处理，将得到的5个计算结果和输入特征图进行相加，形成快捷连接，最终得到SADRM模块的输出Stage，如式Ⅵ所示： 式Ⅵ中，x为上一个阶段的输入，Conv1×1表示1×1卷积操作，Conv3×3表示3×3卷积操作，LKA表示LargeKernelAttention操作，Dila3×3表示3×3空洞卷积操作； SADRM模块中，对于堆叠的卷积层，假设第i层的感受野为RFi＝a1,i×a2,i，a1,i、a2,i分别指感受野的长和宽，第i+1层的卷积核尺寸为ki+1×ki+1，第i+1层的空洞卷积扩张率为di+1，则第i+1层的感受野RFi+1如式Ⅴ所示： RFi+1＝[a1,i+ki+1-1di+1]×[a2,i+ki+1-1di+1]Ⅴ 式Ⅴ中，RF0＝1×1代表输入层的感受野； LKA模块如式VI、式VII所示： Atten＝Conv1×1DW-D-ConvDW-ConvXVI 式VI、式VII中，是输入特征，DW-Conv是深度卷积，DW-D-Conv是深度膨胀卷积，Conv1×1代表一维通道卷积，是注意力映射，代表每个特征的重要性，代表元素积，Y是指大内核注意力模块的输出； DWT模块将数据按照不同的频率间隔分解成不同的分量，用于信号处理中的抗混叠，给定输入图像P，使用Haar小波沿着行和列分别进行小波变换，分解成式Ⅷ、式Ⅸ、式Ⅹ、式Ⅺ： Pll＝LPLTⅧ Plh＝HPLTⅨ Phl＝LPHTⅩ Phh＝HPHTⅪ 式Ⅷ、式Ⅸ、式Ⅹ、式Ⅺ中，L为低通滤波矩阵，H为高通滤波矩阵，P是指给定输入图像，Pll、Plh、Phl和Phh分别是图像分解后的低频分量、水平高频分量、垂直高频分量和对角高频分量；选取低频分量Pll的作为DWT模块的输出；在教师网络的最后一个阶段用小波变换代替步长为2的最大池化层，如式Ⅻ所示： MaxPools＝2→DWTllⅫ 式Ⅻ中，MaxPools＝2代表步长为2的最大池化层，DWTll代表特征映射到低频分量的变换映射； CVA模块通过交叉注意力方法进行不同模态之间的信息融合，如式XIII所示： 式XIII中，x,y代表不同的模态，WQ、WK、WV为CVA模块中计算query、key、value的权重矩阵、CVAx,y代表交叉视角注意力，dk代表key的维度，softmax代表softmax函数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东大学，其通讯地址为：250199 山东省济南市历城区山大南路27号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。