北京理工大学梁瑛平获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京理工大学申请的专利一种基于多尺度时空特征融合的暗光视频增强方法及系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115345785B 。
龙图腾网通过国家知识产权局官网在2026-04-07发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210775619.4,技术领域涉及:G06T5/60;该发明授权一种基于多尺度时空特征融合的暗光视频增强方法及系统是由梁瑛平;曾宇航;付莹设计研发完成,并于2022-07-01向国家知识产权局提交的专利申请。
本一种基于多尺度时空特征融合的暗光视频增强方法及系统在说明书摘要公布了:本发明涉及一种基于多尺度时空特征融合的暗光视频增强方法及系统,属于计算机视觉技术领。在训练阶段将暗光视频依照其不同的数据格式进行预处理,使不同像素依照色彩滤镜分离至不同通道,采用暗光视频增强算法根据输入的暗光视频产生一份增强后视频,并将其与真实正常光视频进行比对,计算损失函数并通过反向传播过程更新算法模型中的各参数;当达到预设终止条件后,将模型结构与训练更新后的模型参数进行保存。在使用阶段,根据在训练阶段保存好的模型结构与模型参数构建暗光视频增强模型,将待处理的暗光视频送入模型当中进行暗光增强。本发明可以恢复暗光视频为评价指标优越、主观视觉感受良好的高质量正常光视频。
本发明授权一种基于多尺度时空特征融合的暗光视频增强方法及系统在权利要求书中公布了:1.一种基于多尺度时空特征融合的暗光视频增强方法,其特征在于,包括训练和使用阶段; 在训练阶段,使用暗光视频-正常光视频配对数据集迭代更新算法模型的参数字典; 首先,在暗光视频-正常光视频配对的训练数据中,将暗光视频依照其不同的数据格式进行预处理,使不同像素依照色彩滤镜分离至不同通道;若已知相机曝光设定,进一步根据视频昏暗程度的不同,对视频亮度进行初步的线性提升,以该数据作为训练阶段的输入数据; 随后,暗光视频增强算法根据输入的暗光视频产生一份增强后视频,并将其与真实正常光视频进行比对,计算损失函数并通过反向传播过程更新算法模型当中的各个参数,包括以下步骤: 从训练数据集中,随机选取一段指定帧数的暗光视频输入算法模型;算法模型对该数据进行增强处理,输出同样帧数的增强后视频,受数据格式和视频数据预处理过程的影响,输入数据的宽和高是输出数据的一半,或与输出数据相同;增强后的视频以逐帧形式进行输出; 暗光视频增强算法模型包括编解码器主体结构、特征提取重建模块、时序-通道注意力模块; 当预处理后的暗光视频数据输入算法模型后,首先经过编码器部分进行特征的初步提取;编码器部分包括四个层级,每个层级的构成相同,均是由用于特征提取的卷积操作、跳跃连接卷积操作、降采样卷积操作以及激活函数构成;各层级的编码器部分计算得到的特征张量有两个传递方向,一是经过降采样后传递至下一层级的编码器,作为其输入数据,二是传入特征提取重建模块当中,由特征提取重建模块进行下一步的特征处理过程;对于该部分,参数字典包括各个卷积操作中的参数; 经过初步特征提取后,各个层级特征被传入同层级的特征提取重建模块之中;特征提取重建模块包括特征嵌入模块、连续3DSwin-Transformer块、特征重建模块,其中,特征嵌入模块用于分割来自编码器部分的特征图,特征图压缩转化为特征序列,使得特征序列中包含全局的时空信息;连续3DSwin-Transformer块用于进一步处理具有全局时空信息的特征序列,由于3DSwin-Transformer块的结构特性,该过程不会引入过多的额外计算量;特征重建模块用于参考编码器特征,重建特征序列至指定大小的特征图,该特征图被进一步送至时序-通道注意力模块当中进行处理; 时序-通道注意力模块的输入数据包括两部分:来自特征提取重建模块的重建特征和来自解码器某层级的解码特征;其中,时序-通道注意力模块首先将重建特征和解码特征在空间维度进行全局平均池化操作,产生维度等于通道数的向量𝐺𝐴𝑃1𝐹𝑅和向量𝐺𝐴𝑃1𝐹𝐷;随后,对两个向量相加取平均,再进行线性映射并通过ReLU引入非线性Sigmoid构建注意力,得到注意力𝑀𝑎𝑠𝑘1;然后,对重建特征和解码特征在时间维度进行全局平均池化,产生维度等于帧数的向量𝐺𝐴𝑃2𝐹𝑅以及向量𝐺𝐴𝑃2𝐹𝐷;随后,同样对两向量相加取平均,再进行线性映射并通过Sigmoid引入非线性,得到注意力𝑀𝑎𝑠𝑘2;最后,对重建特征施加𝑀𝑎𝑠𝑘1及𝑀𝑎𝑠𝑘2注意力,使其在通道维度和时间维度得到不同通道、时间序列的重要性,得到时空互补特征; 解码器部分从整体结构上与编码器部分保持一致,都由四个不同层级的卷积操作和激活函数组成;不同之处在于,解码器部分是采用上采样增大空间分辨率,并且使用来自上一层级的解码特征和来自同一层级的自时序-通道注意力模块的拼接特征作为输入数据; 在经过四个层级的特征重建后,解码器部分输出特定维度的特征图至一层像素混洗层,该层使得特征的通道维度数据以可学习的方式减少至原来的四分之一,并重组至空间维度,实现通道数的缩减和空间维度的扩增;最终,该层输出的数据即为增强后的视频数据; 持续遍历训练数据集当中的成对数据,并重复执行上述步骤,直到达到预设的终止条件; 在使用阶段,根据在训练阶段的模型结构与模型参数,构建暗光视频增强模型,将待处理的暗光视频经过数据预处理后作为输入数据送入模型当中进行暗光增强,最后,将模型输出的增强视频数据进行存储; 若已有可参考的真实正常光下视频,通过评估方法衡量增强视频与正常光下真实视频的差异度,从而实现客观、定量地评估增强视频的质量,判断暗光视频增强模型的效果优劣。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京理工大学,其通讯地址为:100081 北京市海淀区中关村南大街5号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励