南京大学武港山获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉南京大学申请的专利一种基于峰值挖掘和过滤的弱监督实例分割方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN115393580B 。
龙图腾网通过国家知识产权局官网在2026-04-21发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202110565129.7,技术领域涉及:G06V10/26;该发明授权一种基于峰值挖掘和过滤的弱监督实例分割方法是由武港山;潘冬生;黄祖贤;王利民设计研发完成,并于2021-05-24向国家知识产权局提交的专利申请。
本一种基于峰值挖掘和过滤的弱监督实例分割方法在说明书摘要公布了:一种基于峰值挖掘和过滤的弱监督实例分割方法,包括以下步骤:1处理样本阶段;2网络配置阶段;3训练阶段;4测试阶段。本发明设计的基于峰值挖掘和过滤策略引入特征融合、对抗擦除、聚类分析以增强峰值响应图的多样性和完整性,并通过迭代检索和置信度更新以检索更精确的分割掩膜。相比现有的弱监督实例分割方法,本发明的分割算法能够对图像中不同尺寸的物体实现更完整、准确的分割,从而有效地提升实例分割的精度。
本发明授权一种基于峰值挖掘和过滤的弱监督实例分割方法在权利要求书中公布了:1.一种基于峰值挖掘和过滤的弱监督实例分割方法,其特征是构建图像分类网络和实例分割网络,以图像级类别标签作为监督进行训练,先训练图像分类网络,再由图像分类网络得到实例分割网络的训练数据进行监督训练,进而完成实例分割, 图像分类网络包括以下配置: 1特征融合,使用移除最后全连接层的Resnet50作为主干网络进行图像特征提取,Resnet50由包含1层卷积的layer0、包含9层卷积的layer1、包含12层卷积的layer2、包含18层卷积的layer3、包含9层卷积的layer4,融合来自layer3和layer4的特征,采用卷积核尺寸为1*1步长为1的卷积层激活来自layer3的特征图,使得通道数由1024变成2048,采用双线性插值将layer4输出的特征图进行上采样,随后将二者相加得到最终的特征图; 2对抗擦除,对特征图进行降维并转化成类别激活图,针对真值类别对应的类别激活图中显著区域,在特征图上进行擦除并采用特征均值进行填充,再利用卷积层对填充后的特征图重新进行类别激活以拓展语义响应区域,具体为:对于每张输入样本,在相同的类别标注监督下,采用两个不同参数的分类器结构进行图像识别,对于特征融合后得到的特征图,擦除前分支记为,采用一个卷积核尺寸为1*1步长为1的卷积层进行激活,特征图的通道数由2048转化为语义类别数量C,的输出称为类别激活图记为,将语义类别转化为数字标注,对于N个前景类别,采用1*N的向量进行表示,图像存在该类别则对应索引位置值为1,反之值为0,监督训练时根据图像真值类别选取上对应通道数层,并生成前景显著图记为,首先对第i层类别激活图进行归一化,将图中每个位置的元素除以图中最大元素与最小元素之差,随后选取0.6的阈值进行过滤,得到对应类别的显著图,训练时将同一图像中不同真值类别对应的显著图进行合并,得到全图的前景显著图,随后根据前景显著图擦除特征图上对应区域,得到擦除后的特征图记为,对于仅保留中值为0的区域,而中值为1的区域,采用中对应上值为0的区域的均值进行填充,经过擦除后的分支记为,进行激活得到类别激活图记为,将的通道数由2048转化为语义类别数量C,擦除前后分支网络结构相同但并不共享参数,且网络参数均采用随机初始化; 3峰值激活,采用峰值对图像中的物体进行定位和分类,生成表征独立物体的局部显著峰值,某一语义类别的类别激活图上局部最显著的峰值表示该位置存在一个该类别的物体,通过局部最大池化得到局部峰值并以语义标注信息进行监督,采用Maxpooling层分别对2中擦除前后得到的类别激活图进行池化操作,得到来自擦除前后分支激活的峰值列表; 4过滤模块,针对1得到的特征图旁加一个与擦除前后分支及峰值激活层不同类型的分类器,独立判别物体的语义类别; 实例分割网络包含图像分类网络,在图像分类网络的基础上,对擦除前后的分支响应进行聚类分析和迭代检索,再结合过滤模块过滤掉不符合置信度要求的分割掩膜,得到实例分割结果,具体为:由训练集训练图像分类网络后,在图像分类网络上,对待进行实例分割的包含无类别候选分割掩膜集合的测试图像,利用网络梯度计算概率依赖,得到峰值在原图上的响应即峰值响应图,具体为:根据类别激活图上峰值的类别和位置计算其在输入图像上的响应区域,对于每一个峰值计算其在网络中的梯度,以计算层与层之间的概率依赖,逐步由类别激活图反向传播至输入原图对应的响应区域,成为峰值激活图,对于采用峰值激活训练收敛的分类网络模型,计算过程如下: , 其中图像分类网络中的卷积层输入输出对应为U和V,i,j和p,q表示输入、输出特征图平面上的位置,P为每个位置的概率,和表示卷积核的高和宽,表示卷积层由pq位置的输出得到ij位置的输入的概率,具体计算过程如下: , 其中表示网络前向传播输入U在位置ij的激活,表示利用ReLU激活函数对卷积核参数保留非负值即仅计算正向激活,用于保证的正则化因子;在具体计算峰值响应图时,将网络中的卷积层全部替换成上述的计算过程; 基于峰值的深度特征进行聚类分析,合并来自同一物体的不同峰值响应图,聚类后生成的峰值响应图列表记为,在进行实例分割时,利用峰值响应图迭代地检索原图对应的无类别候选分割掩膜集合,并选取最佳匹配项作为该物体的分割掩膜,同时结合过滤模块得到的物体的类别信息和形状信息更新置信度,以过滤低质量分割掩膜,具体为: 利用峰值响应图从MCG算法生成的无类别候选分割掩膜集合中检索匹配最佳项作为对应物体的分割掩膜,匹配程度的计算方式如下: , 其中,表示峰值响应图与无类别候选分割掩膜之间的匹配程度,表示分割掩膜的边缘,表示峰值响应图类别对应的语义显著区域,对类别激活图某一通道平面进行归一化后以0.5的阈值进行过滤得到,为超参,值分别设置为0.73和1.9e-5; 迭代检索过程采用非极大值抑制算法,首先将分割掩膜集合根据匹配得分从大至小降序排列,不断选择当前分割掩膜列表中最大项对列表中剩余分割掩膜依据同类别且分割掩膜之间交并比的标准进行过滤,同时融合对应的峰值响应图得到新的峰值响应图列表,并与合并,接着利用检索候选分割掩膜集合,并采用NMS过滤分割掩膜且融合峰值响应图得到新的峰值响应图列表,最后利用检索候选分割掩膜集合,经过NMS进行过滤,最终得到的分割掩膜集合作为图像的实例分割结果; 得到的分割结果包括分割掩膜、类别以及将峰值响应图与分割掩膜之间的匹配得分,生成对应物体的类别置信度,以更新最终的分割置信度:利用分割掩膜裁剪输入原图,并经过图像分类网络配置的网络前向传播,同时通过过滤模块旁加的分类器输出最大概率值对应的类别,当与之前类别不一致时以当前输出类别作为修正,概率即为类别置信度,通过以下函数更新最终的分割置信度: , 其中是平衡系数,通过线性结合的方式有效地综合了物体的形状信息合类别信息,实验中值设置为0.45,采用阈值0.2进行过滤; 最后利用上述方法对训练图像分类网络的训练集图像进行实例分割,生成具备伪像素标注的数据集,用于完全监督实例分割算法的监督训练。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人南京大学,其通讯地址为:210023 江苏省南京市栖霞区仙林大道163号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励