买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉安徽大学申请的专利联合知识蒸馏与核相似性的CNN结构化稀疏方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118364871B 。

龙图腾网通过国家知识产权局官网在2026-04-24发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410354849.2，技术领域涉及：G06N3/0464；该发明授权联合知识蒸馏与核相似性的CNN结构化稀疏方法及系统是由刘玉;楼扬;杜佳璐;杨睿;戴成虎;李鑫;蔺智挺;吴秀龙;彭春雨;卢文娟设计研发完成，并于2024-03-27向国家知识产权局提交的专利申请。

本联合知识蒸馏与核相似性的CNN结构化稀疏方法及系统在说明书摘要公布了：本发明涉及神经网络技术领域，更具体的，涉及联合知识蒸馏与核相似性的CNN结构化稀疏方法及系统。本发明包括：获取样本数据集，并划分成训练集和测试集；使用样本数据集对原始CNN模型进行预训练，得到预训练后的CNN模型；基于预训练后的CNN模型，使用训练集进行多轮正式训练，直至模型的稀疏度和在测试集上的准确度达到最优平衡，即得到最终的轻量模型。本发明引入了知识蒸馏、并在其基础上对教师模型和学生模型进行了不同程度的稀疏化处理，而且稀疏化的损失函数增加了核相似性构建的函数项，可以在获得足够稀疏度模型的同时更好的保持住原有模型的准确度性能。本发明解决了现有的SSL法存在模型准确度与稀疏度不平衡的问题。

本发明授权联合知识蒸馏与核相似性的CNN结构化稀疏方法及系统在权利要求书中公布了：1.一种联合知识蒸馏与核相似性的CNN结构化稀疏方法，其特征在于，包括以下步骤： 步骤一，获取样本数据集，并划分成训练集和测试集；所述样本数据集为CIFAR-10、CIFAR-100、ImageNet中任一种； 步骤二，使用样本数据集对原始CNN模型进行预训练，得到预训练后的CNN模型； 步骤三，基于预训练后的CNN模型，使用训练集进行多轮正式训练，直至模型的稀疏度和在测试集上的准确度达到最优平衡，即得到最终的轻量模型； 其中，第n轮正式训练包括： 先使用训练集对第n-1轮稀疏后的教师模型进行第n次弱结构化稀疏，得到第n轮稀疏后的教师模型； 再将第n轮稀疏后的教师模型置于教师位、将第n-1轮蒸馏后的学生模型置于学生位，使用训练集进行第n次叠加标准结构化稀疏的知识蒸馏，得到第n轮蒸馏后的学生模型； 计算第n轮蒸馏后的学生模型的稀疏度，并使用测试集验证第n轮蒸馏后的学生模型的准确度； n≥1；且n=1时，将预训练后的CNN模型作为第0轮稀疏后的教师模型和第0轮蒸馏后的学生模型； 其中，弱结构化稀疏、标准结构化稀疏的强度均基于GroupLasso损失和核相似性损失共同作用于模型；弱结构化稀疏的强度小于标准结构化稀疏的强度； 第n次弱结构化稀疏的损失函数为： ； 式中，Ls表示标准结构化稀疏的损失函数；α表示强度调整系数，α＜1；Pn-1表示第n-1轮稀疏后的教师模型； 第n次叠加标准结构化稀疏的知识蒸馏的损失函数为： ； 式中，Pn表示第n轮稀疏后的教师模型，Qn-1表示第n-1轮蒸馏后的学生模型；Ls表示标准结构化稀疏的损失函数；表示Pn和Qn-1的Kullback-Leibler散度；x表示模型的输入特征； 标准结构化稀疏的损失函数Ls为： ； 式中，W表示权重集合，LDW表示在训练集上的交叉熵损失，R.表示权重的非结构化正则项，Rg.表示结构化的正则项，k、kg表示惩罚项系数；SkW表示核相似性损失；kg表示权重中结构化正则项的系数，表示GroupLasso损失，表示第l层的第nl个卷积核；Nl表示第l层卷积核总数；L表示总层数；k表示权重中非结构化正则项的系数，Cl表示第l层卷积的通道总数；H表示卷积核长宽；cosine.表示余弦相似性函数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人安徽大学，其通讯地址为：230601 安徽省合肥市经济技术开发区九龙路111号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。