买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉瀚博创芯科技(深圳)有限公司申请的专利AI多模型推理优化方法、推理设备、可读存储介质、产品获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115983323B 。

龙图腾网通过国家知识产权局官网在2026-04-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310109406.2，技术领域涉及：G06N3/04；该发明授权AI多模型推理优化方法、推理设备、可读存储介质、产品是由廖振生设计研发完成，并于2023-02-14向国家知识产权局提交的专利申请。

本AI多模型推理优化方法、推理设备、可读存储介质、产品在说明书摘要公布了：本发明属于AI芯片技术领域，具体涉及一种AI多模型推理优化方法、推理设备、可读存储介质、产品。本发明对于具有多个深度学习模型的AI业务流，能够根据SRAM容量和先验知识或建立的模型知识库对AI业务流中每个深度学习模型自动处理获得适宜固化到SRAM上的子模型，对于子模型对应的解空间循环运行AI业务流并自动进行网格搜索得到符合性能目标的模型组合，该模型组合中对应的子模型就是直接固化到SRAM上的模型，本发明在达到能够以较小的SRAM空间和较低的DDR传输带宽达到芯片最优吞吐量，降低芯片的功耗和成本的前提下，解决了现有只能单模型固化以及人工设置固化模型参数的技术问题。

本发明授权AI多模型推理优化方法、推理设备、可读存储介质、产品在权利要求书中公布了：1.一种AI多模型推理优化方法，其特征在于，步骤如下： S1，根据业务目标，确定AI业务流，并获得AI业务流中使用的各深度学习模型，深度学习模型的个数为Q，Q≥2； S2，将未优化的各深度学习模型加载到AI芯片上，获得AI芯片运行AI业务流后每个深度学习模型的运行时间占比和频次；每个深度学习模型的运行时间占比和频次是AI芯片使用业务数据进行AI业务流推理时AI芯片自带的profile工具获得的； S3，对运行时间短且频次少的深度学习模型进行初步剔除，得到初步剔除后的M个深度学习模型，M＜Q； 初步剔除的条件是：深度学习模型的运行时间t与总运行时间T的关系满足t≤cT，0＜c＜0.1，且深度学习模型的频次f≤D，D∈[0,3]； S4，从M个深度学习模型中筛选得到可固化到SRAM上的模型集合，模型集合中有N个可优化子模型，N＜M； S5，获取N个可优化子模型的解空间，所述的解空间是对N个可优化子模型的每一种优化组合使用业务数据在AI芯片运行得到的性能参数的汇总； S6，根据性能目标，对解空间进行网格搜索，符合性能目标的解对应的优化组合就是最终优化组合，最终优化组合中对应的可优化子模型固化在SRAM中。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人瀚博创芯科技(深圳)有限公司，其通讯地址为：518000 广东省深圳市南山区南头街道大汪山社区桃园路8号田厦国际中心A座2602；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。