复旦大学周昊获国家专利权
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
龙图腾网获悉复旦大学申请的专利Transformer编译器中的非线性函数量化方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116126337B 。
龙图腾网通过国家知识产权局官网在2026-04-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211599032.9，技术领域涉及：G06F8/41；该发明授权Transformer编译器中的非线性函数量化方法是由周昊;王堃设计研发完成，并于2022-12-12向国家知识产权局提交的专利申请。
本Transformer编译器中的非线性函数量化方法在说明书摘要公布了：本发明公开了一种Transformer编译器中的非线性函数量化方法。本发明采用量化的方法对transformer的及其衍生模型进行量化压缩，通过量化感知训练QAT的方法得到量化权重和量化参数。在量化过程中，使用分段线性近似的方法计算非线性函数。在分段边界的确定上，同样采用QAT的方法，将非线性函数的线性近似函数表示为可微分的函数，使其参与到QAT的反向传播中，从而得到最优的分段边界组合。本发明可以应用在BERT模型的多平台部署上，尤其适用于FPGA这种适用于规则计算的部署平台。在量化过程中使用本发明的方法，可以提高硬件效率并最大程度保留精度。
本发明授权Transformer编译器中的非线性函数量化方法在权利要求书中公布了：1.一种面向FPGA的Transformer编译器中的非线性函数量化方法，其特征在于，包括以下步骤： 1部署BERT的预训练模型在FPGA平台上，根据微调对应的任务的不同，将不同的分类器层与预训练模型连接起来，并初始化分类器的参数； 2量化模型：将模型的权重，偏置以及激活量化，具体步骤为：根据参数值计算不同量化系数下，量化参数与原始参数之间的均方误差，取均方误差最小处的量化系数，得到对应的量化参数； 3前向传播：代入微调任务对应的样本输入，以及上一步得到的量化参数，计算最终结果和样本标签之间的交叉熵，作为损失函数；模型中涉及的非线性函数用线性近似代替； 4反向传播：计算损失函数与模型参数之间的梯度，使用梯度下降的方法计算新的参数；对于非线性函数，使用可微分的线性近似函数，计算损失函数对于分割边界以及输入参数的梯度，根据梯度寻找最优的分割边界； 5经历有限次数的迭代后，得到收敛的量化模型参数以及对应的非线性分割边界。
如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人复旦大学，其通讯地址为：200433 上海市杨浦区邯郸路220号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号
请提出您的宝贵建议，有机会获取IP积分或其他奖励