买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京泰尔英福科技有限公司;同济大学申请的专利基于网状流水线的神经网络分布式训练方法、系统及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121212199B 。

龙图腾网通过国家知识产权局官网在2026-04-07发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511769941.6，技术领域涉及：G06N3/04；该发明授权基于网状流水线的神经网络分布式训练方法、系统及装置是由曾西平;张发振;胡键伟;龚炜;唐忠桓设计研发完成，并于2025-11-28向国家知识产权局提交的专利申请。

本基于网状流水线的神经网络分布式训练方法、系统及装置在说明书摘要公布了：本发明涉及神经网络模型训练技术领域，提供一种基于网状流水线的神经网络分布式训练方法、系统及装置。包括以下步骤：对待训练的神经网络模型和训练设备进行初始化设置，得到初始化结果；根据所述初始化结果，进行网状流水线训练，更新ZeRO1参数，判断当前步是否达到停止步数，若达到，则输出训练完成的神经网络参数。本发明通过一个设计精巧的三阶段流程，成功地将应对网络瓶颈的“通信隐藏”调度和应对设备异构的“网状”通信拓扑无缝结合，最终实现了一个既能充分利用所有硬件资源，又能高效运行在复杂网络环境下的高级分布式训练框架。

本发明授权基于网状流水线的神经网络分布式训练方法、系统及装置在权利要求书中公布了：1.一种基于网状流水线的神经网络分布式训练方法，其特征在于，包括以下步骤： S1：对待训练的神经网络模型和训练设备进行初始化设置，得到初始化结果；步骤S1包括： S11：为每个训练设备配置好所负责的神经网络模型的层数编号、微批量的大小及数量、阶段编号； S12：计算起步步数、交叠步数、冷却步数，其中，起步步数=阶段编号2，交叠步数=微批量大小-阶段编号2，冷却步数=阶段编号2； S13：创建计算流0、计算流1、计算流2； S2：根据所述初始化结果，进行网状流水线训练，包括以下步骤： S21：设置当前步为-1； S22：判断当前步是否小于起步步数，若小于起步步数，使用前向推理执行起步流程，执行步骤S25；若不小于起步步数，执行步骤S23；所述前向推理流程为： S101：判断阶段是否是第一次发送向前数据，如果是执行步骤S102；如果不是执行步骤S104； S102：使用利用Symbolic变量标记了批量维度的PyTorchFaketensor进行前向推理，得到元数据； S103：将元数据发给下一个阶段的所有设备； S104：在所有激活值张量的批量维度上，根据下一个阶段的微批量大小切分激活值张量；将切分好的激活值张量分别发送给下一个阶段的所有设备； S23：判断当前步是否等于起步步数，若等于起步步数，使用前向推理和反向传播执行过渡流程，执行步骤S25；若不等于起步步数，执行步骤S24；所述反向传播流程为： S1001：判断阶段是否是第一次发送反向数据，如果是则执行步骤S1002，如果不是则执行步骤S1004； S1002：对每个本阶段的输入参数，记录输入参数是否累积输入参数的元数据； S1003：将元数据发给上一个阶段的所有设备； S1004：在所有梯度张量的批量维度上，根据上一个阶段的微批量大小切分梯度张量；将切分好的梯度张量分别发送给上一个阶段的所有设备； S24：判断当前步是否小于起步步数和交叠步数之和，若小于则使用前向推理和反向传播执行交叠流程，执行步骤S25；若不小于则使用反向传播执行冷却流程，执行步骤S25； S25：判断当前步是否大于总步数加1，若大于则执行步骤S3；若不大于执行步骤S22； S3：更新ZeRO1参数，判断当前步是否达到停止步数，若未达到则返回步骤S22；若达到，则输出训练完成的神经网络参数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京泰尔英福科技有限公司;同济大学，其通讯地址为：101300 北京市顺义区中关村科技园区顺义园机场东路8号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。