买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉复旦大学申请的专利基于感知语法知识的视频描述生成方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115410120B 。

龙图腾网通过国家知识产权局官网在2026-04-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210970842.4，技术领域涉及：G06V20/40；该发明授权基于感知语法知识的视频描述生成方法是由张玥杰;郑逸;景和明设计研发完成，并于2022-08-13向国家知识产权局提交的专利申请。

本基于感知语法知识的视频描述生成方法在说明书摘要公布了：本发明属于计算机视觉技术领域，具体为一种基于感知语法知识的树结构视频描述生成方法。本发明显式利用语言中存在的语义信息，使用依存结构分析工具将顺序结构的句子转换成语法树的结构，通过树之间父结点和子结点之间的连接关系，对句子当中的依存语法结构进行显式建模；通过感知上下文的注意力网络，对生成过程中所产生的不同路径上下文信息分别进行建模；同时，在训练阶段引入强化学习和迭代式生成的训练方式，进一步提高模型性能；本发明通过定性和定量实验,表明模型具有可生成更加准确、语义更加丰富描述的能力。

本发明授权基于感知语法知识的视频描述生成方法在权利要求书中公布了：1.一种基于感知语法知识的视频描述生成方法，其特征在于，显式利用语言中存在的语义信息，使用依存结构分析工具将顺序结构的句子转换成语法树的结构，通过树之间父结点和子结点之间的连接关系，对句子当中的依存语法结构进行显式建模；通过感知上下文的注意力网络，对生成过程中所产生的不同路径上下文信息分别进行建模；同时，在训练阶段引入强化学习和迭代式生成的训练方式，进一步提高模型性能；具体步骤为： 步骤1、视频特征提取：对视频进行编码，针对每个视频的视频帧，分别采用深度学习二维卷积模型和三维卷积模型进行编码，分别产出二维卷积特征和三维卷积特征； 步骤2、树结构表示提取：对句子中含有的语法结构信息进行提取，针对每个句子采用现有的解析工具nltktoolkit对语法知识进行显式建模； 步骤3、拓扑结构预测：在步骤1、2提取视频特征和树结构信息后，采用注意力机制，利用两种不同的上下文信息进行拓扑结构预测，两种不同的上下文路径分别为兄弟结点路径和父结点路径； 步骤4、语句生成：显式收集和使用在生成过程中的历史信息，利用注意力机制从两种不同的上下文信息中进行信息融合，并解码生成视频描述； 步骤3所述拓扑结构预测，具体过程为： 1依存树连接信息的具体建模： 给定一个依存树，其包含的连接信息建模表示为Γ＝{θ,σ,π}，其中，θ表示结点的集合，σ表示边的集合，π表示词表；在模型Γ＝{θ,σ,π}中，结点集合θ表示句子中的单词，边集合σ表示每个结点的状态信息，词表π是根据数据所构建的包含所有单词的词表；对于每个结点i∈π及其对应的父结点pi以及兄弟结点si，分别构建其信息更新的路径，其数据处理表示为： 其中，GRUw和GRUd分别表示在兄弟结点路径上和父结点路径上的依存树结构网络；Iw和Id分别表示兄弟结点和父结点传递过来的输入信息；和分别表示当前结点从兄弟结点和父结点那里得到的隐藏层信息；其中，两条路径的更新在模型当中并不同时进行，在父结点路径上的信息计算需要依赖兄弟结点路径上的结果，即父结点的信息处理过程要更加重要；父结点路径上的结果不仅包含结点i的父结点信息，也包括其兄弟结点信息；此外，由于在树结构表示阶段根据单词的相对位置关系将孩子结点显式区分为左孩子结点和右孩子结点，因此父结点更新网络也划分为GRUdl和GRUdr，分别用于处理左孩子结点和右孩子结点的信息； 对于停止树的生成采用特别的方式，即对模型的拓扑信息进行显式预测，具体使用树结构网络的结果来生成结点的状态信息： 其中，wtopo表示模型中可学习的参数；pt∈[0,7]表示结点的状态信息，其标志着当前结点有无兄弟结点、左孩子结点和右孩子结点，其中n表示分类的类别数，i表示第几类；一旦模型预测到的拓扑结构信息标志此结点没有兄弟结点、左孩子结点或右孩子结点需要生成，模型即停止对应路径上的信息传递；当所有结点都完成信息更新且没有新结点需要处理的情况下，则认为该依存树的生成完毕。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人复旦大学，其通讯地址为：200433 上海市杨浦区邯郸路220号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。