买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国人民解放军军事科学院军事科学信息研究中心申请的专利一种基于细粒度交互的多模态检索方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120910283B 。

龙图腾网通过国家知识产权局官网在2026-04-07发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511020155.6，技术领域涉及：G06F16/43；该发明授权一种基于细粒度交互的多模态检索方法及系统是由胡明昊;刘春鸣;段彤彤;易子博;罗准辰;耿国桐;白晓颖;罗威设计研发完成，并于2025-07-23向国家知识产权局提交的专利申请。

本一种基于细粒度交互的多模态检索方法及系统在说明书摘要公布了：本申请提供了一种基于细粒度交互的多模态检索方法及系统，该方法包括：通过将文档每一页转换为图像并附加文本摘要，保持了图像和文本的上下文关系，使得文本和图像内容整合在同一个框架下，保证信息在转换过程中的完整性和一致性。解析页面图像，生成每个区域的多维度嵌入，确保每个区域的信息都能被准确提取和处理。通过对每个区域进行细粒度嵌入生成，能够精确地理解图像中不同部分所包含的语义信息，并将其与文本信息进行结合，确保信息的高效匹配。通过多维度嵌入和细粒度交互对齐，将图像和文本的特征映射到同一个隐空间中，从而捕捉到了更细粒度的相关性。该方法能够深入挖掘图像和文本之间的深层联系，提升信息检索和生成的精度和效率。

本发明授权一种基于细粒度交互的多模态检索方法及系统在权利要求书中公布了：1.一种基于细粒度交互的多模态检索方法，包括： 将待查询文档的每个页面转换为图像，利用页面嵌入模型生成每个图像的页面嵌入和对应的文本摘要；将图像解析成多个逻辑区域，利用多模态模型生成每个逻辑区域的多维度文本和图像嵌入； 利用多模态模型从图像中提取高维特征，生成图像的多维度嵌入；使用词嵌入或句子嵌入技术将用户查询文本转换为文本的多维度嵌入；将图像和文本的多维度嵌入分解为多个图像令牌和文本令牌；计算每对图像令牌和文本令牌嵌入间的关联分数，形成交互矩阵，交互矩阵中每个元素对应一个令牌对的相似度；利用对齐网络将图像令牌和文本令牌映射到同一个隐空间中；通过训练对齐网络，优化映射函数，使得图像和文本的特征在隐空间中尽可能接近； 计算用户查询文本的文本嵌入与页面嵌入的相似度，结合页面文本摘要的语义过滤，筛选出前N个最可能包含检索结果的页面图像做为候选页面，从而缩小后续检索的范围； 基于所述候选页面的逻辑区域和对齐网络中的多维度嵌入，计算用户查询文本与各逻辑区域的多维度嵌入的相似度，结合逻辑区域的类型特征进一步筛选出候选页面内的关键区域，通过跨模态融合分析返回与用户查询文本最相关的局部内容集合。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国人民解放军军事科学院军事科学信息研究中心，其通讯地址为：100142 北京市海淀区阜成路26号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。