-
公开(公告)号：CN118942017A
公开(公告)日：2024-11-12
申请号：CN202411418791.X
申请日：2024-10-12
IPC分类号： G06V20/40 , G06V10/74 , G06V10/82 , G06N3/0464 , G06N3/096 , G06N3/0442
摘要： 本发明属于多媒体检索技术领域，提供了面向实时任务的视频片段定位方法、系统、介质及设备，其技术方案为：获取视频和查询语句后，通过图像特征处理模型和自然语言特征处理模型来得出对应特征表示；通过跨模态动态哈希编码，将视频和查询语句两种不同模态的特征表示映射到同一汉明空间，而且动态哈希能够根据数据输入调整哈希编码；利用知识蒸馏技术从大参数量、高性能的教师模型中提取知识，并迁移至小参数量、低复杂度的学生模型中，从而构建轻量化的视频片段定位模型。本发明通过将动态哈希编码技术和蒸馏学习技术融合来构建轻量级模型，实现了高效捕捉视频内容的深层语义，同时确保实时任务的快速响应和准确性，解决了视频片段定位的困难。
-
公开(公告)号：CN118918516A
公开(公告)日：2024-11-08
申请号：CN202411396801.4
申请日：2024-10-09
申请人： 山东大学 , 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 浙江大华技术股份有限公司 , 山东师范大学
摘要： 本发明属于目标视频片段定位技术领域，提供了一种基于语义对齐的目标视频片段定位方法、系统及产品，其技术方案为基于不同层次上的视频和文本两种模态的语义特征，通过计算对齐分布概率获得全局对齐损失函数和局部语义对齐损失函数；根据全局对齐损失函数和局部语义对齐损失函数，对齐视频和文本两种模态的语义特征；推测缺失的模态语义特征，并补全缺失的模态语义特征对应的真实语义特征，得到视频和文本两种模态完整的语义特征；根据视频和文本两种模态完整的语义特征替换输入的视觉与文本特征，对目标视频片段定位。本发明能进行有效的跨模态语义对齐建模，从而克服了多模态信息缺失与语义信息模糊的问题，实现目标视频片段的准确检索。
-
公开(公告)号：CN118898255A
公开(公告)日：2024-11-05
申请号：CN202411388055.4
申请日：2024-10-08
申请人： 山东大学 , 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 浙江大华技术股份有限公司 , 山东师范大学
IPC分类号： G06F40/30 , G06F40/284 , G06F40/226 , G06N3/042 , G06N3/0464 , G06N3/08 , G06V20/40 , G06V10/80
摘要： 本发明属于多模态联合建模的对话意图处理技术领域。提供了一种基于视觉文本联合建模的共指消解、词义消歧方法及系统，基于文本增强特征和视频增强特征，使用跨注意力特征网络进行特征调整，得到调整后特征，使用分布相似度度量对调整后特征进行协调，对协调后的特征进行共指消解预测，得到输入文本对应的共指消解结果；本发明通过跨模态注意力机制，将文本特征和视觉特征融合，生成准确的联合表示，捕捉文本与视频内容之间的深层语义关系，从而构建了高效的词义消歧模型，克服了现有方法面对用户复杂多变的自然语言查询语句时消歧表现不佳的问题。
-
公开(公告)号：CN118918521A
公开(公告)日：2024-11-08
申请号：CN202411413830.7
申请日：2024-10-11
申请人： 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 山东大学 , 浙江大华技术股份有限公司 , 哈尔滨工业大学(威海)
IPC分类号： G06V20/40 , G06V10/75 , G06V10/80 , G06V10/46 , G06V10/82 , G06V10/74 , G06N3/0464 , G06N3/042
摘要： 本发明属于目标视频片段定位领域，提供了一种基于多机协同的目标视频片段定位方法及系统，方法包括获取时间同步的多视角的单帧图像；进行各图像的特征匹配，依据特征匹配关系建立不同视角图像之间的对应关系；基于建立的对应关系，进行多视角图像的融合，得到完备的全景视频特征；响应于查询文本，基于全景视频特征，进行目标视频片段定位。本发明通过特征匹配建立不同视角之间的对应关系，利用视角融合剔除重复冗余信息，生成完整的全景视图，实现不同视角的互补，基于视角融合后的视频实现目标视频片段的高效定位；克服了现有技术中多视角视频匹配难、融合差的缺陷。
-
公开(公告)号：CN118939682A
公开(公告)日：2024-11-12
申请号：CN202411425826.2
申请日：2024-10-14
IPC分类号： G06F16/2452 , G06F16/242 , G06N5/022
摘要： 本发明提供了一种基于知识引导的层级查询语句意图理解方法及系统，涉及自然语言处理技术领域，所述方法包括，获取查询语句，将查询语句转换为不同层级的语义嵌入向量；将外部知识图谱转化为知识嵌入矩阵，检索知识嵌入矩阵中与各层级的语义嵌入向量最相关的知识嵌入向量，将检索到的知识嵌入向量与对应的语义嵌入向量融合，得到各层级融合后的语义嵌入向量；根据各层级融合后的语义嵌入向量获取权重矩阵，计算权重重分配后的语义嵌入向量；基于注意力机制融合权重重分配后的语义嵌入向量与文本嵌入向量，得到查询语句的精确表征，确定查询语句的意图。本发明能够提高查询语句的理解与表征精准度。
-
公开(公告)号：CN118898797A
公开(公告)日：2024-11-05
申请号：CN202411404288.9
申请日：2024-10-10
IPC分类号： G06V20/40 , G06V10/774 , G06V10/24 , G06V10/80
摘要： 本发明属于视频行为片段检索技术领域。提供了一种基于常识增强的视频行为片段候选集生成方法及系统，获取查询语句和待检索视频的语义特征表示；通过跨模态交互模块对视觉特征语义表示和文本特征语义表示进行交互，融合多模态信息；预测每个视频单元被保留的概率，并依据概率保留高信息有效性的视频单元；通过视觉适配层将保留的视频帧的特征映射到图文预训练大模型的输入空间；通过插入适配层对图文预训练大模型进行微调，并构造指令指示模型完成视频行为片段候选集生成任务。本发明引入图文预训练大模型以利用其中丰富的外部知识提高对视觉内容的理解，同时兼顾了视频行为片段候选集的生成速度和精度。
-
公开(公告)号：CN118916518A
公开(公告)日：2024-11-08
申请号：CN202411411688.2
申请日：2024-10-11
IPC分类号： G06F16/738 , G06F16/735 , G06N5/022 , G06F16/783
摘要： 本发明属于数据处理技术领域。提供了一种基于知识增强的视频片段摘要生成方法及系统，抽取视频片段的多个视频帧的信息，得到向量表征集合、物体名称集合、视觉表征集合以及文本表征集合，进一步的得到以物体间常识关系为边的第一常识图、以物体间场景关系为边的第二常识图、以物体间时空关系为边的第三常识图；将第一常识图、第二常识图和第三常识图整合后采用图注意力网络，得到所有物体的表征，将所有物体的表征与向量表征集合拼接成为视频表征，以所述视频表征与提示词文本作为大语言模型的输入，得到视频片段的摘要文本描述；本发明通过融合常识知识、场景知识和时空知识，提升了视频摘要生成的准确性和全面性。
-
公开(公告)号：CN118897904A
公开(公告)日：2024-11-05
申请号：CN202411388060.5
申请日：2024-10-08
申请人： 山东大学 , 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) , 浙江大华技术股份有限公司 , 哈尔滨工业大学(威海)
IPC分类号： G06F16/732 , G06F16/75 , G06F40/30
摘要： 本发明属于自然语言处理领域，提供了一种查询语句语义树生成编码方法及系统，获取给定的查询语句，根据查询语句的完备性，对其进行分类；对于其中的不完备的查询语句，利用过程补全大语言模型进行基于思维链引导的查询过程的补全；基于完备的查询语句或补全后的查询语句，通过成分分析树提取相邻词语之间的深入语义关联，通过依存语法树提取非相邻词语的长距离关联，融合依存语法树和成分分析树，形成最终的语义树。本发明对查询语句进行完备性分类，随后利用大型语言模型自动推断和完善查询语句，从而生成能够准确反映动作中间过程的语义树，实现关键语义内容的补充，可以支持在开放场景视频中进行精准的动作检索和定位。
-
公开(公告)号：CN118897905A
公开(公告)日：2024-11-05
申请号：CN202411388560.9
申请日：2024-10-08
IPC分类号： G06F16/735 , G06F16/783 , G06F16/738 , G06N3/0455 , G06N3/08
摘要： 本发明属于视频检索技术领域，提供了一种基于细粒度时空关联建模的视频片段定位方法及系统，其技术方案为：获取视频片段，利用时空查询表示，隐式挖掘视频片段中潜在所有物体信息；随后，基于时空表示多维交互模块，充分建模物体间时空关联关系；之后，通过有机融合局部和全局表示，全面提升视频片段的表示能力；最后，依据视频片段表示与用户查询表示相似性分数确定目标视频片段。本发明克服了现有技术中依赖离线物体检测工具进行物体时空信息提取、物体细粒度交互信息建模不充分等导致视频理解不佳的问题。
-
公开(公告)号：CN113106147B
公开(公告)日：2022-08-02
申请号：CN202110349967.0
申请日：2021-03-31
申请人： 山东师范大学
IPC分类号： C12Q1/6823 , C12Q1/37 , C12N15/11
摘要： 本申请提供一种外切酶III驱动的三维DNA纳米机器及其应用，所述三维DNA纳米机器，包括信号探针@纳米金结构和检测探针，信号探针中包含信号探针序列和荧光分子，检测探针中包含半胱天冬酶的识别位点和DNA触发链，DNA触发链与信号探针序列互补；检测探针在半胱天冬酶存在下裂解释放出包含DNA触发链的结构，该结构中的DNA触发链与信号探针杂交形成双链DNA，双链DNA可被外切酶III识别并消化，释放出信号探针中的荧光分子，DNA触发链随即恢复单链并继续与其他信号探针杂交，从而实现荧光分子的循环释放。本发明可实现对多种半胱天冬酶活性的的同时检测，且检测灵敏度高，而且还可用于对半胱天冬酶抑制剂的筛选。
-
-
-
-
-
-
-
-
-
搜索结果
62 条记录 (耗时 0.121 秒)
