-
公开(公告)号:CN118015385A
公开(公告)日:2024-05-10
申请号:CN202410413346.8
申请日:2024-04-08
申请人: 山东浪潮科学研究院有限公司
IPC分类号: G06V10/764 , G06V10/25 , G06V10/40 , G06V10/766 , G06V10/80 , G06V10/82 , G06N3/047 , G06N3/08
摘要: 本申请涉及计算机视觉技术领域,涉及一种基于多模态模型的长尾目标检测方法、装置和介质。所述方法包括:建立图像特征提取网络,将待测图像预处理后输入图像特征提取网络中获得图像特征#imgabs0#;建立类不可知目标检测网络,将图像特征#imgabs1#输入类不可知目标检测网络获得物体特征图#imgabs2#;根据长尾目标样本特征设计合适的提示词;建立多模态目标分析网络,将物体特征图#imgabs3#及提示词输入多模态目标分析网络得到物体类别。本发明通过创新的数据融合技术和针对长尾分布优化的损失函数,有效地整合了多源数据,提升了模型在长尾分布数据集上的检测性能。
-
公开(公告)号:CN117807958A
公开(公告)日:2024-04-02
申请号:CN202410108670.9
申请日:2024-01-26
申请人: 山东浪潮科学研究院有限公司
IPC分类号: G06F40/151 , G06F40/253 , G06N3/088
摘要: 本发明涉及人工智能技术领域,具体为一种基于大语言模型的无监督文本风格改写方法及系统,包括以下步骤:给定风格改写后的文本,利用大语言模型的提示工程,生成对应的改写前的文本,构建平行语料数据;利用构建好的数据对风格改写模型进行微调;有益效果为:本发明提出的基于大语言模型的无监督文本风格改写方法及系统,给定风格改写后的文本,利用大语言模型生成对应的改写前的文本,从而构建平行语料数据,然后提供给风格改写模型进行微调,使模型具备将文本改写成指定风格的能力,用户输入初版文本到模型中,最终返回给用户改写成指定风格后的文本。
-
公开(公告)号:CN117152833A
公开(公告)日:2023-12-01
申请号:CN202310995267.8
申请日:2023-08-09
申请人: 山东浪潮科学研究院有限公司
摘要: 本发明涉及人工智能技术领域,具体为一种基于多模态神经网络模型的自动化计数系统及方法,由人体位姿检测模块和状态判断模块构成;人体位姿检测模块,输入一张测试者图像,输出测试者的目标框位置信息及人体关键点位置信息;状态判断模块,输入为人体关键点位置及速度信息组成的向量及测试者的图像,输出为测试者当前的状态;有益效果为:本发明提出的基于多模态神经网络模型的自动化计数系统及方法,相比于传统人工计数方法本发明大大降低了人工成本,提高了检测效率及精度;相比于现有的关键点检测计数方法,本方法规避了人工阈值调试的不稳定性。
-
公开(公告)号:CN118626672B
公开(公告)日:2024-11-05
申请号:CN202411095068.2
申请日:2024-08-12
申请人: 山东浪潮科学研究院有限公司
IPC分类号: G06F16/732 , G06F16/738 , G06F16/783
-
公开(公告)号:CN118865402A
公开(公告)日:2024-10-29
申请号:CN202410182002.0
申请日:2024-02-19
申请人: 山东浪潮科学研究院有限公司
IPC分类号: G06V30/146 , G06V30/19
摘要: 本发明公开了卡证识别偏移矫正优化方法及系统,属于计算机视觉技术领域,本发明要解决的技术问题为如何在应用中对内容偏移进行准确矫正,获取更为精密和自适应的卡证识别结果,提高识别的准确性和效率,采用的技术方案为:该方法是通过模板匹配锚点信息定位输入数据中的锚点数据,通过模板匹配逆向变换,将匹配到的真实锚点坐标映射到模板上得到映射坐标,检测模板锚点坐标与映射坐标的偏移量,并最终根据偏移量矫正模板映射到真实图片上,实现对卡证内容的实时偏移量检测和矫正。该系统包括锚点筛选模块、标准坐标获取模块、匹配锚点获取模块、逆向映射模块、匹配模块、偏移向量获取模块、平均偏移向量获取模块、偏移矫正模块及匹配映射模块。
-
公开(公告)号:CN118626672A
公开(公告)日:2024-09-10
申请号:CN202411095068.2
申请日:2024-08-12
申请人: 山东浪潮科学研究院有限公司
IPC分类号: G06F16/732 , G06F16/738 , G06F16/783
摘要: 本发明提出一种基于多模态信息融合的视频检索方法及系统,属于人工智能设备技术领域,包括:获取视频并处理得到视频数据,视频数据包括视频摘要、音频、字幕、封面和关键帧;将视频数据进行向量化处理得到视频数据向量,并映射到同一高维向量数据库进行存库;获取用户查询,对用户查询进行分析获得用户意图,根据用户意图匹配最优的检索方案,并从向量数据库中检索得到目标视频;实现了视频关键信息的准确表征,提高了视频关键信息提取能力以及视频检索的精度。
-
公开(公告)号:CN118570868A
公开(公告)日:2024-08-30
申请号:CN202410604433.1
申请日:2024-05-15
申请人: 山东浪潮科学研究院有限公司
IPC分类号: G06V40/20 , G06V20/52 , G06V10/25 , G06V10/75 , G06V10/80 , G06V10/82 , G06F40/289 , G06F40/237
摘要: 本申请涉及计算机视觉领域,公开一种基于多模态大模型的零样本潜在风险行为检测方法、装置,包括创建包含多种潜在风险行为的图像数据集,并对图像中的人员进行精确框选及行为类别标签分配;构建行为描述词库;根据描述词和提示词工程,构建文本提示词;构建两阶段多模态识别框架,使用目标检测算法定位图像中的人员,通过多模态大模型对图文特征进行深层次理解并生成结果;使用多模态大模型,对每个个体进行特征分析,结合描述提示词生成策略,提取与潜在风险行为相关的关键特征;根据每个描述词与图像内容的匹配程度,生成行为描述向量;根据行为描述向量,判断图像中人员是否正在进行特定潜在风险行为。本公开提高了数据集的实用性和识别精度。
-
公开(公告)号:CN117688223A
公开(公告)日:2024-03-12
申请号:CN202311698937.6
申请日:2023-12-12
申请人: 山东浪潮科学研究院有限公司
IPC分类号: G06F16/9032 , G06F16/903 , G06F16/906
摘要: 本发明涉及大语言模型技术领域,具体为一种基于大语言模型的特定领域智能问答系统及方法,由问题分析器、问题分类模块、嵌入模块以及LLM模型组成;问题分析器,根据特定规则生成格式化的问题Qf;问题分类模块,使用在政府相关领域的标记问题上训练的分类模型来识别问题类型T;嵌入模块,获取候选答案;LLM模型,得出最终答案;有益效果为:本发明提出的基于大语言模型的特定领域智能问答系统及方法,通过集成XLNET进行问题分类以及使用SentenceT5进行新颖的相似性搜索方法,我们进而提高了系统的效率和准确性。此外,我们还利用强大的GPT‑3.5‑turbo来生成连贯的答案。我们实现了DSQA‑LLM,并构建了一个包含127,840个问题‑答案对的数据集,有效验证了问答系统的有效性。
-
公开(公告)号:CN117688220A
公开(公告)日:2024-03-12
申请号:CN202311698936.1
申请日:2023-12-12
申请人: 山东浪潮科学研究院有限公司
IPC分类号: G06F16/903 , G06F16/907 , G06F16/901 , G06F40/30
摘要: 本发明涉及自然语言处理技术领域,具体为一种基于大语言模型的多模态信息检索方法及系统,包括以下步骤:引入大语言模型的能力分析用户的检索意图输出统一的检索关键信息;通过多模态embedding模型处理多模态信息生成统一的高维向量存入向量数据库;通过结构化检索和向量检索相结合的方式实现实现文本‑多模态数据的高效精确检索;有益效果为:本发明提出的基于大语言模型的多模态信息检索方法及系统,使用大模型充分挖掘分析用户的检索意图,使用embedding模型充分利用跨模态的语义关联信息,针对向量检索模糊匹配的特性进行优化,创新提出结构化搜索与向量检索相结合的方法,极大提高了检索的精度。
-
公开(公告)号:CN118521961A
公开(公告)日:2024-08-20
申请号:CN202410588804.1
申请日:2024-05-13
申请人: 山东浪潮科学研究院有限公司
IPC分类号: G06V20/52 , G06V40/10 , G06V10/46 , G06V10/26 , G06V10/774 , G06V10/82 , G06V10/764 , G06N3/0464
摘要: 本发明提供了一种基于小样本深度学习的人员装备佩戴状态检测方法及系统,属于计算机视觉技术领域,包括:获取待测图像,将待测图像输入图像特征提取网络中获得第一图像特征;将第一图像特征处理获得人物特征图及其对应区域的第二图像特征;并进一步获得分割掩模,人物骨骼关键点掩模,将分割掩模、人物特征图和人物骨骼关键点掩模输入到佩戴状态分类网络,输出最终穿戴状态类型;该网络通过结合人体关键点、装备分割掩膜等多维度特征实现对装备佩戴状态的准确判断,只需少量样本数据对装备检测网络、佩戴状态分类网络两个浅层网络进行微调训练即可达到较好的效果,实现对人员装备佩戴状态的实时监测。
-
-
-
-
-
-
-
-
-