-
公开(公告)号：CN117992587A
公开(公告)日：2024-05-07
申请号：CN202410084390.9
申请日：2024-01-19
Applicant: 西安电子科技大学广州研究院 , 琶洲实验室(黄埔)
IPC: G06F16/332 , G06N5/04 , G06F16/35
Abstract: 本发明公开了一种基于大模型的人机交互方法、装置及介质，应用于工业产线上的人机问答系统，所述方法包括：获取用户输入的问题，在场景问答模式下，采用大模型对问题的文本进行结构化解析，得到问题的问题类型；其中，问题类型包括步骤类型、物体属性类型、物体定义类型、验证类型以及其他类型；根据问题类型以及用户选择的场景，获取摄像头采集的视觉信息以及预先构建的知识库，并基于大模型，输出问题对应的回答；其中，当问题类型为其他类型时，先采用大模型对问题进行回答，再输出与知识库相关的引导信息以及推荐信息。本发明能够针对不同类别的问题提供更加精确和专业的回答，实现了全面的互动式问答，提高了系统的效率，增强了用户体验。
-
公开(公告)号：CN116452917A
公开(公告)日：2023-07-18
申请号：CN202310373818.7
申请日：2023-04-07
Applicant: 西安电子科技大学广州研究院 , 琶洲实验室(黄埔)
IPC: G06V10/774 , G06V20/70 , G06V20/40 , G06V10/22 , G06V10/764 , G06V10/74 , G06V10/44
Abstract: 本申请实施例提供了一种面向物料安装的分类数据集构建方法及装置，通过对物料安装过程视频流图像的边缘特征识别，将原视频切割为物料安装操作状态和未操作状态两个分类属性的视频块；再对未操作状态属性的视频块基于RGB颜色直方图与标准图像的RGB颜色直方图相似度的计算后，通过比对类别而进一步切割，获取物料已安装属性的视频块和物料未安装的视频块；再将各切割后的视频块内对应的视频帧全部标记为所属视频块的属性，生成物料安装的分类数据集。本申请实现了基于机器视觉的视频帧批量标注，大幅节约了构建物料安装的分类数据集以往需要的人工标注操作，在节约人力资源和时间成本的同时，保证了数据标注的稳定性和数据集的精准度。
-
公开(公告)号：CN118366080A
公开(公告)日：2024-07-19
申请号：CN202410490061.4
申请日：2024-04-23
Applicant: 西安电子科技大学广州研究院 , 琶洲实验室(黄埔)
Abstract: 本申请公开了一种基于多模态模型的时空动态场景图构建方法及系统，方法包括：采用帧差法对原始视频进行采样，得到视频的候选帧；利用预先设立的多模态模型提取所述候选帧的多模态特征，并将多模态特征与预先设立的类别库进行匹配，识别得到实体；对实体间的关系进行推理，得到实体间的交互关系；对实体进行分层映射，并将实体间的交互关系融入对应层级的实体之间，形成时空动态场景图；所述对实体进行分层映射是将实体映射至场景层、对象层和部件层。本申请通过多模态模型有效地将视频中的实体、实体之间的时空关系进行精准地捕捉、分析和表示，以更精确构建出能够反映实际动态场景的结构化场景图。
-
公开(公告)号：CN117994843A
公开(公告)日：2024-05-07
申请号：CN202410110464.1
申请日：2024-01-25
Applicant: 西安电子科技大学广州研究院 , 琶洲实验室(黄埔)
Abstract: 本发明公开了一种基于大模型的行为识别方法、装置、设备及存储介质，包括：获取规范行为视频，基于帧差法和人工挑选得到视频中各个动作的图片序列帧；基于大模型，根据预设的动作基元库对图片序列帧进行归一化处理，再通过给定提示，分别为处理后的各个图片序列帧生成文本内容，得到动作描述标准库；基于帧差法和人工挑选得到待识别视频中各个动作的待识别图片序列帧并输入到大模型，通过给定提示为待识别图片序列帧生成文本内容，得到待识别图片序列描述，并将其与动作描述标准库中的各个文本内容进行相似度匹配，以识别待识别图片序列描述对应的动作。采用本发明实施例，能降低工业场景中行为识别的时间成本，提高识别的效率、灵活性和准确率。
-
Patent Agency Ranking
公开(公告)号：CN117912114A
公开(公告)日：2024-04-19
申请号：CN202410080297.0
申请日：2024-01-19
Applicant: 西安电子科技大学广州研究院 , 琶洲实验室(黄埔)
IPC: G06V40/20 , G06V20/40 , G06F16/783
Abstract: 本发明公开了一种基于大模型的关键帧提取方法、装置、设备及存储介质，包括：获取第一视频数据，基于语音识别技术和大模型，对所述第一视频数据进行分割，得到第二视频数据和对应的文本描述；采用帧差法，从所述第二视频数据中提取候选帧；基于大模型和提示，根据所述文本描述，从所述候选帧中提取表示动作的开始、中间、结束这三个状态的关键帧。采用本发明实施例，能够自动、准确地从视频中提取关键帧，这些关键帧不仅数量适中，而且能够代表视频中的主要动作和事件，并且无需对大模型的参数进行调整，避免了人工干预，从而大幅提高了关键帧自动提取效率，降低成本。
-
公开(公告)号：CN116597375A
公开(公告)日：2023-08-15
申请号：CN202310518635.X
申请日：2023-05-09
Applicant: 西安电子科技大学广州研究院 , 琶洲实验室(黄埔)
Abstract: 本发明公开了制造行业现场工艺的异常操作行为检测方法，包括：获取目标区域监控视频，并检测其对应的监控图像是否存在操作体；若是，从监控图像的当前帧开始，逐帧获取监控图像中的第一操作体和第一被操作体，并确定第一操作体和第一被操作体是否与预设第一操作场景图像中一致；若是，则确实目标监控图像中的第一位置关系与第一标准位置关系是否一致；若是，则认为第一个工序已正常执行，并继续对目标监控图像的下一帧图像进行检测。与现有技术相比，本发明仅需要确定监控视频中是否按现场工艺的发生顺序出现预设的操作场景图像，其操作过程简单，且无需创建复杂的深度学习算法模型，降低了对检测设备的计算力要求，从而降低了检测成本。
-
公开(公告)号：CN115292032A
公开(公告)日：2022-11-04
申请号：CN202210770316.3
申请日：2022-06-30
Applicant: 西安电子科技大学广州研究院
Abstract: 本发明公开了本发明实施例提供了一种多用户接入的智能边缘计算系统的任务卸载方法，应用于终端节点和边缘服务器节点，涉及工业物联网技术领域。通过将任务分为时延敏感型、计算复杂型和终端任务型，优化了由于业务类型不明确产生的节点计算资源不匹配的问题，提高了边缘计算系统的整体处理效率；并将原始任务分割为可以独立执行的子任务，有效降低了由于任务量过大产生的计算和等待时延，降低了任务完成之间的耦合性；边缘服务器节点对任务卸载的过程进行建模，根据任务计算的历史处理数据合理判断任务的卸载决策和卸载位置，有效地缩短了因任务处理等待队列过长产生的计算时延，满足在时延约束的允许下尽可能地减少能量损耗。
-
公开(公告)号：CN115334167B
公开(公告)日：2023-06-09
申请号：CN202210771945.8
申请日：2022-06-30
Applicant: 西安电子科技大学广州研究院
Abstract: 本发明公开了一种角度阈值自适应的轨迹压缩方法，涉及数据压缩技术领域。获取矢量地图数据提取原始道路数据并进行网格划分，得到包含多个网格区域的目标道路数据；对目标道路数据进行网络拓扑分析，统计网格区域内所包含的道路交点数目分配角度阈值；计算原始行驶轨迹中各个轨迹点的偏转角度值，将满足预设条件的轨迹点存入缓存队列，得到缓存行驶轨迹；计算缓存行驶轨迹中各个轨迹点的偏转累积值，根据偏转累积值进行采样和存储，得到目标车辆压缩后的目标行驶轨迹。通过上述方法可以有效地对轨迹数据进行压缩，同时有效地保留车辆转弯的轨迹数据，并根据偏转角度值和偏转累积值进行两次数据压缩，减小轨迹数据量。
-
公开(公告)号：CN115334167A
公开(公告)日：2022-11-11
申请号：CN202210771945.8
申请日：2022-06-30
Applicant: 西安电子科技大学广州研究院
Abstract: 本发明公开了一种角度阈值自适应的轨迹压缩方法，涉及数据压缩技术领域。获取矢量地图数据提取原始道路数据并进行网格划分，得到包含多个网格区域的目标道路数据；对目标道路数据进行网络拓扑分析，统计网格区域内所包含的道路交点数目分配角度阈值；计算原始行驶轨迹中各个轨迹点的偏转角度值，将满足预设条件的轨迹点存入缓存队列，得到缓存行驶轨迹；计算缓存行驶轨迹中各个轨迹点的偏转累积值，根据偏转累积值进行采样和存储，得到目标车辆压缩后的目标行驶轨迹。通过上述方法可以有效地对轨迹数据进行压缩，同时有效地保留车辆转弯的轨迹数据，并根据偏转角度值和偏转累积值进行两次数据压缩，减小轨迹数据量。
-
-
-
-
-
-
-
-
Search Results
9
records
(took 0.075 seconds)
