-
公开(公告)号：CN118537700A
公开(公告)日：2024-08-23
申请号：CN202410544805.6
申请日：2024-05-06
申请人： 上海交通大学
IPC分类号： G06V10/82 , G06N3/006 , G06N3/0464 , G06N3/0455 , G06V10/80 , G06N3/09
摘要： 本发明提供基于码本压缩和信息填充的多智能体协同感知系统和方法，包括：感知编码器，提取输入数据特征；选择模块，每个智能体选择满足其他智能体的信息需求，实现多智能体不同空间位置间的稀疏连接；表示模块，构建基于任务驱动的代码本，使用整数型的低维度代码索引信息包替代与基于浮点数的高维度的数据特征；通信模块，在各个智能体之间通信，将整数型的低维度代码索引信息包进行信息交换；融合模块，将低维度代码索引信息包与每个智能体本地的高维特征进行融合；检测解码器，将融合的特征解码获得检测结果。本发明从选择和表示两方面，优化本地信息，填充每个智能体的信息需求，防止信息溢出，减少通信宽带，提升感知效率。
-
公开(公告)号：CN113936174A
公开(公告)日：2022-01-14
申请号：CN202111190861.7
申请日：2021-10-13
申请人： 上海交通大学
摘要： 本发明提供了一种单帧监督视频时序动作检测与分类方法及系统，包括：根据输入长视频提取视频特征图；将视频特征图映射为动作种子帧概率图；产生动作种子帧位置；根据动作种子帧位置将输入长视频划分为若干个单实例视频片段；将单实例视频片段特征映射为动作位置提案；将动作位置提案映射为时序位置掩膜；基于时序位置掩膜获取单实例视频片段中的动作特征、背景特征；将动作特征、背景特征映射为动作类别概率、背景类别概率；基于动作位置提案、动作类别概率产生视频的检测与分类结果。本发明采用分而治之的策略将单帧监督时序动作检测与分类任务化繁为简，实现更完整、更精确的时序动作检测与分类。
-
公开(公告)号：CN118784644A
公开(公告)日：2024-10-15
申请号：CN202410796515.0
申请日：2024-06-20
申请人： 上海交通大学
摘要： 本发明提供基于混合协作通信框架的高效多智能体检测方法及系统，包括：对单个智能体采集的原始点云信息进行检测，得到单体检测结果，及其置信度和不确定度；基于置信度，对单体检测结果编码得到检测回归框信息包；基于不确定度和单体检测结果，补充相应原始点云信息，得到原始点云补充信息包；将每个智能体的检测回归框信息包和原始点云补充信息包，在其他智能体之间通信；将每个智能体的原始点云信息与其他智能体的检测回归框信息包和原始点云补充信息包融合，获得感知结果。本发明的数据混合方式有利于信息的自适应压缩率，满足各种通信要求；本发明使用标准化的信息数据格式，确保数据独立于特定的检测模型，提高跨不同模型配置的适应性。
-
公开(公告)号：CN115861642A
公开(公告)日：2023-03-28
申请号：CN202211365296.8
申请日：2022-11-02
申请人： 上海人工智能创新中心 , 上海交通大学
IPC分类号： G06V10/44 , G06V10/764 , G06V10/80
摘要： 本发明涉及图像处理技术领域，提出一种混合协作3D对象检测方法及系统。该方法包括：由多个智能体对3D对象进行检测以生成智能体位姿、对象特征图以及对象边界框；将多个智能体对同一3D对象检测生成的多个对象边界框对齐以对多个智能体之间的相对位姿进行校正；根据多个智能体之间的校正后的相对位姿生成融合对象特征图；以及根据所述融合对象特征图生成协作对象边界框。本发明可以有效抑制协作3D对象检测的位姿噪声，进而可以提升协作3D对象检测的检测精度和检测效率，并且提升了鲁棒性。
-
公开(公告)号：CN115471666A
公开(公告)日：2022-12-13
申请号：CN202211076556.X
申请日：2022-09-05
申请人： 上海交通大学
摘要： 本发明提供一个基于空间置信度图的多轮多模态多智能体的协同感知方法、系统、终端及介质，包括使用深度卷积神经网络提取输入数据的特征；对所述特征使用空间置信度生成器生成空间置信度图；使用基于所述空间置信度图的通信模块，打包紧凑的信息包，构建稀疏的通信图，并通过所述通信图在智能体间传递所述信息包；使用基于空间置信度图的信息融合模块，将通信模块收获的信息包与每个智能体本地的特征进行融合；将融合的特征解码获得检测结果。本发明通过专注于感知关键区域，使用更少的通信消耗来实现更高的感知性能；适应各种通信带宽和轮次。
-
公开(公告)号：CN114501013A
公开(公告)日：2022-05-13
申请号：CN202210042520.3
申请日：2022-01-14
申请人： 上海交通大学
IPC分类号： H04N19/146 , H04N19/109 , H04N19/11 , H04N19/124 , H04N19/31 , H04N19/91 , G06T9/00 , G06V20/40 , G06V10/82 , G06N3/04 , G06N3/08
摘要： 本发明提供可变码率视频压缩方法、系统、装置及存储介质，包括：将参考帧图像通过卷积神经网络，得到参考帧的第一特征图，通过尺度缩放及可导量化得到参考帧的第二特征图，并进行逆缩放，得到重构的参考帧。将预测帧图像通过卷积神经网络，得到预测帧的第一特征图，通过尺度缩放及量化得到预测帧的第二特征图。将预测帧的第二特征图与参考帧的第二特征图相减，得到特征图残差；利用参考帧的第二特征图作为先验信息，对特征图残差进行无损熵编码，并传输至解码端；将特征图残差与参考帧的第二特征图相加并逆缩放后，通过卷积神经网络得到重构的预测帧。本发明利用尺度因子将特征图进行尺度缩放，从而得到不同码率质量对应的特征图。
-
公开(公告)号：CN117315396A
公开(公告)日：2023-12-29
申请号：CN202311265261.1
申请日：2023-09-27
申请人： 上海交通大学
IPC分类号： G06V10/774 , G06V10/80 , G06N3/0455 , G06N3/08
摘要： 本发明提供一种支持模态模型异构并且可扩展性的协作方法和系统，包括：端到端训练多个基智能体的协作网络，构建共享特征空间，进行协作互相检测；采用离线训练知识传递的方式变换新的异构智能体的特征到共享特征空间，加入扩展协作进行互相检测。本发明能同时解决模态、模型异构性以及可扩展性问题；支持在特征级别共享异构信息，提高多智能体间协作收益；新的智能体类型合并到原有的协作框架中，只需离线训练新智能体的特征编码器，大幅降低训练成本，且对新的智能体类型具有高度可扩展性；显著降低使用成本，具有先进精准的检测性能。本发明可以仅采集有限的协作数据，利用离线训练的方式复用数据，无限地扩大协作框架支持的异构智能体类型。
-
公开(公告)号：CN117274835A
公开(公告)日：2023-12-22
申请号：CN202210657179.2
申请日：2022-06-10
申请人： 上海交通大学
IPC分类号： G06V20/17 , G06V20/64 , G06V10/77 , G06V10/774 , G06V10/82 , G06V10/764 , G06V10/40 , G06N3/0464 , G06N3/08
摘要： 本发明提供一种无人机的单目3D物体检测方法，包括：使用深度卷积神经网络提取特征图像；使用高度预测模块预测所述特征图像中每个特征点的高度，通过基于几何先验的可变形变换将所述特征图像的视角变为鸟瞰视角，获得鸟瞰图中每个特征点的高度；基于所述特征图像和所述鸟瞰图中每个特征点的高度，获得三维的鸟瞰图特征；将所述三维的鸟瞰图特征解码获得检测结果。本发明同时进行双视角的目标检测，结合BEV与RV两个视角，具有提供补偿信息并相互促进的优势，从而提升了无人机的单目3D物体检测效果。
-
公开(公告)号：CN116823939A
公开(公告)日：2023-09-29
申请号：CN202310387575.2
申请日：2023-04-12
申请人： 上海人工智能创新中心 , 上海交通大学
摘要： 本发明提供了一种多智能体协作的3D对象检测方法，包括：在第一智能体上设置感知模块、预测模块和融合模块，在第二智能体上设置感知模块；由第一智能体和第二智能体的感知模块基于传感器信息对周围物体的信息进行感知，分别得到第一感知信息和第二感知信息，其中第二感知信息作为第一智能体的交互信息；由第一智能体的预测模块基于周围物体的历史信息对周围物体的当前状态进行预测，得到预测结果；以及由第一智能体的融合模块与第二智能体进行信息交互，以使得第一感知信息与所述交互信息进行融合，以及使得第一感知信息与预测结果进行融合。
-
公开(公告)号：CN118333035A
公开(公告)日：2024-07-12
申请号：CN202410544732.0
申请日：2024-05-06
申请人： 上海交通大学
摘要： 本发明提供语言驱动的交通交互场景生成系统和方法，包括：文本编码模块：利用大语言模型将文本语言指令转化为整数型离散化的地图编码、交互事件编码和车辆编码；融合模块：利用多层神经网络将所述地图编码、交互事件编码和车辆编码投影到高维特征空间，并利用基于注意力机制的神经网络进行信息聚合，获得车辆特征信息；解码模块：利用多层线性神经网络将所述车辆特征信息解码为车辆轨迹、车辆属性和初始位置，获得生成结果。本发明通过对车辆间交互行为的建模，利用大语言模型对自然语言进行处理，将文字命令转化为对应的车辆轨迹，提升了生成场景的真实性以及和文字输入的符合程度。
-
-
-
-
-
-
-
-
-
搜索结果
20 条记录 (耗时 0.025 秒)
