公开(公告)号：CN116503612A

公开(公告)日：2023-07-28

申请号：CN202310752531.5

申请日：2023-06-26

申请人： 山东大学

发明人： 李腾 ,  王阳 ,  鲁威志 ,  李晓磊 ,  张伟

IPC分类号： G06V10/40 ,  G06V10/74 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06T7/00 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

摘要： 本公开提供了基于多任务关联的风机叶片损伤识别方法与系统，涉及风机叶片图像识别技术领域，方法包括：获取风机叶片的图像，首先利用多任务主干网络提取风机叶片图像的底层共享特征，之后在两个子任务分支网络中分别提取损伤位置特征以及损伤类型特征，然后分别输出风机叶片损伤的位置以及损伤类型的识别结果；其中，将两个子任务分支网络在各自特征提取时进行任务相关联，由线性映射函数将分支任务的高维特征映射到另一个分支任务的标签空间中，并通过激活函数转换为概率分布的形式，进而通过另一个分支任务的真实标签对概率分布进行损失评价，获取两个分支任务之间存在的相关性。本公开提高两个风机叶片损伤子任务的识别精度。

公开(公告)号：CN116428129A

公开(公告)日：2023-07-14

申请号：CN202310691478.2

申请日：2023-06-13

申请人： 山东大学

发明人： 李腾 ,  栾迎新 ,  逄镇东 ,  李晓磊 ,  张伟

IPC分类号： F03D17/00 ,  G06F18/213 ,  G06F18/241 ,  G06N3/045 ,  G06N3/044 ,  G06N3/047 ,  G06N3/0442 ,  G06N3/08 ,  G01H17/00

摘要： 本发明提出基于注意力混合神经网络的风机叶片冲击定位方法及系统，涉及风机叶片的冲击检测领域。包括获取所有叶片上的振动信号；将振动信号输入至注意力混合神经网络中，提取振动信号每个时刻的特征，完成任务识别，预测受到冲击的叶片；将预测的受到冲击的叶片上的振动信号分别输入至注意力回归定位网络和自适应决策网络中，在注意力回归定位网络中，利用局部时序注意力机制提取每个时间块的特征；对每个时间块的特征的重要性进行决策，将需要的时间块的特征输入到注意力循环神经网络中，通过注意力循环神经网络得到振动信号的时空特征向量，进而得到定位距离。本发明能够准确识别施加在风机叶片上的动态冲击载荷的具体位置。

公开(公告)号：CN115809751B

公开(公告)日：2023-06-27

申请号：CN202211345844.0

申请日：2022-10-31

申请人： 山东大学

发明人： 程吉禹 ,  朱莉娜 ,  张伟 ,  张浩

IPC分类号： G06Q10/047 ,  G06F18/214 ,  G06N3/0464 ,  G06N3/08

摘要： 本发明提出了一种基于强化学习的两阶段多机器人环境覆盖方法及系统，涉及多机器人协同序列决策领域,检测未被覆盖的主动区域，为每个机器人分配一个规划路径最小且与其余机器人没有冲突的主动区域作为子目标；提取机器人在环境中感知到的局部信息的特征向量；融合邻居的局部感知信息特征向量；融合后的特征向量通过多层感知机映射出动作分布，根据采样到的执行动作，机器人完成覆盖的任务；本发明在较为高层的角度引导机器人规划至未被覆盖区域，基于通信交换和融合邻居的观测丰富机器人的局部感知信息，与此同时考虑机器人子目标之间的冲突问题，使机器人学会分散覆盖，极大地减少重复覆盖率，降低环境完整覆盖的时间成本，并提高覆盖效率。

公开(公告)号：CN111401267B

公开(公告)日：2023-06-13

申请号：CN202010195886.5

申请日：2020-03-19

申请人： 山东大学

发明人： 梁姣 ,  张伟 ,  张倩 ,  宋然 ,  顾建军

IPC分类号： G06V40/10 ,  G06V10/44 ,  G06V10/762 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

摘要： 本发明公开了一种基于自学习局部特征表征的视频行人再识别方法及系统，包括：分别获取两段设定时间段内包含待识别行人连续变化图像的视频信息；采用孪生网络结构分别对获取的两段视频信息进行处理，得到对齐的表征行人时空特征的矢量，通过对比得到的矢量信息，判断两段连续图像信息中的行人是否为同一个人，实现行人再识别。本发明提出的残差‑循环神经网络，不仅能提取序列之间相关性，而且在结构上构成残差网络，解决了循环神经网络的梯度消失问题，加强空间特征和时间特征的融合。

公开(公告)号：CN116128033A

公开(公告)日：2023-05-16

申请号：CN202310245213.X

申请日：2023-03-15

申请人： 泉城省实验室 ,  山东大学

发明人： 鞠雷 ,  江潇 ,  张伟

IPC分类号： G06N3/063 ,  G06N5/04

摘要： 本发明涉及一种面向FPGA神经网络加速器的实时性分析方法，属于实时系统技术领域，包括以下步骤：对FPGA片上系统进行预分析，获取DPU部署信息；根据不同硬件部件的原理，提取出会对FPGA片上系统的CNN推理产生影响的硬件因素，并通过实验验证，建立系统硬件模型和DPU执行模型；根据模型建立通用化公式，构建FPGA片上系统的通用共享总线仲裁和内存访问争用模型。通过实验测量出通用共享总线仲裁和内存访问争用模型中的参数最坏情况的取值；将参数值代入模型公式中，根据FPGA片上系统硬件模型，静态分析出每个CNN推理的最坏执行时间界限。本申请考虑了多DPU部署环境下的FPGA片上系统，是对于多核异构系统的静态实时性分析的进一步尝试。

公开(公告)号：CN112734803B

公开(公告)日：2023-03-24

申请号：CN202011642602.9

申请日：2020-12-31

申请人： 山东大学

发明人： 张伟 ,  吴爽 ,  陈佳铭 ,  宋然

IPC分类号： G06T7/246 ,  G06V10/40 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/08

摘要： 本发明公开了基于文字描述的单目标跟踪方法、装置、设备及存储介质：对待跟踪视频按照设定帧数平均划分为若干个视频包；对文字描述提取出第一、二和三文字特征；对每个视频包的第n个采样帧分别提取第一、二和三视觉特征；基于每个视频包第n个采样帧的第一、第二和第三视觉特征分别对第一、第二和第三文字特征进行更新，得到更新后的第一、第二和第三文字特征；对待跟踪目标的样板图像，分别提取第四、第五和第六视觉特征；对搜索区域图像，分别提取第七，第八和第九视觉特征；将更新后的第一、第二和第三文字特征向量，分别与第四到第九视觉特征进行融合，得到融合特征；根据融合特征，得到待跟踪视频的当前视频包中每一帧的目标跟踪结果。

公开(公告)号：CN115439510B

公开(公告)日：2023-02-28

申请号：CN202211388347.9

申请日：2022-11-08

申请人： 山东大学

发明人： 宋然 ,  栾迎新 ,  张钰荻 ,  张伟 ,  李晓磊 ,  张倩

IPC分类号： G06T7/246 ,  G06T7/90 ,  G06N3/0464 ,  G06N3/092 ,  G06N3/094

摘要： 本发明公开的一种基于专家策略指导的主动目标跟踪方法及系统，属于主动目标追踪技术领域，包括：获取场景观测图像、场景地图和智能体位姿；根据场景地图和智能体位姿，获得每个智能体的局部地图和每个局部地图中所有智能体运动轨迹，作为第一训练数据；将第一训练数据分别输入专家跟踪器和专家目标对象中，由专家目标对象和专家跟踪器进行对抗强化学习，通过专家跟踪器输出建议动作；将场景观测图像输入学生跟踪器中，将建议动作作为场景观测图像的标签对学生跟踪器进行训练，获得训练好的学生跟踪器；利用训练好的学生跟踪器对获取的场景实时图像进行识别，获得智能体决策动作。实现了对目标的准确追踪。

公开(公告)号：CN113592855A

公开(公告)日：2021-11-02

申请号：CN202110955515.7

申请日：2021-08-19

申请人： 山东大学

发明人： 张伟 ,  宋帅 ,  杨紫菲 ,  杨硕 ,  宋然 ,  程吉禹 ,  李贻斌 ,  吴颖颖 ,  李晓磊

IPC分类号： G06T7/00 ,  G06T7/11 ,  G06T7/73 ,  G06T17/00 ,  G06F16/51 ,  G06F16/587 ,  G06F30/27 ,  G06N3/08 ,  G06N7/00 ,  G06F111/08

摘要： 本发明公开了基于启发式深度强化学习的自主抓取与装箱方法及系统，其技术方案为：包括：获取抓取区域的深度图像信息，根据深度图像信息得到待装箱物体位置信息；获取放置区域的深度图像信息和待装箱物体尺寸信息，结合待装箱物体位置信息，并通过启发式深度强化学习的预测网络得到放置策略。本发明通过启发式深度强化学习方法，能够实现变尺寸物体的装箱任务，提高了装箱的空间利用率，且能够适用于真实环境。

公开(公告)号：CN111372006A

公开(公告)日：2020-07-03

申请号：CN202010139138.5

申请日：2020-03-03

申请人： 山东大学

发明人： 吴国滔 ,  张伟 ,  宋然 ,  张倩 ,  顾建军

IPC分类号： H04N5/235 ,  G06N3/04 ,  G06N3/08

摘要： 本公开提供了一种面向移动端的高动态范围成像方法及系统，对高动态范围图像进行处理，生成相应的低动态范围图像，将低动态范围图像输入到基于编码器-解码器结构的神经网络模型中，神经网络模型的输入与相应的高动态范围图像在对数域求损失，使用梯度下降法优化神经网络模型，将优化后的神经网络模型移植到移动端，将其视为一个高次映射函数，完成低动态范围图像到高动态范围图像的端到端映射。有效地提高了单帧高动态范围成像方法的实用性。

公开(公告)号：CN111300431A

公开(公告)日：2020-06-19

申请号：CN202010241696.2

申请日：2020-03-31

申请人： 山东大学

发明人： 张伟 ,  杨硕 ,  鲁威志 ,  王贺升 ,  李贻斌

IPC分类号： B25J9/16 ,  B25J13/08 ,  B25J19/04

摘要： 本公开公开了面向跨场景的机器人视觉模仿学习方法及系统，将给定来自原始语境的观察图像转换为预测的目标观察图像，即将视觉演示从演示者的语境转换到机器人所在语境，完成语境转换；基于初始深度观察图像来预测目标深度观察图像；针对获取到多模态的初始观察和目标观察，使用深度神经网络来构建逆动态模型，利用逆动态模型来输出预测动作，完成模仿学习。本公开语境转换模块负责将来自不同语境的视觉演示转换到机器人所在语境。本公开多模态逆动态模型负责将多模输入映射为动作来复现演示中动作，以颜色和深度观察信息作为输入，并将其映射为动作，从而实现根据演示进行模仿。