公开(公告)号：CN111325347B

公开(公告)日：2023-04-11

申请号：CN202010106747.0

申请日：2020-02-19

申请人： 山东大学 ,  智洋创新科技股份有限公司 ,  浙江辉博电力设备制造有限公司 ,  华北电力大学(保定)

发明人： 聂礼强 ,  战新刚 ,  何建明 ,  赵振兵 ,  甘甜 ,  董兴宁

IPC分类号： G06N5/04 ,  G06V20/40 ,  G06V10/82 ,  G06V10/80 ,  G06V10/774 ,  G06V20/70 ,  G06N3/042 ,  G06N3/045 ,  G06N3/096

摘要： 一种基于可解释视觉推理模型的危险预警描述自动生成方法，包括建立特定场景的先验知识库和训练数据库，通过迁移学习微调模型以得到针对该场景下的平面目标检测器和三维目标检测器；然后针对某一帧视频信息，通过平面目标检测器检测出所有目标类型和目标的平面位置特征，再并行地通过三维目标检测器得到所有目标的三维空间特征，并根据检测出的目标类型、结合先验知识库构造该帧视频下的关系任务图，将其通过图神经网络抽取特征后，融合上述的平面空间特征和三维空间特征，送入模块化的多层感知机中进行推理学习，最终得到该帧视频图像下存在的危险等级和具有危险关系的对象，最后结合先验知识库中的语义转换生成该帧视频图像所对应的中文描述。

公开(公告)号：CN111325347A

公开(公告)日：2020-06-23

申请号：CN202010106747.0

申请日：2020-02-19

申请人： 山东大学 ,  智洋创新科技股份有限公司 ,  浙江辉博电力设备制造有限公司 ,  华北电力大学(保定)

发明人： 聂礼强 ,  战新刚 ,  何建明 ,  赵振兵 ,  甘甜 ,  董兴宁

IPC分类号： G06N5/04 ,  G06K9/00 ,  G06N3/04 ,  G06N3/08 ,  G06K9/62

摘要： 一种基于可解释视觉推理模型的危险预警描述自动生成方法，包括建立特定场景的先验知识库和训练数据库，通过迁移学习微调模型以得到针对该场景下的平面目标检测器和三维目标检测器；然后针对某一帧视频信息，通过平面目标检测器检测出所有目标类型和目标的平面位置特征，再并行地通过三维目标检测器得到所有目标的三维空间特征，并根据检测出的目标类型、结合先验知识库构造该帧视频下的关系任务图，将其通过图神经网络抽取特征后，融合上述的平面空间特征和三维空间特征，送入模块化的多层感知机中进行推理学习，最终得到该帧视频图像下存在的危险等级和具有危险关系的对象，最后结合先验知识库中的语义转换生成该帧视频图像所对应的中文描述。

公开(公告)号：CN115240075B

公开(公告)日：2022-12-13

申请号：CN202211154588.7

申请日：2022-09-22

申请人： 山东大学 ,  智洋创新科技股份有限公司 ,  国网浙江省电力有限公司温州供电公司 ,  华北电力大学(保定) ,  浙江大华技术股份有限公司 ,  山东省计算中心(国家超级计算济南中心)

发明人： 聂礼强 ,  甘甜 ,  赵砚青 ,  郑晓云 ,  赵振兵 ,  熊剑平 ,  杨飞 ,  董兴宁 ,  高赞

IPC分类号： G06V20/10 ,  G06V10/25 ,  G06V10/40 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06T5/00 ,  G06N3/04 ,  G06N3/08

摘要： 本发明涉及输电线路巡检技术领域，具体涉及一种电力视觉多粒度预训练大模型的构建与训练方法，包括图像修复、图像分类、目标检测、图像描述四个粒度层级的视觉任务；采用多阶段的大模型训练方法，使得模型具有数据挖掘、增量训练和模型进化的功能；其中，第一阶段在海量公开数据集上训练，输出预训练大模型；第二阶段在大量无标签电力场景数据集上进行自监督训练，输出电力视觉多粒度预训练大模型；第三阶段利用大模型针对电力数据集进行隐患图像筛选，大大减轻了人工筛选代价，将隐患图像数据交由人工进行精细化标注，再次输入大模型进行迭代优化，使得视觉预训练大模型更加适配电力场景视觉任务需求。

公开(公告)号：CN115240075A

公开(公告)日：2022-10-25

申请号：CN202211154588.7

申请日：2022-09-22

申请人： 山东大学 ,  智洋创新科技股份有限公司 ,  国网浙江省电力有限公司温州供电公司 ,  华北电力大学(保定) ,  浙江大华技术股份有限公司 ,  山东省计算中心(国家超级计算济南中心)

发明人： 聂礼强 ,  甘甜 ,  赵砚青 ,  郑晓云 ,  赵振兵 ,  熊剑平 ,  杨飞 ,  董兴宁 ,  高赞

IPC分类号： G06V20/10 ,  G06V10/25 ,  G06V10/40 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06T5/00 ,  G06N3/04 ,  G06N3/08

摘要： 本发明涉及输电线路巡检技术领域，具体涉及一种电力视觉多粒度预训练大模型的构建与训练方法，包括图像修复、图像分类、目标检测、图像描述四个粒度层级的视觉任务；采用多阶段的大模型训练方法，使得模型具有数据挖掘、增量训练和模型进化的功能；其中，第一阶段在海量公开数据集上训练，输出预训练大模型；第二阶段在大量无标签电力场景数据集上进行自监督训练，输出电力视觉多粒度预训练大模型；第三阶段利用大模型针对电力数据集进行隐患图像筛选，大大减轻了人工筛选代价，将隐患图像数据交由人工进行精细化标注，再次输入大模型进行迭代优化，使得视觉预训练大模型更加适配电力场景视觉任务需求。

公开(公告)号：CN114782773A

公开(公告)日：2022-07-22

申请号：CN202210406482.5

申请日：2022-04-18

申请人： 河钢数字技术股份有限公司 ,  山东大学 ,  青岛海尔智能技术研发有限公司

发明人： 贾永坡 ,  聂礼强 ,  申培 ,  甘甜 ,  冯兴 ,  董兴宁 ,  来博文 ,  朱文印

IPC分类号： G06V10/774 ,  G06V10/778 ,  G06V10/764 ,  G06K9/62

摘要： 本发明公开了一种基于树型层进网络的不平衡废钢样本判级方法，涉及金属处理技术领域。该基于树型层进网络的不平衡废钢样本判级方法，能够解决现有废钢判级数据集中所存在的严重长尾效应，从而避免严重偏差的预测结果，提升模型整体预测的无偏性。通过融合动态记忆模块中所存储的各类代表性特征，从而增强当前目标的特征表示，进一步提升了整体模型的预测准确度。通过树型分类网络显示挖掘不同类别间的显著型差异与微小型差异，提升了模型对尾部谓词的整体泛化能力。