公开(公告)号：CN117648429A

公开(公告)日：2024-03-05

申请号：CN202410121781.3

申请日：2024-01-30

申请人： 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) ,  山东大学

发明人： 吴建龙 ,  丁沐河 ,  张贤 ,  聂礼强 ,  宋雪萌 ,  甘甜

IPC分类号： G06F16/332 ,  G06F16/33 ,  G06F40/30 ,  G06N5/04 ,  G06N3/0464 ,  G06N3/08

摘要： 本发明属于问答模型技术领域，为解决现有生成答案的准确率低的问题，提供一种基于多模态自适应检索式增强大模型的问答方法及系统。其中，基于多模态自适应检索式增强大模型的问答方法包括接收待回答的问题；基于多模态自适应检索式增强大模型及多模态知识库，生成预测答案；多模态自适应检索式增强大模型包括检索器、检索排序器和生成器；检索器提取问题及多模态知识库中的每个知识对应的多模态融合特征，计算每个知识和问题的相似度，选取TOP‑K知识；根据问题及知识标签，利用检索排序器从TOP‑K知识中判定出与问题相关的知识，得到检索的相关知识；生成器生成预测答案，其能够大大提高了模态问答的检索和生成答案的准确率。

公开(公告)号：CN115223049B

公开(公告)日：2022-12-13

申请号：CN202211140194.6

申请日：2022-09-20

申请人： 山东大学 ,  国网浙江省电力有限公司温州供电公司 ,  华北电力大学(保定) ,  智洋创新科技股份有限公司 ,  南瑞集团有限公司 ,  山东省计算中心(国家超级计算济南中心)

发明人： 聂礼强 ,  甘甜 ,  关惟俐 ,  郑晓云 ,  翟永杰 ,  赵砚青 ,  罗旺 ,  陈雨涛 ,  高赞

IPC分类号： G06V20/10 ,  G06V10/74 ,  G06V10/774 ,  G06V10/82 ,  G06N3/08

摘要： 本发明属于压缩技术领域，具体提供了一种面向电力场景边缘计算大模型压缩的知识蒸馏与量化方法。其包括以下步骤:电力场景任务抽象；双层知识蒸馏网络单元构建；教师模型修饰处理；主从教师监督框架：基于教师‑学生蒸馏网络，使用多个数据集训练不同的教师模型，包括与目标任务类似的场景数据集和实际落地场景的数据集，将这些数据集进行划分，训练多个教师模型，按照数据集与落地场景相似度分配指导权重，分为主教师模型和若干个从教师模型，从而对学生模型进行不同层面的知识引导，提高学生模型在复杂场景下的泛化能力；学生模型压缩感知训练。

公开(公告)号：CN115220479A

公开(公告)日：2022-10-21

申请号：CN202211140267.1

申请日：2022-09-20

申请人： 山东大学 ,  南瑞集团有限公司 ,  智洋创新科技股份有限公司 ,  国网浙江省电力有限公司温州供电公司 ,  华北电力大学(保定) ,  山东省计算中心(国家超级计算济南中心)

发明人： 聂礼强 ,  宋雪萌 ,  罗旺 ,  张万征 ,  郑晓云 ,  翟永杰 ,  刘杰 ,  张寅峰 ,  高赞

IPC分类号： G05D1/10

摘要： 本发明属于巡检技术领域，本发明提供了一种动静协同的输电线路精细化巡检方法与系统，通过动静态检测协同配合，实现电力系统大范围覆盖的精细化巡检，采用静态与动态数据的分段式检测提高检测精细化的同时，节省不必要的人力及算力资源。其包括以下步骤：固定采集设备采集回传静态信息；多层感知机融合多类别静态信息评估故障程度；巡检无人机对输电线路进行精细化巡检并上传多角度图像信息：若发生非紧急故障，则调用巡检无人机进行精细化巡检，获取所述巡检无人机的巡检信息，并通过通讯模块将所述巡检信息传输至目标数据控制中心；融合无人机多视角和固定视角图像信息的故障分类模型。

公开(公告)号：CN115272981A

公开(公告)日：2022-11-01

申请号：CN202211169176.0

申请日：2022-09-26

申请人： 山东大学 ,  华北电力大学(保定) ,  智洋创新科技股份有限公司 ,  南瑞集团有限公司 ,  国网浙江省电力有限公司温州供电公司 ,  山东省计算中心(国家超级计算济南中心)

发明人： 聂礼强 ,  吴建龙 ,  关惟俐 ,  翟永杰 ,  胡志坤 ,  罗旺 ,  郑晓云 ,  薛佳朋 ,  高赞

IPC分类号： G06V20/52 ,  G06N3/04 ,  G06N3/08 ,  G06N5/02 ,  G06N5/04 ,  G06V10/774 ,  G06V10/778 ,  G06V10/82 ,  G07C1/20

摘要： 本发明涉及输电线路巡检技术领域，具体涉及一种云边共学习输电巡检方法与系统，包括云计算中心与边缘计算终端共同完成图像分析；云计算中心和边缘计算终端分别部署对应的图像处理模型；在边缘计算终端进行一次推理后过滤掉大部分不包含有效目标的图像，仅对少部分包含有效目标的图像进行收集与回流，满足了对推理时效性的要求，并显著降低了数据传输成本；回流至云计算中心的图像在此进行二次推理，通过大模型预训练和基于知识蒸馏的模型压缩技术，同时确保了云端与边端对图像处理的精度要求；回流至云端的数据将还作为增量数据集，定期在云端对模型进行增量训练，以提高模型的精度；云端模型也将定期压缩同步至边端，保证云边模型效能一致。

公开(公告)号：CN115238880A

公开(公告)日：2022-10-25

申请号：CN202211146873.4

申请日：2022-09-21

申请人： 山东大学 ,  华北电力大学(保定) ,  智洋创新科技股份有限公司 ,  南瑞集团有限公司 ,  国网浙江省电力有限公司温州供电公司 ,  山东省计算中心(国家超级计算济南中心)

发明人： 聂礼强 ,  宋雪萌 ,  赵振兵 ,  胡志坤 ,  罗旺 ,  郑晓云 ,  张盼盼 ,  井立强 ,  高赞

IPC分类号： G06N3/063 ,  G06N3/04 ,  G06N3/08 ,  G06K9/62 ,  G06Q10/00 ,  G06Q50/06

摘要： 本发明提供一种输电巡检终端的自适应部署方法、系统、设备以及存储介质，属于人工智能技术领域，通过搭建适配于所有输电巡检终端的超级网络；选择各变化维度中的参数最小值的子网络作为超级网络的基础模型，并对基础模型进行训练；选择单一变化维度作为变量，根据渐进策略获取采样扩展候选集，在采样扩展候选集中搜索设定数量的扩展子网络进行训练，并更新新增的网络参数；直至遍历所有子网络；通过神经网络搜索筛选最佳子网络，并基于最佳子网络对目标输电巡检终端进行部署。本发明在实现了节省计算资源的基础上，达到了确保子网络的精确度，有效缓解子网络之间相互干扰的显著效果。

公开(公告)号：CN115223049A

公开(公告)日：2022-10-21

申请号：CN202211140194.6

申请日：2022-09-20

申请人： 山东大学 ,  国网浙江省电力有限公司温州供电公司 ,  华北电力大学(保定) ,  智洋创新科技股份有限公司 ,  南瑞集团有限公司 ,  山东省计算中心(国家超级计算济南中心)

发明人： 聂礼强 ,  甘甜 ,  关惟俐 ,  郑晓云 ,  翟永杰 ,  赵砚青 ,  罗旺 ,  陈雨涛 ,  高赞

IPC分类号： G06V20/10 ,  G06V10/74 ,  G06V10/774 ,  G06V10/82 ,  G06N3/08

摘要： 本发明属于压缩技术领域，具体提供了一种面向电力场景边缘计算大模型压缩的知识蒸馏与量化技术。其包括以下步骤:电力场景任务抽象；双层知识蒸馏网络单元构建；教师模型修饰处理；主从教师监督框架：基于教师‑学生蒸馏网络，使用多个数据集训练不同的教师模型，包括与目标任务类似的场景数据集和实际落地场景的数据集，将这些数据集进行划分，训练多个教师模型，按照数据集与落地场景相似度分配指导权重，分为主教师模型和若干个从教师模型，从而对学生模型进行不同层面的知识引导，提高学生模型在复杂场景下的泛化能力；学生模型压缩感知训练。

公开(公告)号：CN115238880B

公开(公告)日：2022-12-23

申请号：CN202211146873.4

申请日：2022-09-21

申请人： 山东大学 ,  华北电力大学(保定) ,  智洋创新科技股份有限公司 ,  南瑞集团有限公司 ,  国网浙江省电力有限公司温州供电公司 ,  山东省计算中心(国家超级计算济南中心)

发明人： 聂礼强 ,  宋雪萌 ,  赵振兵 ,  胡志坤 ,  罗旺 ,  郑晓云 ,  张盼盼 ,  井立强 ,  高赞

IPC分类号： G06N3/063 ,  G06N3/04 ,  G06N3/08 ,  G06K9/62 ,  G06Q10/00 ,  G06Q50/06

摘要： 本发明提供一种输电巡检终端的自适应部署方法、系统、设备以及存储介质，属于人工智能技术领域，通过搭建适配于所有输电巡检终端的超级网络；选择各变化维度中的参数最小值的子网络作为超级网络的基础模型，并对基础模型进行训练；选择单一变化维度作为变量，根据渐进策略获取采样扩展候选集，在采样扩展候选集中搜索设定数量的扩展子网络进行训练，并更新新增的网络参数；直至遍历所有子网络；通过神经网络搜索筛选最佳子网络，并基于最佳子网络对目标输电巡检终端进行部署。本发明在实现了节省计算资源的基础上，达到了确保子网络的精确度，有效缓解子网络之间相互干扰的显著效果。

公开(公告)号：CN115220479B

公开(公告)日：2022-12-13

申请号：CN202211140267.1

申请日：2022-09-20

申请人： 山东大学 ,  南瑞集团有限公司 ,  智洋创新科技股份有限公司 ,  国网浙江省电力有限公司温州供电公司 ,  华北电力大学(保定) ,  山东省计算中心(国家超级计算济南中心)

发明人： 聂礼强 ,  宋雪萌 ,  罗旺 ,  张万征 ,  郑晓云 ,  翟永杰 ,  刘杰 ,  张寅峰 ,  高赞

IPC分类号： G05D1/10

摘要： 本发明属于巡检技术领域，本发明提供了一种动静协同的输电线路精细化巡检方法与系统，通过动静态检测协同配合，实现电力系统大范围覆盖的精细化巡检，采用静态与动态数据的分段式检测提高检测精细化的同时，节省不必要的人力及算力资源。其包括以下步骤：固定采集设备采集回传静态信息；多层感知机融合多类别静态信息评估故障程度；巡检无人机对输电线路进行精细化巡检并上传多角度图像信息：若发生非紧急故障，则调用巡检无人机进行精细化巡检，获取所述巡检无人机的巡检信息，并通过通讯模块将所述巡检信息传输至目标数据控制中心；融合无人机多视角和固定视角图像信息的故障分类模型。

公开(公告)号：CN118887134A

公开(公告)日：2024-11-01

申请号：CN202411364592.5

申请日：2024-09-29

申请人： 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) ,  北京天瞳未来数字科技有限公司

发明人： 吴建龙 ,  李鑫锐 ,  杨家军 ,  李军 ,  聂礼强

IPC分类号： G06T5/73 ,  G06T5/50 ,  G06T5/60 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/0442

摘要： 本发明属于图像去模糊重建领域，为解决现有技术方法处理大型图像时拼接处常出现错位现象，提供了一种基于图像块知识积累与融合的图像去模糊重建方法及系统。其中，基于图像块知识积累与融合的图像去模糊重建方法包括将模糊图像切分成若干个设定尺寸的模糊图像块；提取每个模糊图像块的浅层特征；对每个模糊图像块的浅层特征进行多步知识积累与融合，再将最后一步得到的每个模糊图像块的特征作为深层特征提取输出；通过残差操作连接每个模糊图像块的深层特征与浅层特征，得到每个模糊图像块的去模糊重建结果；拼接所有模糊图像块的去模糊重建结果，获得去模糊重建图像。其能够获得真实清晰视觉体验的同时，统一图像块边缘，减少错位现象发生。

公开(公告)号：CN117593215B

公开(公告)日：2024-03-29

申请号：CN202410077241.X

申请日：2024-01-19

申请人： 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

发明人： 吴建龙 ,  李潇婕 ,  聂礼强 ,  张淼 ,  张民

IPC分类号： G06T5/70 ,  G06T7/11

摘要： 本发明属于图像自监督预训练领域，为解决生成模型生成图像的准确性差的问题，提供一种生成模型增强的大规模视觉预训练方法及系统。其中，生成模型增强的大规模视觉预训练方法包括利用预训练的生成模型，自适应生成原始图像所对应的正视图；对原始图像和正视图进行数据增强，生成增强后的正样本对，使用预训练的图像编码器提取正样本对的特征表示；根据正样本对的特征表示，计算注意力掩码来分隔前景区域和背景区域；评估正样本对的质量来调整每个正样本对在训练生成模型过程中对整体损失的贡献，计算每个正样本对的重新加权因子，得到最终损失函数，以确定是否继续训练生成模型，其能够减轻低质量和错误图像对生成模型生成图像准确性的影响。