-
公开(公告)号:CN113467949B
公开(公告)日:2022-06-28
申请号:CN202110766163.0
申请日:2021-07-07
申请人: 河海大学 , 中科可控信息产业有限公司
摘要: 本发明公开一种边缘计算环境下用于分布式DNN训练的梯度压缩方法,建立基于梯度数量的选择标准,筛选满足模型压缩标准的梯度网络层;根据梯度熵评估梯度重要性,自适应地选择梯度稀疏化的阈值,基于灵活的阈值对梯度稀疏化压缩;根据梯度残差和动量矫正机制,累积并优化梯度残差,减少梯度稀疏造成训练模型的性能损失;根据三元量化压缩方案,量化稀疏后的梯度,得到稀疏三元张量;根据无损编码技术,记录传递张量中非零梯度的距离,并对其优化编码,输出稀疏三元化梯度。本发明基于梯度数量和梯度熵的稀疏三元梯度压缩算法,能自适应地压缩分布式DNN训练中梯度交换阶段的梯度大小,有效地提高分布式DNN训练的通信效率。
-
公开(公告)号:CN113469341A
公开(公告)日:2021-10-01
申请号:CN202110766607.0
申请日:2021-07-07
申请人: 河海大学 , 中科可控信息产业有限公司
摘要: 本发明公开一种基于版本差异的流水线并行训练节点权重分配方法,载入初始化深度学习模型;构建流水线并行训练方案,采用异步参数更新方法,并发执行不同批次的训练,记录训练批次在单位流水线执行时间内完成前向和后向传递过程。利用最新的训练节点权重版本,预测出未来训练过程的节点权重,根据节点权重预测进行该批次版本差异计算。待该节点完成所有批次的版本差异计算,则完成该节点的预测权重更新。计算了所有节点的版本差异,即完成流水线并行训练节点权重分配;并将其部署到异构计算节点中,得到针对拟训练目标网络的流水线并行训练节点权重分配方案。本发明方法使节点权重预测更加准确。
-
公开(公告)号:CN113467949A
公开(公告)日:2021-10-01
申请号:CN202110766163.0
申请日:2021-07-07
申请人: 河海大学 , 中科可控信息产业有限公司
摘要: 本发明公开一种边缘计算环境下用于分布式DNN训练的梯度压缩方法,建立基于梯度数量的选择标准,筛选满足模型压缩标准的梯度网络层;根据梯度熵评估梯度重要性,自适应地选择梯度稀疏化的阈值,基于灵活的阈值对梯度稀疏化压缩;根据梯度残差和动量矫正机制,累积并优化梯度残差,减少梯度稀疏造成训练模型的性能损失;根据三元量化压缩方案,量化稀疏后的梯度,得到稀疏三元张量;根据无损编码技术,记录传递张量中非零梯度的距离,并对其优化编码,输出稀疏三元化梯度。本发明基于梯度数量和梯度熵的稀疏三元梯度压缩算法,能自适应地压缩分布式DNN训练中梯度交换阶段的梯度大小,有效地提高分布式DNN训练的通信效率。
-
公开(公告)号:CN114998673B
公开(公告)日:2023-10-13
申请号:CN202210513592.1
申请日:2022-05-11
申请人: 河海大学 , 华能澜沧江水电股份有限公司
IPC分类号: G06V10/774 , G06V10/82 , G06N3/047 , G06N3/0442 , G06N3/049 , G06N3/08
摘要: 本发明公开一种基于本地自注意力机制的大坝缺陷时序图像描述方法,对输入大坝缺陷时序图像进行帧采样,使用卷积神经网络提取特征序列,并将该序列作为自注意力编码器的输入;编码器由基于可变自注意力机制的Transformer网络构成,能够动态建立每一帧的上下文特征关系;采用基于本地注意力机制的LSTM网络生成描述文本,使得预测的每一个单词都能与图像帧建立特征关系,建立图像和文本的上下文依赖以提高文本生成的准确率。本发明在计算图像帧的全局自注意力的基础上添加了动态机制,避免了过大的参数量导致模型收敛缓慢。添加本地注意力的LSTM网络能够直接建立图像和文本两个模态数据之间的对应关系,使得生成的描述文本更准确,包含的信息更全面。
-
公开(公告)号:CN114913150B
公开(公告)日:2023-08-22
申请号:CN202210515193.9
申请日:2022-05-11
申请人: 河海大学 , 华能澜沧江水电股份有限公司
IPC分类号: G06T7/00 , G06T7/33 , G06V10/22 , G06V10/62 , G06V10/764 , G06N3/0464 , G06N3/08
摘要: 本发明公开一种混凝土大坝缺陷时序图像智能识别方法,使用双流网络提取包含混凝土大坝缺陷的时序图像的特征序列,并添加时间维度的自注意力机制获取全局上下文特征关系;在模型的训练过程中,使用基于距离交并比的目标函数匹配定位缺陷和真实缺陷,计算缺陷的时序位置关系加速模型收敛;在模型损失函数中添加基于紧密感知交并比的损失项,以关注缺陷序列的完整性提高准确率;在完成缺陷定位后,采用基于2D时序差分的卷积神经网络提取缺陷特征并识别缺陷类型。本发明对混凝土大坝缺陷时序图像进行了有效检测,不仅能够定位长图像序列中的缺陷位置,还能够准确识别缺陷类型。在大坝缺陷时序图像的识别任务中具有较高的识别精度与较好的收敛性能。
-
公开(公告)号:CN116385530B
公开(公告)日:2023-08-08
申请号:CN202310641984.0
申请日:2023-06-01
申请人: 太湖流域水文水资源监测中心(太湖流域水环境监测中心) , 河海大学
摘要: 本发明公开了一种基于物联网技术的河湖漂浮物目标识别方法,所述方法包括:在每个摄像头上部署初筛小目标的经过信任度权重调整后的SSD算法,当摄像头检测到小目标时将检测结果上报给边缘服务器;在边缘服务器上部署根据多个摄像头的采集图像结合判断小目标类型和位置的模型,结合不同摄像头的采集图像进行小目标判断,以及利用多角测量法计算当前小目标所在的位置;边缘服务器将计算的小目标的位置信息和水流速度信息上报至监控平台;所述监控平台预测小目标的位置变化趋势,并可视化显示;通过本发明的方法为实时、高效的河湖漂浮物监控提供了一种可行的解决方案。
-
公开(公告)号:CN115828882A
公开(公告)日:2023-03-21
申请号:CN202211164831.3
申请日:2022-09-23
申请人: 华能澜沧江水电股份有限公司 , 河海大学 , 华能集团技术创新中心有限公司
IPC分类号: G06F40/189 , G06F40/295 , G06F16/36 , G06F18/214 , G06F18/22 , G06N3/042 , G06N3/048 , G06N3/045 , G06N3/08 , G06N20/20
摘要: 本发明公开一种面向大坝安全知识库风险联动的实体对齐方法和系统,包括:大坝安全知识库中的知识图谱信息提取,针对大坝安全知识图谱进行知识抽取的操作,构造下述两个模型组件的基本大坝安全训练数据集;基于结构特征的对齐模型,使用两层GCN在结构图上对实体进行编码,最后计算实体向量之间的距离得到对齐结果;基于属性特征的对齐模型,通过使用预训练BERT模型进行知识的属性特征嵌入,解决属性特征语义捕获不充分的问题;迭代协同训练,解决缺少监督数据的问题,交替利用结构和属性信息进行实体对齐,达到对训练数据集的迭代拓展;对齐模型预测,通过上述对齐模型对大坝安全知识库进行实体对齐操作,实现应急工况下的大坝安全知识库风险联动。
-
公开(公告)号:CN114780720A
公开(公告)日:2022-07-22
申请号:CN202210318340.3
申请日:2022-03-29
申请人: 河海大学
摘要: 本发明公开了一种基于小样本学习的文本实体关系分类方法,包括以下步骤:1)采用卷积神经网络作为实例编码器提取数据集中实例向量的语义特征;2)在小样本学习场景下,通过设计原型级注意力机制模块,为每个实例赋予权重,以加权求和的方式表示每个关系的原型;3)在小样本学习场景下,更换新的度量函数。通过距离级注意力机制模块,利用卷积操作提取支持集向量中的特征系数,并用曼哈顿距离公式与特征系数的乘积作为新的度量函数来计算支持集中每一个关系原型和查询实例之间的距离;4)利用softmax函数实现小样本关系分类。
-
公开(公告)号:CN107944286B
公开(公告)日:2021-06-01
申请号:CN201711248754.9
申请日:2017-12-01
申请人: 河海大学
摘要: 本发明公开了一种基于明文特征的图像置乱方法,利用明文图像的明文特征对初值产生扰动,使得图像的置乱不仅依赖于密钥还依赖于图像的本身,明文图像的细小变化都会导致置乱图像的不同,同时图像的置乱不会改变像素值,不需要额外的传递明文特征值。此外,本方法不仅实现了图像的快速置乱,且抗攻击能力强,能抵抗已知明文攻击和选择明文攻击,且恢复图像的可读性不受影响。
-
公开(公告)号:CN110728397B
公开(公告)日:2021-03-02
申请号:CN201910917819.7
申请日:2019-09-26
申请人: 河海大学 , 华能澜沧江水电股份有限公司
摘要: 本发明公开了一种基于模型自动匹配的大坝单测点阈值计算方法,步骤为:(1)构建可扩充的预测模型总库,(2)构建数据库,(3)计算数据相似度,选择最小相似度值的测点作为相似测点,若最小相似度值小于等于阈值S,则直接配置该测点与相似测点相同的预测模型,否则重新匹配最佳模型,(4)更新预测模型,比较该时段测点数据的R平方值与原预测模型离线阶段时的初始R平方值,若不小于初始R平方值则不变,若小于且差值在0.02范围内则仅更新原预测模型的超参数,否则重新匹配模型,(5)计算出该测点阈值当日的异常级别。本发明在节约人力成本和降低数据与模型的耦合度的同时,保证单点阈值计算结果精确性和实时性。
-
-
-
-
-
-
-
-
-