一种海洋渔场渔情预报系统中的缺失数据填补方法及系统

    公开(公告)号:CN112835884B

    公开(公告)日:2023-05-16

    申请号:CN202110195665.2

    申请日:2021-02-19

    摘要: 本发明提供一种海洋渔场渔情预报系统中的缺失数据填补方法,包括以下步骤:步骤1:数据实时获取:给定传感器网络监测区域内的n个数据源,将数据源获取到的数据从传感器节点经由传感器网络端传送到服务器端,实现数据流的实时获取;步骤2:模型初始化:对于获取到的包含大量缺失值的实时数据流,进行填补模型初始化、近邻参数初始化、增量更新填补模型及相关参数更新;步骤3:查询响应处理:基于经过步骤2填补后得到的完整的数据流,对用户的查询进行快速响应,从而得到所需要的海洋渔场数据,进行后续的渔场渔情预报分析。本发明的技术方案解决了现有技术中的填补方法无法适应高速动态数据流的问题。

    一种海洋生物探测系统中的缺失值填补方法

    公开(公告)号:CN117235662A

    公开(公告)日:2023-12-15

    申请号:CN202311125424.6

    申请日:2023-09-01

    摘要: 本发明提供了一种海洋生物探测系统中的缺失值填补方法,涉及海洋数据预处理技术领域,包括如下步骤:S1:数据获取:对获得到的多模态数据包括图像以及文本数据进行标准化和归一化处理,获得预处理后的数据;S2:特征提取及融合:分别训练VGG16模型以及textCNN模型对于获取到的图像以及文本数据分别使用以上两种模型提取特征,并通过训练不断更新模型获取更有效的特征。将获取到的图像以及文本特征通过特征融合模型得到融合后的特征以实现信息互补;S3:数据填补:基于S2获取到的融合特征,进行迭代式地更新模型以及缺失值填补。本发明解决了已有数据填补方法无法适应多模态高缺失率数据的问题。

    一种面向海洋数据流的数据清洗方法和系统

    公开(公告)号:CN110134675A

    公开(公告)日:2019-08-16

    申请号:CN201910432271.7

    申请日:2019-05-23

    IPC分类号: G06F16/215

    摘要: 本发明提供一种面向海洋数据流的数据清洗方法和系统,所述数据清洗方法包括以下步骤:步骤1:给定传感器网络监测区域内的n个数据源S={s1,s2,…,Sn},从准确性、完整性、一致性三方面,对每个数据源的可靠性进行周期性地综合度量;步骤2:根据数据源可靠性和用户给定的任意精度要求,选择部分数据源进行数据传输;步骤3:基于步骤2选中的数据源,将其获取到的数据从传感器节点经由传感器网络端传送到服务器端,实现数据流的实时获取;步骤4:对于实时数据流,进行在线的、一体式的异常点检测、异常点修复和缺失值填补;步骤5:对用户的查询进行快速响应。本发明解决了已有数据清洗方法无法适应高速动态数据流的问题。

    一种自主深度学习的图像传感数据获取方法

    公开(公告)号:CN118154832A

    公开(公告)日:2024-06-07

    申请号:CN202410286763.0

    申请日:2024-03-13

    摘要: 本发明提供了一种自主深度学习的图像传感数据获取方法,涉及深度学习技术领域,包括如下步骤:S1、将历史数据输入至X‑VAE网络进行训练,得到一个收敛的预训练X‑VAE模型并分发到本地端的传感器节点网络;S2、将当前和上一采样时刻数据作为输入进入压缩网络,从而获得两个低维特征,将获得的两个低维特征输入至采样算法中计算获得下一采样时刻,并只在采样时刻进行采样,获得第一采样数据;S3、输出迭代后的X‑VAE模型;S4、将恢复的数据存储到云端,得到完整的图像传感数据。本发明提供了自主深度学习的图像传感数据获取方法,兼顾能量和带宽限制,以及真实物理世界变化。实验结果显示该方法在延长网络寿命、提高图像恢复质量方面表现优异。

    一种海上气象预报系统中的缺失数据填补方法及系统

    公开(公告)号:CN118035642A

    公开(公告)日:2024-05-14

    申请号:CN202410143571.4

    申请日:2024-01-31

    摘要: 本发明提供了一种海上气象预报系统中的缺失数据填补方法及系统,方法包括如下步骤:步骤1:获取到实时数据集;步骤2:选取现有与实时数据集相同种类的数据集作为元学习过程的训练数据,得到初始化参数;步骤3:利用实时数据集建立OSELM模型,得到训练后的a模型和a模型生成的初始数据流;步骤4:概念漂移检测,基于a模型使用漂移检测窗口d内的数据块建立b模型,得到b模型后,通过a,b模型的输出权重差异进行漂移值计算并与规定的阈值比较,判断是否发生概念漂移,输出最终数据流;步骤5:基于步骤4填补完成的最终数据流,得到的完整数据流。本发明的技术方案解决了现有技术中的填补方法无法适应高速动态数据流的问题。

    一种基于修改文本反馈的多模态图像检索方法

    公开(公告)号:CN117932099A

    公开(公告)日:2024-04-26

    申请号:CN202410324364.9

    申请日:2024-03-21

    摘要: 本发明提供一种基于修改文本反馈的多模态图像检索方法,属于多模态图像检索技术领域,包括:选择目标图像集,获取参考图像,利用CLIP的图像编码器提取参考图像特征;输入修改文本,利用CLIP的文本编码器提取修改文本特征,将参考图像特征和修改文本特征输入至特征组合器进行特征融合,得到组合特征;提取候选图像集的特征,与组合特征进行相似度计算,将相似度前50的图像划分为高置信度目标图像,根据相似度大小对高置信度目标图像进行排名,将置信度最高的图像作为新的参考图像,根据设定的相似度阈值判断是否需要再次补充修改文本,直至找到目标图像。本发明还提出了基于两阶段训练和双重注意力的组合图像检索模型,来提升检索准确性。

    一种偏序域上的skyline查询方法

    公开(公告)号:CN110334252A

    公开(公告)日:2019-10-15

    申请号:CN201910618122.X

    申请日:2019-07-10

    IPC分类号: G06F16/901 G06F16/903

    摘要: 本发明提供一种偏序域上的skyline查询方法,包括:对待测数据集进行分组;根据用户的偏好哈斯图按映射规则映射到所述全序维度上;对除分组维度外的每个所述分组内的数据建立倒排索引;根据循环扫描策略和临时表更新策略对分组的数据集进行扫描,并将扫描结果存放到临时结果集中,直到扫描到扫描结束点根据分组计算结束条件结束相应分组的计算;当所有分组的计算都结束时,结束算法,将所有临时结果集中的结果取并集输出,所述并集即为需要返回给用户的skyline。本发明解决了现有偏序域上skyline计算方法的效率瓶颈问题,通过将倒排索引引入skyline查询领域,利用提前对数据进行分组并建立倒排索引的方式提高了skyline计算效率。

    一种基于修改文本反馈的多模态图像检索方法

    公开(公告)号:CN117932099B

    公开(公告)日:2024-07-23

    申请号:CN202410324364.9

    申请日:2024-03-21

    摘要: 本发明提供一种基于修改文本反馈的多模态图像检索方法,属于多模态图像检索技术领域,包括:选择目标图像集,获取参考图像,利用CLIP的图像编码器提取参考图像特征;输入修改文本,利用CLIP的文本编码器提取修改文本特征,将参考图像特征和修改文本特征输入至特征组合器进行特征融合,得到组合特征;提取候选图像集的特征,与组合特征进行相似度计算,将相似度前50的图像划分为高置信度目标图像,根据相似度大小对高置信度目标图像进行排名,将置信度最高的图像作为新的参考图像,根据设定的相似度阈值判断是否需要再次补充修改文本,直至找到目标图像。本发明还提出了基于两阶段训练和双重注意力的组合图像检索模型,来提升检索准确性。

    一种分布式Skyline查询系统及方法

    公开(公告)号:CN110347705A

    公开(公告)日:2019-10-18

    申请号:CN201910657412.5

    申请日:2019-07-19

    IPC分类号: G06F16/2453 G06F16/2458

    摘要: 本发明提供一种分布式Skyline查询系统,包括:网络架构模块、数据存储模块以及应用模块。所述网络架构模块通过主从式架构设置,由一个主节点即Master节点和多个从节点即数据节点构成;Master节点负责调度各数据节点并汇总数据节点的信息;所述数据节点存储数据并完成查询过滤计算;分布式Skyline查询中,避免瓶颈节点的产生是提高查询效率的关键因素。此外,本地Skyline候选集的计算效率以及合并计算时候选集的大小也决定着分布式Skyline查询的效率。本发明能够有效避免瓶颈节点的产生,同时能够在尽可能少的时间内得到尽可能小的候选集,大大提高了分布式Skyline查询效率。