面向巨量遥感数据的分布式存储方法、装置及介质

    公开(公告)号:CN114338718B

    公开(公告)日:2022-09-20

    申请号:CN202111573294.3

    申请日:2021-12-21

    申请人: 浙江大学

    摘要: 本发明公开了一种面向巨量遥感数据的分布式存储方法、装置及介质,属于分布式存储领域。本发明通过对巨量遥感数据元数据的数据划分规则进行优化,以包含多个空间要素的数据块作为分片的单位,实现了不同分片节点中遥感数据所需计算量的相对均衡,兼顾巨量遥感数据的分布式存储以及后续遥感数据的海量计算需求。本发明可以提升分布式引擎的稳定性和负载均衡性,对全球综合观测成果的应用具有重大意义。

    一种基于半监督学习的多标签微博文本分类方法

    公开(公告)号:CN113254599A

    公开(公告)日:2021-08-13

    申请号:CN202110720798.7

    申请日:2021-06-28

    申请人: 浙江大学

    摘要: 本发明公开了一种基于半监督学习的多标签微博文本分类方法,涉及自然语言处理领域。该方法首先对原始微博文本进行预处理,并对少量文本进行标注;然后使用反向翻译生成标注数据集的增广数据,使用同义词替换和随机噪声注入生成无标注数据集的增广数据,使用分类器猜测生成无标注数据的伪标签,与增广后的标注数据集共同组成新的训练集;再将多标签分类任务转化为多个二分类任务,训练半监督微博文本分类模型,训练时每次从新的训练集中随机抽取两个样本,在文本隐藏空间使用样本混合技术生成新的样本,计算损失值,更新网络参数;最后综合使用训练好的多个分类器对微博文本进行分类。本发明对微博文本的细粒度信息提取具有重要的应用价值。

    一种基于GACUC和Delaunay三角网的空间聚类方法

    公开(公告)号:CN104036024B

    公开(公告)日:2017-03-29

    申请号:CN201410299160.0

    申请日:2014-06-27

    申请人: 浙江大学

    IPC分类号: G06F17/30

    摘要: 本发明公开了一种基于GACUC和Delaunay三角网的空间聚类方法,空间聚类方法从空间数据的空间属性和非空间属性两种特性进行聚类,使每个聚类簇内的空间要素之间具有非空间属性的最大相似性,且具有空间要素的空间可达性。采用GACUC(贪心凝聚分类效用聚类方法)进行非空间属性聚类,支持非数字类型属性项的非空间属性聚类,扩大了聚类方法的应用范围,同时,基于Delaunay三角网来进行空间属性的聚类,实现了空间数据的非空间属性和空间属性这两个固有属性的聚类,更为准确地挖掘出各空间要素之间的关联关系和分布规律。本发明技术实现方法简单,采用计算机自动处理,节约了数据处理分析时间,提高了聚类结果的准确性和可用性,在空间数据挖掘领域应用前景非常广泛。

    一种基于最小距离空间的彩色图像分形维数测量方法

    公开(公告)号:CN106447712A

    公开(公告)日:2017-02-22

    申请号:CN201610872258.X

    申请日:2016-09-30

    申请人: 浙江大学

    IPC分类号: G06T7/48

    摘要: 本发明公开了一种基于最小距离空间的彩色图像分形维数测量方法。包括如下步骤:1)根据彩色影像的像元值建立彩色表面;2)根据设定的扩展半径确定彩色表面对应的最小距离空间;3)统计最小距离空间中不同尺度包含的子单元数量;4)利用最小二乘法求取分形维数的值。本发明对单一波段灰度影像分形维数的测量方法进行了改进,使其能够应用于对多波段彩色影像分形维数的计算,综合利用各波段的信息进行彩色影像纹理特征的描述,可以为影像分割、分类等后续处理提供参考。

    一种海陆交错带气象等值线自动绘制方法

    公开(公告)号:CN104102771B

    公开(公告)日:2017-02-15

    申请号:CN201410318436.5

    申请日:2014-07-04

    申请人: 浙江大学

    IPC分类号: G06F17/50

    摘要: 本发明公开了一种海陆交错带气象等值线自动绘制方法。包括如下步骤:1)从多维海洋气象数据中读取数据,并获取海陆分界数据,进行叠加分析分离出海洋区域数据;2)设定判断噪点的阈值,并对每个像元进行判断,若像元为噪点,对该像元进行校正,得到海洋区域有效数值范围;3)根据海洋区域的有效数值范围得到全部区域的一个划分;4)分别构建海洋区域和其他区域的间隔表,设置各个区域不同疏密的间隔;5)合并海洋区域和其他区域的间隔;6)利用MATLAB批量读取数据,并将间隔应用于MATLAB等值线绘制指令,实现自动绘制。本发明绘制的等值线可有效突出海洋区域要素的变化,并兼顾陆地区域气象要素的表现,可应用于海陆交错带气象专题图的制作等领域。

    基于关系型数据库及K-D树索引的文件数据管理方法

    公开(公告)号:CN104063487B

    公开(公告)日:2017-02-15

    申请号:CN201410316850.2

    申请日:2014-07-03

    申请人: 浙江大学

    IPC分类号: G06F17/30

    摘要: 本发明公开了一种基于关系型数据库及K-D树索引的文件数据管理方法,包括如下步骤:采用一致性哈希算法对文件进行分布存储,将文件的MD5值作为该文件的哈希值,将哈希值与集群中的服务器建立映射关系,从而将不同哈希值的文件分布到不同的服务器上;在元数据管理服务器端构建关系型数据库,对文件元数据库表结构进行设计;根据文件元数据库表字段数量构建多维检索树;根据服务器端接收的查询请求类型,进行相应查询,返回查询结果。本发明利用关系型数据库和内存中的文件索引,既保证了模糊检索的可用性,也保证了范围检索的高效性,在海量文件资料管理领域具有重要的实际应用价值。

    一种Argo浮标海洋产品的可视化仿真方法

    公开(公告)号:CN106372367A

    公开(公告)日:2017-02-01

    申请号:CN201610873331.5

    申请日:2016-09-30

    申请人: 浙江大学

    IPC分类号: G06F17/50

    摘要: 本发明公开了一种Argo浮标海洋产品的可视化仿真方法,其步骤如下:1)建立关系数据库图层,记录每个Argo浮标的信息;2)从关系数据库中,快速读取到需要进行绘制的海洋环境要素的数值,按照时间和深度两个层的概念进行三维矩阵存储;3)根据Argo浮标的监测位置信息构建m×n大小的网格空间,同时将几何坐标转换为墨卡托Mercator投影进行线性插值;4)将海洋环境要素的监测数据分别按照时间和空间的层次组织,根据m×n网格空间进行线性插值;5)每个Argo浮标的监测范围进行边界处理;6)将处理边界后的三维矩阵,通过MATLAB三维仿真方法进行可视化渲染。本方法可有效、直观地看到海洋产品的切面仿真,对于海洋环境产品的研究和应用有着重要的意义。

    一种面向海量Argo数据的分布式存储方法

    公开(公告)号:CN106372256A

    公开(公告)日:2017-02-01

    申请号:CN201610873026.6

    申请日:2016-09-30

    申请人: 浙江大学

    IPC分类号: G06F17/30 G06F17/50

    摘要: 本发明公开了一种面向海量Argo数据的分布式存储方法。该方法可以用来实现对多源异构、动态多维及海量的Argo数据进行高效的存储。其步骤如下:1)设计合理的表结构。2)针对Argo数据的不同特征和应用需求,本方法采用了不同的数据组织与管理方式。3)以HDFS为基础,实现Argo海量数据的分布式存储功能,并自动实现负载均衡。在数据传输中,系统采用了HDFS多节点与虚拟IP相结合的技术,解决了多节点无法同时与外界通信的问题。4)将海量argo数据自动化存入分布式云存储中。本发明在Argo数据管理中具有重要的实际应用价值,应用前景较广。

    一种移动设备室内定位方法

    公开(公告)号:CN106358150A

    公开(公告)日:2017-01-25

    申请号:CN201610872143.0

    申请日:2016-09-30

    申请人: 浙江大学

    IPC分类号: H04W4/02 H04W4/04 H04W64/00

    摘要: 本发明提出了一种移动设备的室内定位方法。利用NFC近场通信技术安全、快速、带宽高、能耗低的优势,将位置指纹数据存储于NFC标签当中,移动设备通过自带的NFC芯片读取标签中的位置指纹数据,获取到用户当前点的位置信息,初始化用户当前位置,通过移动设备的磁场感应器、加速度感应器,实时获取用户的前进方向和速度,依靠用户初始位置和传感器数据得出用户实时位置,实现在运动状态下的室内定位,利用GeoServer发布的瓦片地图服务,将用户实时位置显示在瓦片地图当中。上述方法实现了基于移动设备传感器的室内定位,具有定位精度较高、实时性强、操作简单便捷等优势。