基于Hadoop的饮用水海量数据存储管理方法和系统

    公开(公告)号:CN109165207B

    公开(公告)日:2021-11-26

    申请号:CN201810787118.1

    申请日:2018-07-16

    Abstract: 本发明公开了基于Hadoop的饮用水海量数据存储管理方法,包括以下步骤:将实时属性数据存入区域服务器,将区域服务器中的实时属性数据迁移Kafka集群中,并进行数据清洗,将清洗后的实时属性数据存入Hadoop集群中;将Hadoop集群中的实时属性数据根据属性进行第二次分类,将分类后的实时属性数据合并成大文件并生成索引文件;将合并后的大文件和索引文件存入Hadoop集群中。本发明对小文件的实时属性数据根据产生地域、时间后先做一次分类,然后再根据数据的元素类型再做一次分类,最后进行合并存储,这样大大减少了内存的消耗,提高了平台的性能。

    一种基于ResNet神经网络的单幅图像去雾方法

    公开(公告)号:CN108230264B

    公开(公告)日:2020-05-15

    申请号:CN201711305489.3

    申请日:2017-12-11

    Abstract: 本发明为基于ResNet神经网络的单幅图像去雾方法,实现了对有雾图像端到端的去雾清晰化处理,其步骤包括:获取同一个场景下的雨雾天气状况下的有雾图像及晴天的清晰图像,组成图像数据集;对图像数据集使用SIFT进行关键点匹配,校正图像的像素偏移;搭建一个基于ResNet的深度神经网络,其输入为单幅有雾的场景图像;使用所搭建的深度神经网络,实现对降质图像进行端到端的去雾清晰化处理。本发明专利使用了ResNet网络,能够较好地提取输入图像的特征,对特定场景下的有雾图像具有很好地去雾清晰化效果,图像视觉还原效果极佳。

    一种图像去雾方法
    4.
    发明公开

    公开(公告)号:CN109685737A

    公开(公告)日:2019-04-26

    申请号:CN201811579417.2

    申请日:2018-12-24

    CPC classification number: G06T5/003 G06N3/0454

    Abstract: 本发明公开了一种图像去雾方法,具体包括以下步骤:搭建基于ResNet的深度神经网络模型;采集训练数据集并训练网络模型;设计神经网络模型损失函数,使神经网络模型更精确地实现对有雾图像的去雾清晰化处理;精简压缩神经网络模型,压缩神经网络模型计算量;使用训练好的神经网络模型对待处理图像进行端到端去雾清晰化处理。本发明通过压缩神经网络模型,使模型计算量和参数数量明显下降,减少运行时间,可在移动端稳定运行。

    基于Hadoop的饮用水海量数据存储管理方法和系统

    公开(公告)号:CN109165207A

    公开(公告)日:2019-01-08

    申请号:CN201810787118.1

    申请日:2018-07-16

    Abstract: 本发明公开了基于Hadoop的饮用水海量数据存储管理方法,包括以下步骤:将实时属性数据存入区域服务器,将区域服务器中的实时属性数据迁移Kafka集群中,并进行数据清洗,将清洗后的实时属性数据存入Hadoop集群中;将Hadoop集群中的实时属性数据根据属性进行第二次分类,将分类后的实时属性数据合并成大文件并生成索引文件;将合并后的大文件和索引文件存入Hadoop集群中。本发明对小文件的实时属性数据根据产生地域、时间后先做一次分类,然后再根据数据的元素类型再做一次分类,最后进行合并存储,这样大大减少了内存的消耗,提高了平台的性能。

    一种基于ResNet神经网络的单幅图像去雾方法

    公开(公告)号:CN108230264A

    公开(公告)日:2018-06-29

    申请号:CN201711305489.3

    申请日:2017-12-11

    Abstract: 本发明为基于ResNet神经网络的单幅图像去雾方法,实现了对有雾图像端到端的去雾清晰化处理,其步骤包括:获取同一个场景下的雨雾天气状况下的有雾图像及晴天的清晰图像,组成图像数据集;对图像数据集使用SIFT进行关键点匹配,校正图像的像素偏移;搭建一个基于ResNet的深度神经网络,其输入为单幅有雾的场景图像;使用所搭建的深度神经网络,实现对降质图像进行端到端的去雾清晰化处理。本发明使用了ResNet网络,能够较好地提取输入图像的特征,对特定场景下的有雾图像具有很好地去雾清晰化效果,图像视觉还原效果极佳。

    一种无人机搭载的农田监控视频去雾清晰化的装置

    公开(公告)号:CN207835649U

    公开(公告)日:2018-09-07

    申请号:CN201721491381.3

    申请日:2017-11-10

    Abstract: 本实用新型公开了一种无人机搭载的农田监控视频去雾清晰化的装置,包括视频图像采集模块、视频图像处理模块;视频图像采集模块搭载在无人机上,包括依次连接的视频输入设备、视频编码模块和无线通信模块;视频图像处理模块包括依次连接的无线通信模块、视频解码模块、树莓派和视频图像显示模块;视频图像采集模块和视频图像处理模块通过所述无线通信模块连接。本实用新型结构简单,实用无人机搭载可以实现低空作业,并且可以针对雨雾天气等不良天气状况下,系统采集到降质的图像进行实时处理功能,适用于农田监控等低空户外作业。

Patent Agency Ranking