支持可变列Excel文件解析方法及系统

    公开(公告)号:CN111931460A

    公开(公告)日:2020-11-13

    申请号:CN202010625456.2

    申请日:2020-07-02

    IPC分类号: G06F40/12

    摘要: 本发明提供一种支持可变列Excel文件解析方法及系统,将待解析Excel文件与基础模板文件进行表头校验,确定产品检测数据的所属类型,记录文件路径与所属类型之间的映射关系,将所属映射关系发送到消息中间件MQ中;消息中间件MQ消费端监听到消息后获取映射关系,将所属类型用于加载预先建立的解析对象java模型,将文件路径对应的Excel文件加载到内存中;读取内存中Excel文件的每行数据,存放到对应的解析对象java模型中;将存有数据的解析对象java模型序列化成JSON串,发送到Kafka进行落库。采用支持可变列的Excel解析方法,解决工厂产品检测数据入数据库的问题,助力工厂产品检测数据数字化。

    支持可变列Excel文件解析方法及系统

    公开(公告)号:CN111931460B

    公开(公告)日:2021-09-10

    申请号:CN202010625456.2

    申请日:2020-07-02

    IPC分类号: G06F40/12

    摘要: 本发明提供一种支持可变列Excel文件解析方法及系统,将待解析Excel文件与基础模板文件进行表头校验,确定产品检测数据的所属类型,记录文件路径与所属类型之间的映射关系,将所属映射关系发送到消息中间件MQ中;消息中间件MQ消费端监听到消息后获取映射关系,将所属类型用于加载预先建立的解析对象java模型,将文件路径对应的Excel文件加载到内存中;读取内存中Excel文件的每行数据,存放到对应的解析对象java模型中;将存有数据的解析对象java模型序列化成JSON串,发送到Kafka进行落库。采用支持可变列的Excel解析方法,解决工厂产品检测数据入数据库的问题,助力工厂产品检测数据数字化。

    一种基于Apollo实现工业互联网分布式服务降级系统

    公开(公告)号:CN112187521A

    公开(公告)日:2021-01-05

    申请号:CN202010940297.5

    申请日:2020-09-09

    IPC分类号: H04L12/24 H04L12/819

    摘要: 本发明公开了一种基于Apollo实现工业互联网分布式服务降级系统,所述系统包括:Sentinel client端,用于接收用户请求;Sentinel server,包括:Apollo配置中心和Sentinel Dashboard端;所述Apollo配置中心,用于形成降级规则;所述Sentinel Dashboard端,用于根据所述接收请求推送相应的规则至所述Sentinel client端,以使所述Sentinel client端根据所述用户请求路径和模块内存进行匹配,并根据令牌桶算法进行控制请求的数量。决大量请求下能够保证核心功能的高可用性而选择性的降低一些功能的可用性,或者直接关闭该功能,为了防止系统宕机和给用户一种更加友好的体验。

    基于布隆过滤器的数据查重系统及方法

    公开(公告)号:CN111930924A

    公开(公告)日:2020-11-13

    申请号:CN202010630817.2

    申请日:2020-07-02

    IPC分类号: G06F16/335

    摘要: 本发明提供了一种基于布隆过滤器的数据查重系统及方法,包括:初始化过滤器模块:每个过滤器初始化时需要传入p与n两个参数,n为插入的元素个数,p为误报率,生成哈希函数个数numHashFunctions和布隆过滤器长度bitSize。本发明极大节省了单次处理时间与降低实际滤误判概率,过滤器会达到更稳定更可靠。不会因为后期数据量大了之后过滤器处理时间长而拖累其它程序服务使用。在量化效果上用改造后的过滤器比现有过滤器的综合性能快100倍左右。

    布隆过滤器系统及过滤方法

    公开(公告)号:CN111930923A

    公开(公告)日:2020-11-13

    申请号:CN202010628830.4

    申请日:2020-07-02

    IPC分类号: G06F16/335

    摘要: 本发明提供了一种布隆过滤器系统及过滤方法,包括:初始化过滤器模块:每个过滤器初始化时需要传入p与n两个参数,n为插入的元素个数,p为误报率,生成哈希函数个数numHashFunctions和布隆过滤器长度bitSize。本发明极大节省了单次处理时间与降低实际滤误判概率,过滤器会达到更稳定更可靠。不会因为后期数据量大了之后过滤器处理时间长而拖累其它程序服务使用。在量化效果上用改造后的过滤器比现有过滤器的综合性能快100倍左右。

    布隆过滤器系统及过滤方法

    公开(公告)号:CN111930923B

    公开(公告)日:2021-07-30

    申请号:CN202010628830.4

    申请日:2020-07-02

    IPC分类号: G06F16/335

    摘要: 本发明提供了一种布隆过滤器系统及过滤方法,包括:初始化过滤器模块:每个过滤器初始化时需要传入p与n两个参数,n为插入的元素个数,p为误报率,生成哈希函数个数numHashFunctions和布隆过滤器长度bitSize。本发明极大节省了单次处理时间与降低实际滤误判概率,过滤器会达到更稳定更可靠。不会因为后期数据量大了之后过滤器处理时间长而拖累其它程序服务使用。在量化效果上用改造后的过滤器比现有过滤器的综合性能快100倍左右。

    一种字符识别方法、装置及存储介质

    公开(公告)号:CN112115933A

    公开(公告)日:2020-12-22

    申请号:CN202010864604.6

    申请日:2020-08-25

    发明人: 刘滨 旷黎明 林大

    IPC分类号: G06K9/20

    摘要: 本发明公开了一种字符识别方法,所述方法包括:获取目标字符,并组建至少一个目标字符库;基于每一个目标字符库和预设数据处理结构,构造每一个目标字符库的目标数据结构;获取待处理字符;根据微服务与所述目标数据结构的调用关系,对所述待处理字符进行识别,并获取识别结果,旨在保证工业物联网领域中大数据的采集做到规范合法、节省内存空间且高效的QPS,本发明采用Be‑Tree的算法搭建起来微服务,可以有效防范对网站的XSS攻击和非法字符的录入,同时避免了现有的工业场景下微服务架构中每个微服务都要加载海量词库,从而节省大量的内存空和提升服务的可用性。

    一种工业物联网对象存储实时监测系统

    公开(公告)号:CN112104726A

    公开(公告)日:2020-12-18

    申请号:CN202010941031.2

    申请日:2020-09-09

    IPC分类号: H04L29/08 H04L12/26

    摘要: 本发明公开了一种工业物联网对象存储实时监测系统,包括:配置模块,用于读取配置文件,并完成配置信息初始化;文件桶管理模块,用于接收所述Minio client对象,并基于所述Minio client对象管理文件对象的存储空间;对象管理模块,用于对文件对象的管理操作,其中,所述管理操作包括不限于文件对象的上传、下载和删除操作,并基于所述管理操作产生文件对象信息;消息中间件模块,用于接收所述文件对象信息的实施信息,以进行监测管理。结合对象存储及分布式消息中间件实现对文件对象存储实时监测,保障了工业现场海量数据文件被集中管理、实时监测,并极大提高了数据使用的可复用性并降低维护成本。