公开(公告)号：CN109299089B

公开(公告)日：2020-05-26

申请号：CN201810982952.6

申请日：2018-08-27

Applicant: 广东电网有限责任公司信息中心

Inventor： 冯歆尧 ,  黄剑文 ,  萧展辉 ,  江疆 ,  叶枝平 ,  毛莉萍 ,  谭火超 ,  严宇平 ,  苏华权 ,  丘荣恭 ,  孟禹

IPC: G06F16/22 ,  G06F16/2455 ,  G06F16/25 ,  G06F16/28 ,  G06F16/953

Abstract: 本发明涉及画像数据计算及存储技术，为标签数据计算及存储方法和系统，其方法包括：获取并存储业务数据；对过程数据两级缓存：对业务数据按照时间周期汇总计算，获得并缓存一级过程数据，对一级过程数据按照时间窗口汇总计算，获得并缓存二级过程数据；对结果数据两级缓存：对二级过程数据根据机器学习算法计算，获得并缓存三级结果数据，对三级结果数据按照画像标签计算规则计算，获得并缓存四级画像标签数据；将四级画像标签数据转化为画像标签实时数据、画像标签历史数据及标签分析数据，对画像标签实时数据、画像标签历史数据进行存储并对标签分析数据进行缓存，并对数据查询请求进行判断处理。应用本发明，可提高标签数据查询效率。

公开(公告)号：CN109284195A

公开(公告)日：2019-01-29

申请号：CN201810983596.X

申请日：2018-08-27

Applicant: 广东电网有限责任公司信息中心

Inventor： 黄剑文 ,  冯歆尧 ,  王国瑞 ,  江疆 ,  萧展辉 ,  陈宋 ,  毛莉萍 ,  钱正浩 ,  杨秋勇 ,  苏华权 ,  丘荣恭 ,  孟禹

IPC: G06F9/54 ,  G06F16/58 ,  G06F16/51

Abstract: 本发明涉及画像数据的计算技术，具体涉及实时画像数据计算方法及系统，其方法包括：对日志数据进行实时采集、解析，形成数据采集链接；根据数据采集链接，按照数据类型对采集的日志数据进行划分，形成有序消息队列，将所采集的日志数据作为Kafka消息源，利用Kafka消息队列的异步通信机制将各层之间解耦转发出去；使用Strom集群，基于画像标签的计算规则实时计算数据流，输出实时画像标签；对计算输出的实时画像存储，供查询并返回数据，对短期查询的实时数据缓存，供短期高频查询使用；接收数据查询请求，调度处理数据，对实时画像标签数据有效整理，返回实时画像数据并可视化展示。本发明提高了实时画像数据的计算输出效率。

公开(公告)号：CN109299089A

公开(公告)日：2019-02-01

申请号：CN201810982952.6

申请日：2018-08-27

Applicant: 广东电网有限责任公司信息中心

Inventor： 冯歆尧 ,  黄剑文 ,  萧展辉 ,  江疆 ,  叶枝平 ,  毛莉萍 ,  谭火超 ,  严宇平 ,  苏华权 ,  丘荣恭 ,  孟禹

IPC: G06F16/22 ,  G06F16/2455 ,  G06F16/25 ,  G06F16/28 ,  G06F16/953

Abstract: 本发明涉及画像数据计算及存储技术，为标签数据计算及存储方法和系统，其方法包括：获取并存储业务数据；对过程数据两级缓存：对业务数据按照时间周期汇总计算，获得并缓存一级过程数据，对一级过程数据按照时间窗口汇总计算，获得并缓存二级过程数据；对结果数据两级缓存：对二级过程数据根据机器学习算法计算，获得并缓存三级结果数据，对三级结果数据按照画像标签计算规则计算，获得并缓存四级画像标签数据；将四级画像标签数据转化为画像标签实时数据、画像标签历史数据及标签分析数据，对画像标签实时数据、画像标签历史数据进行存储并对标签分析数据进行缓存，并对数据查询请求进行判断处理。应用本发明，可提高标签数据查询效率。