一种实时画像数据计算方法及系统

    公开(公告)号:CN109284195A

    公开(公告)日:2019-01-29

    申请号:CN201810983596.X

    申请日:2018-08-27

    Abstract: 本发明涉及画像数据的计算技术,具体涉及实时画像数据计算方法及系统,其方法包括:对日志数据进行实时采集、解析,形成数据采集链接;根据数据采集链接,按照数据类型对采集的日志数据进行划分,形成有序消息队列,将所采集的日志数据作为Kafka消息源,利用Kafka消息队列的异步通信机制将各层之间解耦转发出去;使用Strom集群,基于画像标签的计算规则实时计算数据流,输出实时画像标签;对计算输出的实时画像存储,供查询并返回数据,对短期查询的实时数据缓存,供短期高频查询使用;接收数据查询请求,调度处理数据,对实时画像标签数据有效整理,返回实时画像数据并可视化展示。本发明提高了实时画像数据的计算输出效率。

Patent Agency Ranking