-
公开(公告)号:CN105095070B
公开(公告)日:2017-12-19
申请号:CN201510363954.3
申请日:2015-06-26
Applicant: 中国科学院信息工程研究所 , 国家计算机网络与信息安全管理中心
IPC: G06F11/36
Abstract: 本发明公开了一种基于浏览器测试组件的QQ群数据获取方法与系统,通过给予浏览器测试组件,实现用户行为模拟,由此方式实现Web端QQ等登陆操作,结合并行化设计,面向QQ群实现即时聊天信息和非即时信息的数据获取。本发明能够避免人工登陆操作,在快速获取数据的同时,兼顾了获取数据的完整性,同时在后期维护上成本投入更小,能够根据版本变化快速修改并投入使用。
-
公开(公告)号:CN105488092A
公开(公告)日:2016-04-13
申请号:CN201510408490.3
申请日:2015-07-13
Applicant: 中国科学院信息工程研究所 , 国家计算机网络与信息安全管理中心
CPC classification number: G06F17/30864 , G06F17/277 , G06K9/6221 , G06Q50/01
Abstract: 本发明涉及一种时间敏感和自适应的子话题在线检测方法及系统。该方法包括:1)对文档流中的每篇文档进行向量化表示;2)对文档进行增量式聚类,并根据随时间衰减的文档权重调整子话题的中心权重;3)当聚类产生的子话题数量或者某个子话题权重占比满足阈值条件,或者子话题满足长尾检测条件时,进行子话题间的合并或者删除无意义的子话题;4)根据每个新子话题的权重已及其内在的文档分布,对新子话题生成摘要并输出展示。该系统包括文档表示模块、增量式聚类模块、新子话题发现模块、摘要生成模块。本发明中历史文档权重随时间衰减,并且基于阈值判断和长尾检测进行子话题数量和内容的动态更新,能够有效提高子话题检测的效率。
-
公开(公告)号:CN105095070A
公开(公告)日:2015-11-25
申请号:CN201510363954.3
申请日:2015-06-26
Applicant: 中国科学院信息工程研究所 , 国家计算机网络与信息安全管理中心
IPC: G06F11/36
Abstract: 本发明公开了一种基于浏览器测试组件的QQ群数据获取方法与系统,通过给予浏览器测试组件,实现用户行为模拟,由此方式实现Web端QQ等登陆操作,结合并行化设计,面向QQ群实现即时聊天信息和非即时信息的数据获取。本发明能够避免人工登陆操作,在快速获取数据的同时,兼顾了获取数据的完整性,同时在后期维护上成本投入更小,能够根据版本变化快速修改并投入使用。
-
公开(公告)号:CN105488092B
公开(公告)日:2018-05-22
申请号:CN201510408490.3
申请日:2015-07-13
Applicant: 中国科学院信息工程研究所 , 国家计算机网络与信息安全管理中心
Abstract: 本发明涉及一种时间敏感和自适应的子话题在线检测方法及系统。该方法包括:1)对文档流中的每篇文档进行向量化表示;2)对文档进行增量式聚类,并根据随时间衰减的文档权重调整子话题的中心权重;3)当聚类产生的子话题数量或者某个子话题权重占比满足阈值条件,或者子话题满足长尾检测条件时,进行子话题间的合并或者删除无意义的子话题;4)根据每个新子话题的权重已及其内在的文档分布,对新子话题生成摘要并输出展示。该系统包括文档表示模块、增量式聚类模块、新子话题发现模块、摘要生成模块。本发明中历史文档权重随时间衰减,并且基于阈值判断和长尾检测进行子话题数量和内容的动态更新,能够有效提高子话题检测的效率。
-
公开(公告)号:CN104899156B
公开(公告)日:2017-11-14
申请号:CN201510229346.3
申请日:2015-05-07
Applicant: 中国科学院信息工程研究所 , 国家计算机网络与信息安全管理中心
IPC: G06F12/06
Abstract: 本发明公开了一种面向大规模社交网络的图数据存储及查询方法,本发明数据存储管理器对收到的图数据采用Key‑Value方式存储,以图数据的顶点ID为Key,以顶点邻域为Value;对每一顶点邻域的数据存储:将与该顶点邻域相连的多条边以时间戳有序存储到固定大小的内存块中,并构成双向链表,将该顶点的属性信息和索引信息存储到一数据结构中。当数据存储管理器收到访问顶点v的访问请求时,数据存储管理器将该顶点v及其k阶邻域传输给请求者;请求者将返回数据缓存在本地,下次查询时,首先检查本地的缓存,如果不存在查询的顶点,则将访问请求发送给所述数据存储管理器。本发明能满足动态更新、适合处理数据稀疏的场景和随机访问。
-
公开(公告)号:CN105162676A
公开(公告)日:2015-12-16
申请号:CN201510363826.9
申请日:2015-06-26
Applicant: 中国科学院信息工程研究所 , 国家计算机网络与信息安全管理中心
Abstract: 本发明公开了一种微信数据获取方法和系统,通过安卓平台应用测试组件和浏览器测试组件相结合来实现。基于安卓平台测试组件方式,可以模拟用户行为操作客户端,包括登陆、查看、滑屏等;由此方式获取的微信公众平台账号历史消息的网页地址结合主动采集技术,可获取微信公众账号完整的历史消息。采用安卓平台测试组件和浏览器测试组件相结合方式,通过监听浏览器DOM元素变化,能够自动化实现网页版微信登陆,全面和及时有效地获取微信数据。
-
公开(公告)号:CN104951505A
公开(公告)日:2015-09-30
申请号:CN201510260191.X
申请日:2015-05-20
Applicant: 中国科学院信息工程研究所 , 国家计算机网络与信息安全管理中心
IPC: G06F17/30
CPC classification number: G06F17/30598 , G06F17/30283
Abstract: 本发明公开了一种基于图计算技术的大规模数据聚类方法。本方法为:1)从待处理图数据的所有顶点中选取N个顶点作为候选聚类中心;2)设置每一候选聚类中心的簇标签值,然后根据一加权无向图G将候选聚类中心合并,将属于同一聚类簇的候选聚类中心划分到同一集合中;3)候选聚类中心将包含自己当前簇标签值以及权重的消息传递给相邻顶点;收到消息的顶点根据簇标签值将本次迭代收到的所有消息分成不同的类别,然后生成新的消息并在下一迭代时传递给相邻顶点;4)迭代结束后,对于每一顶点,计算具有相同标签类型的边的权重之和,得到每一顶点最后的结果值;将具有相同结果值的顶点聚为一类。本发明节约了时间和存储开销。
-
公开(公告)号:CN105162676B
公开(公告)日:2017-08-11
申请号:CN201510363826.9
申请日:2015-06-26
Applicant: 中国科学院信息工程研究所 , 国家计算机网络与信息安全管理中心
Abstract: 本发明公开了一种微信数据获取方法和系统,通过安卓平台应用测试组件和浏览器测试组件相结合来实现。基于安卓平台测试组件方式,可以模拟用户行为操作客户端,包括登陆、查看、滑屏等;由此方式获取的微信公众平台账号历史消息的网页地址结合主动采集技术,可获取微信公众账号完整的历史消息。采用安卓平台测试组件和浏览器测试组件相结合方式,通过监听浏览器DOM元素变化,能够自动化实现网页版微信登陆,全面和及时有效地获取微信数据。
-
公开(公告)号:CN104899156A
公开(公告)日:2015-09-09
申请号:CN201510229346.3
申请日:2015-05-07
Applicant: 中国科学院信息工程研究所 , 国家计算机网络与信息安全管理中心
IPC: G06F12/06
Abstract: 本发明公开了一种面向大规模社交网络的图数据存储及查询方法,本发明数据存储管理器对收到的图数据采用Key-Value方式存储,以图数据的顶点ID为Key,以顶点邻域为Value;对每一顶点邻域的数据存储:将与该顶点邻域相连的多条边以时间戳有序存储到固定大小的内存块中,并构成双向链表,将该顶点的属性信息和索引信息存储到一数据结构中。当数据存储管理器收到访问顶点v的访问请求时,数据存储管理器将该顶点v及其k阶邻域传输给请求者;请求者将返回数据缓存在本地,下次查询时,首先检查本地的缓存,如果不存在查询的顶点,则将访问请求发送给所述数据存储管理器。本发明能满足动态更新、适合处理数据稀疏的场景和随机访问。
-
公开(公告)号:CN104778210B
公开(公告)日:2018-04-27
申请号:CN201510111754.9
申请日:2015-03-13
Applicant: 国家计算机网络与信息安全管理中心
IPC: G06F17/30
Abstract: 本发明公开了一种微博转发树和转发森林构建方法,属于数据挖掘领域,包括以下步骤:收集该条微博的原创微博信息;并且根据单条原创微博信息,获取其转发微博信息;然后在单条原创微博信息及其所有转发微博信息上,构造单条微博的微博树结构;根据用户给定时间段t3‑t4内的话题关键词Topic,收集与该话题相关的全量微博信息,针对每一条微博信息,构造单条微博的微博树结构;最后汇总该话题相关的全量微博信息的转发树;形成微博转发森林。本发明的优点为:通过转发树生成算法,高效快速完整地进行转发树和转发森林的提取,具有较高的效率和效果。
-
-
-
-
-
-
-
-
-