-
公开(公告)号:CN110287314B
公开(公告)日:2021-08-06
申请号:CN201910418900.0
申请日:2019-05-20
申请人: 中国科学院计算技术研究所 , 国家计算机网络与信息安全管理中心
IPC分类号: G06F16/35
摘要: 本发明涉及一种基于无监督聚类的长文本可信度评估方法,包括:以已知长文本获取训练数据,提取该训练数据的训练特征以构建训练特征向量集,对该训练特征向量集进行无监督聚类,得到多个训练类心;以待评估长文本获取评估数据,提取该评估数据的评估特征向量;获取该评估特征向量相对该训练类心的评估值,并以该评估值得到该待评估长文本的可信度。本发明通过无监督聚类对长文本进行可信度评估,在实施过程中不需要标注数据,节省了人力、物力与时间,避免了数据中标签稀疏带来的困扰;提取了长文本的文本特征,对于可信度评估任务更加适用,使用该模型得到的文本的可信度更具有可解释性,同时在平台之间可以迁移。
-
公开(公告)号:CN109829089B
公开(公告)日:2021-03-05
申请号:CN201811516557.5
申请日:2018-12-12
申请人: 中国科学院计算技术研究所 , 国家计算机网络与信息安全管理中心
IPC分类号: G06F16/906 , G06F16/958 , G06Q50/00
摘要: 本发明涉及一种基于关联图谱的社交网络用户异常检测方法和系统,针对现有事件可视化展示技术的不足以及事件、用户、事件主题等多种实体关联性较弱不易于进行用户异常检测,提出一种基于微博平台的事件可视化方法以及事件、用户、事件主题等多种实体构建异构关联网络图谱进行用户异常检测;在不缺失事件信息的同时,让使用者更加全面、深入地了解整个事件的发展演变过程,并根据已有的异构关联网络图谱更加直观的进行用户异常检测。
-
公开(公告)号:CN109388768A
公开(公告)日:2019-02-26
申请号:CN201811008673.6
申请日:2018-08-31
申请人: 中国科学院计算技术研究所 , 国家计算机网络与信息安全管理中心
IPC分类号: G06F16/958
摘要: 本发明涉及一种基于附加分支处理服务的采集方法和系统,包括:获取采集任务,该采集任务具有多个处理步骤和分支号;依次执行该采集任务中的处理步骤,并在每一个处理步骤执行前,根据该分支号判断是否调用该附加分支处理服务,若是,则通过调用该附加分支处理服务执行附加处理流程,并替代将要执行的处理步骤,否则执行将要执行的处理步骤。由此,本发明采用附加分支的技术,能够应对信源的各种复杂情况。且针对附加分支单独开发,容易崩溃的情况,采用服务化方法执行附加分支,并且附加分支运行器可以在崩溃自动重启,可以避免附加分支崩溃带来的采集器崩溃问题。
-
公开(公告)号:CN109241483A
公开(公告)日:2019-01-18
申请号:CN201811008674.0
申请日:2018-08-31
申请人: 中国科学院计算技术研究所 , 国家计算机网络与信息安全管理中心
IPC分类号: G06F16/958
摘要: 本发明涉及一种基于域名推荐的网站发现方法,包括:在域名字符集随机选取任意字符排列组合以获得词根字符串;以该词根字符串组成候选字符串;将该候选字符串与候选域名后缀进行拼接,组成推荐域名;对该推荐域名进行DNS解析,以判断为合法的该推荐域名为合法域名;验证该合法域名是否存在对应网站,若存在则获取为目标网站。
-
公开(公告)号:CN114417211A
公开(公告)日:2022-04-29
申请号:CN202111319929.7
申请日:2021-11-09
申请人: 国家计算机网络与信息安全管理中心 , 中国科学院计算技术研究所
IPC分类号: G06F16/958 , G06F16/9536 , G06Q50/00
摘要: 本发明公开了一种面向社交平台的数据采集方法,包括:1)在主机上通过模拟用户发出的浏览器访问请求获取社交平台上相关页面的Web页面数据;2)将真机或模拟器连接主机,模拟用户发出的APP访问请求,在主机上设置网络代理,拦截APP访问请求获得相应的HTTP/HTTPS请求,获取社交平台上相关页面的APP页面数据;3)将Web页面数据和APP页面数据分别进行页面解析、数据对齐融合,输出并存入数据库。本发明公开了面向社交平台的数据采集系统,包括:Web数据采集模块、APP数据采集模块和双终端数据对齐融合模块。本发明的方法与系统同时适用于Web端和APP端的社交平台数据采集,能够获得全量的社交平台数据。
-
公开(公告)号:CN110442421B
公开(公告)日:2022-04-01
申请号:CN201910578655.X
申请日:2019-06-28
申请人: 中国科学院计算技术研究所 , 国家计算机网络与信息安全管理中心
IPC分类号: G06F9/455
摘要: 本发明提出一种基于Kubernetes的通用服务转换方法和系统,包括:构建由多个节点构成的Kubernetes系统,其中节点的Pod设有用于提供服务的原服务容器,并通过在Pod中新添加容器的方式或通过原容器镜像的方式,在节点的Pod中加入转换程序;每当发生一次服务调用请求,转换容器或程序根据配置,将服务调用请求转换为原服务执行请求,通过调用原服务容器,提供相对应的服务,并转换成该服务调用请求所对应的服务结果。本发明可解决Kubernetes服务与调用者之间接口不一致的问题;并可减少转换程序与服务程序、调用程序之间的网络开销,同时结合Kubernetes特性,服务程序重新部署时,转换程序自动跟随部署。
-
公开(公告)号:CN112667872A
公开(公告)日:2021-04-16
申请号:CN202011290564.5
申请日:2020-11-17
申请人: 国家计算机网络与信息安全管理中心 , 中国科学院计算技术研究所
IPC分类号: G06F16/951 , G06F16/9532 , G06F16/25 , G06F9/445 , G16H50/80
摘要: 本发明公开了新冠肺炎疫情数据的实时采集方法,包括以下步骤:一、建立配置文件,将多个信源网站内实时反映疫情数据的网页的基本信息预置在配置文件中,包括多个字段的名称、各字段的存储路径,各字段的被采纳次数;二、采集网页数据,通过配置文件中待采集字段的存储路径从多个信源网站采集待采集字段当前的数值;三、数据对齐处理,以待采集字段的数据对齐结果为待采集字段的采集数据;步骤四、更新配置文件,将各信源网站中待采集字段的数值与待采集字段的采集数据相同的信源网站中待采集字段的被采纳次数加1。本发明的方法从多个信源网站的实时数据中获取可信度最高的数据作为采集数据,提高了疫情实时数据的准确性。
-
公开(公告)号:CN110427264B
公开(公告)日:2021-11-30
申请号:CN201910578638.6
申请日:2019-06-28
申请人: 中国科学院计算技术研究所 , 国家计算机网络与信息安全管理中心
IPC分类号: G06F9/50 , G06F16/951
摘要: 本发明提出一种基于Kubernetes的JS解析方法及系统,包括:多台物理机、采集结果库、系统监控模块和解析任务控制模块;物理机,用于根据任务部署JS解析Pod,执行网页采集,将得到的采集结果存至采集结果库;系统监控模块,用于自动读取物理机的机器信息;解析任务控制模块,用于查询系统监控模块,得到各物理机的机器信息,以计算各物理机应部署的JS解析Pod个数,调用Kubernetes API调整各物理机的JS解析Pod个数。本发明有效的利用了空闲时间执行JS解析相关任务,并减小了JS解析的资源消耗。
-
公开(公告)号:CN111832622A
公开(公告)日:2020-10-27
申请号:CN202010531569.6
申请日:2020-06-11
申请人: 国家计算机网络与信息安全管理中心 , 中国科学院计算技术研究所
摘要: 本发明提出一种特定人物丑化图片识别方法和系统,包括:获取包含特定人物的图片集,该图片集包括多张漫画和多张照片,该图片集中每张图片标有代表是否丑化的预设标签,以该图片集中漫画和照片分别作为训练数据,训练卷积神经网络模型,得到特定人物漫画识别网络和特定人物照片识别网络;通过前置网络判断待识别图片是否属于漫画,若是,则将该待识别图片发送至该特定人物漫画识别网络,得到该待识别图片的特定人物丑化图片识别结果,否则对该待识别图片进行人脸对比,判断该待识别图片是否包括该特定人物,若是则通过该特定人物照片识别网络,得到该待识别图片的特定人物丑化图片识别结果,否则得到该待识别图片不包括该特定人物的识别结果。
-
公开(公告)号:CN111832621A
公开(公告)日:2020-10-27
申请号:CN202010531567.7
申请日:2020-06-11
申请人: 国家计算机网络与信息安全管理中心 , 中国科学院计算技术研究所
摘要: 本发明提出一种基于稠密多路卷积网络的图片分类方法和系统,包括:构建由分组、变换、聚合构成的基本单元,基于该基本单元构建新的稠密模块,将密集连接的卷积DenseNet网络网络框架中原始稠密模块替换为该新稠密模块,得到稠密多路卷积网络;使用已标记类别的图片数据作为训练数据,通过梯度反向传播更新该稠密多路卷积网络中的权重,训练该稠密多路卷积网络,得到图片分类模型;将待分类图片数据输入该分类模型,得到该待分类图片数据的分类结果。本发明提出的稠密多路卷积网络,对DenseNet网络的基本模块进行了改进和优化,以获取表达力更强的特征。
-
-
-
-
-
-
-
-
-