基于Linux的数据处理方法、装置、电子设备及存储介质

    公开(公告)号:CN114238694A

    公开(公告)日:2022-03-25

    申请号:CN202111322555.4

    申请日:2021-11-09

    Abstract: 本发明提供一种基于Linux的数据处理方法、装置、电子设备及存储介质,涉及数据处理技术领域,其中基于Linux的数据处理方法包括:接收数据采集请求,该数据采集请求中携带有目标数据标识集合,所述目标数据标识集合中包括至少一个目标数据标识;响应于数据采集请求,根据预先设置的目标数据标识与数据采集方式的对应关系,获取各个目标数据标识对应的目标采集方式;通过目标采集方式,对目标数据标识对应的数据进行采集,得到目标数据;根据目标数据标识与目标数据类别之间的对应关系,将所述目标数据归置于对应的所述目标数据类别中,其中,目标数据类别为所述目标数据对应的数据类别。本方法能够提高基于Linux的数据处理效率。

    一种安全领域命名实体识别方法及神经网络模型

    公开(公告)号:CN109918647A

    公开(公告)日:2019-06-21

    申请号:CN201910091654.2

    申请日:2019-01-30

    Abstract: 本发明公开了一种安全领域命名实体识别方法及神经网络模型。本方法为:1)将安全报告中的非结构化文本按照句子分隔开;2)统计安全报告中出现过的单词和标点符号,构建一词汇表;3)根据该词汇表构建词嵌入向量矩阵;4)将每一句子中的词汇使用对应的词嵌入向量表示;然后利用双向LSTM层对该句子进行训练;5)将词嵌入向量及其双向LSTM输出进行拼接,作为条件随机场的输入;然后使用条件随机场,学习拼接结果对应的单词与各设定标签之间的依赖关系,以及前一个标签和当前标签之间的依赖关系;6)输出具有最大概率的标签序列作为句子的标注,然后根据单词的标签,输出该句子中包含的命名实体。本发明大幅提高实体识别的效率。

    一种封闭网络终端行为数据的采集方法及系统

    公开(公告)号:CN109189652A

    公开(公告)日:2019-01-11

    申请号:CN201810670333.3

    申请日:2018-06-26

    Abstract: 本发明提供一种封闭网络终端行为数据的采集方法及系统,所述方法包括:基于目标封闭网络中各终端上的代理服务,对各所述终端上的历史行为数据进行采集,并将所述历史行为数据发送给数据采集管控中心;基于所述数据采集管控中心,将所述历史行为数据发送到Flume数据采集框架;基于所述Flume数据采集框架接收所述历史行为数据,并将所述历史行为数据发送到Elasticsearch集群,以供Elasticsearch集群对所述历史行为数据进行存储和管理。本发明实现对封闭网络终端的历史行为数据进行实时、并发、可靠的分布式采集。

    基于自扩充表示和相似双向约束的短文本主题发现方法及系统

    公开(公告)号:CN108681557B

    公开(公告)日:2022-04-01

    申请号:CN201810306013.X

    申请日:2018-04-08

    Abstract: 本分明提供一种基于自扩充表示和相似双向约束的短文本主题发现方法及系统,该方法的步骤包括:基于TF‑IWF词权重度量方法构建待挖掘主题的词‑文档矩阵;向量化短文本文档并度量两两文档间相似性,得到虚拟长文档集合;利用TF‑IWF词权重度量方法,在虚拟长文档集合上构建虚拟辅助的词‑文档矩阵;合并两个矩阵为混合矩阵;构建词‑词语义相似矩阵、文档‑文档语义相似矩阵,进而构建词‑词语义关系正则项、文档‑文档语义关系正则项;得到TRNMF模型,通过分解损失函数值,获得最优的词‑话题潜在特征矩阵、话题‑文档潜在特征矩阵,发现短文本主题分布情况。

    一种网络内部威胁的检测方法、系统及电子设备

    公开(公告)号:CN108616545B

    公开(公告)日:2021-06-29

    申请号:CN201810668279.9

    申请日:2018-06-26

    Abstract: 本发明提供一种网络内部威胁的检测方法、系统及电子设备,所述方法包括:基于用户行为数据的不同特征,分别根据多域行为驱动和时间行为驱动,进行所述用户行为数据的多维度检测;利用熵权法,将多维度检测的结果中基于多域行为驱动的异常分数值和基于时间行为驱动的异常分数值进行融合,确定网络内部威胁。本发明能够有效提高运算过程的普适性,并有效降低运算的时间复杂度和空间复杂度,从而降低成本开销。

    基于自扩充表示和相似双向约束的短文本主题发现方法及系统

    公开(公告)号:CN108681557A

    公开(公告)日:2018-10-19

    申请号:CN201810306013.X

    申请日:2018-04-08

    CPC classification number: G06F17/2785 G06F17/277

    Abstract: 本分明提供一种基于自扩充表示和相似双向约束的短文本主题发现方法及系统,该方法的步骤包括:基于TF‑IWF词权重度量方法构建待挖掘主题的词‑文档矩阵;向量化短文本文档并度量两两文档间相似性,得到虚拟长文档集合;利用TF‑IWF词权重度量方法,在虚拟长文档集合上构建虚拟辅助的词‑文档矩阵;合并两个矩阵为混合矩阵;构建词‑词语义相似矩阵、文档‑文档语义相似矩阵,进而构建词‑词语义关系正则项、文档‑文档语义关系正则项;得到TRNMF模型,通过分解损失函数值,获得最优的词‑话题潜在特征矩阵、话题‑文档潜在特征矩阵,发现短文本主题分布情况。

    一种基于深度学习的加密流量检测方法及系统

    公开(公告)号:CN113162908B

    公开(公告)日:2022-11-15

    申请号:CN202110239809.X

    申请日:2021-03-04

    Abstract: 本发明提供了一种基于深度学习的加密流量检测方法及系统。主要思想为:1)将流量转换为图像处理方式提取其几何特征,按照CapsNet提取下层空间特征以及LSTM提取上层时间序列特征的方式构建Caps‑LSTM分层训练模型,以自动提取流量的时空特征;2)对原始连续流量进行流切分成离散流,离散流根据会话粒度连续切分成许多小尺寸数据包;3)将流量匿名化处理减少不必要特征的同时避免训练过程中可能产生的过拟合现象,清洗掉重复的空数据包,提高加密流量的检测能力;4)端到端的方式实现加密流量的服务类别与具体应用类别的有效分类,解决人工特征依赖问题。本发明中的加密流量检测方法具有自动学习、高效性与普适性等特点。

    基于上下文感知张量分解的社交网络用户行为预测方法

    公开(公告)号:CN108776844B

    公开(公告)日:2021-09-14

    申请号:CN201810332563.9

    申请日:2018-04-13

    Abstract: 本发明提供一种基于上下文感知张量分解的社交网络用户行为预测方法及系统,该方法的步骤包括:获取用户的社交网络数据,经预处理得到完整的社交数据;基于社交数据,构建目标张量、辅助张量、用户相似性矩阵、消息主题相似矩阵及用户影响力矩阵;根据上述目标张量、辅助张量、用户相似性矩阵、消息主题相似矩阵及用户影响力矩阵,构建张量分解模型,协同分解目标张量和辅助张量,计算分解损失函数值,获得最优的转发消息用户、被转发消息以及发布消息用户的潜在特征矩阵和核心张量;根据上述的潜在特征矩阵和核心张量,补全辅助张量,对用户转发行为进行预测。

    一种基于熔断和二级缓存的API网关保障服务高可用方法及系统

    公开(公告)号:CN110413543A

    公开(公告)日:2019-11-05

    申请号:CN201910520358.X

    申请日:2019-06-17

    Abstract: 本发明公开了一种基于熔断和二级缓存的API网关保障服务高可用方法及系统。本方法为:1)API网关服务接收到调用方发出的服务请求时,从内存中获取API配置信息,确定是否访问Cache,如果开启则从Cache的一级缓存中获取响应结果,如果一级缓存中没有对应的响应结果,则将该服务请求发送给后端服务;2)后端服务根据收到的服务请求生成相应的响应结果并将其放入Cache的一级缓存和二级缓存;如果调用同一个API网关服务的返回异常结果次数达到熔断阀值,则进入该API网关服务的熔断流程,将该API网关服务进入熔断开启状态。本发明保障服务高可用的同时,提高了用户的体验。

Patent Agency Ranking