基于动态标记优先值的MapReduce数据本地化方法

    公开(公告)号:CN105224612A

    公开(公告)日:2016-01-06

    申请号:CN201510585360.7

    申请日:2015-09-14

    发明人: 杨玉琴 陈麟

    IPC分类号: G06F17/30

    CPC分类号: G06F17/30159 G06F17/30194

    摘要: 本发明提供了一种基于动态标记优先值的MapReduce数据本地化方法,包括以下步骤:将各计算节点上的本地化数据块初始化标记值为2n,计算各计算节点本地化数据块的数量;按照各计算节点的数据块数量进行升序排序;依次从数据块数量最少的计算节点开始,将每个计算节点上的数据块的后续备份数据块的标记值减去一个确定的数DecS;优先选择标记值最大的数据块进行调度;任务调度后,再次调整每个计算节点的数据块数量,并进行升序排序,排序后进行标记值调整,最终完成数据处理。本发明通过标记数据块并设置不同优先值,从而提升作业的数据本地化程度,进而提升MapReduce上作业的执行效率和减少作业的带宽占用率。

    基于动态标记优先值的MapReduce数据本地化方法

    公开(公告)号:CN105224612B

    公开(公告)日:2018-12-07

    申请号:CN201510585360.7

    申请日:2015-09-14

    发明人: 杨玉琴 陈麟

    IPC分类号: G06F17/30

    摘要: 本发明提供了一种基于动态标记优先值的MapReduce数据本地化方法,包括以下步骤:将各计算节点上的本地化数据块初始化标记值为2n,计算各计算节点本地化数据块的数量;按照各计算节点的数据块数量进行升序排序;依次从数据块数量最少的计算节点开始,将每个计算节点上的数据块的后续备份数据块的标记值减去一个确定的数DecS;优先选择标记值最大的数据块进行调度;任务调度后,再次调整每个计算节点的数据块数量,并进行升序排序,排序后进行标记值调整,最终完成数据处理。本发明通过标记数据块并设置不同优先值,从而提升作业的数据本地化程度,进而提升MapReduce上作业的执行效率和减少作业的带宽占用率。

    一种网络资产价值评估方法、系统、介质、设备及终端

    公开(公告)号:CN114781925A

    公开(公告)日:2022-07-22

    申请号:CN202210554939.7

    申请日:2022-05-20

    IPC分类号: G06Q10/06 G06Q30/02

    摘要: 本发明属于网络空间安全风险评估技术领域,公开了一种网络资产价值评估方法、系统、介质、设备及终端,基于业务所依赖的资产以及业务本身的特点,建立业务重要性指标体系,利用资产自身的客观属性,得出每个指标所占权重;根据各指标所占权重及各业务对象在每个指标的取值,评估业务重要性;利用业务重要性、资产的机密性、完整性和可用性对资产价值进行量化,有效区分不同资产上相同类型业务的价值。本发明有效满足风险评估和风险管理的需要,使资产价值的评估结果更加准确;基于业务所依赖的资产以及业务本身的特点建立业务重要性指标体系,有效区分不同资产上相同类型业务的价值,降低主观影响。

    一种POI推荐方法及推荐系统

    公开(公告)号:CN110119475B

    公开(公告)日:2020-01-07

    申请号:CN201910089802.7

    申请日:2019-01-29

    IPC分类号: G06F16/9535 G06F16/9537

    摘要: 本发明公开一种POI推荐方法及推荐系统,涉及推荐技术领域,该方法包括:根据从LBSN门户网站收集的用户和POI数据构建的用户‑POI关系网络,利用网络嵌入方法学习得到用户和POI的嵌入向量;根据用户和POI的嵌入向量,构建包括多个关于用户和POI的关联因子的动态因子图模型,并根据所述多个关于用户和POI的关联因子建立在时空社交网络上的联合分布,通过学习得到所述联合分布中的参数值;计算得到使联合分布概率最大的节点值,然后计算每个节点的边缘概率,并按边缘概率和倾向性的乘积大小进行POI推荐;解决了因数据质量不可靠和时空模式难以确定导致的推荐准确性低的问题,显著提高推荐性能。

    一种POI推荐方法及推荐系统

    公开(公告)号:CN110119475A

    公开(公告)日:2019-08-13

    申请号:CN201910089802.7

    申请日:2019-01-29

    IPC分类号: G06F16/9535 G06F16/9537

    摘要: 本发明公开一种POI推荐方法及推荐系统,涉及推荐技术领域,该方法包括:根据从LBSN门户网站收集的用户和POI数据构建的用户-POI关系网络,利用网络嵌入方法学习得到用户和POI的嵌入向量;根据用户和POI的嵌入向量,构建包括多个关于用户和POI的关联因子的动态因子图模型,并根据所述多个关于用户和POI的关联因子建立在时空社交网络上的联合分布,通过学习得到所述联合分布中的参数值;计算得到使联合分布概率最大的节点值,然后计算每个节点的边缘概率,并按边缘概率和倾向性的乘积大小进行POI推荐;解决了因数据质量不可靠和时空模式难以确定导致的推荐准确性低的问题,显著提高推荐性能。