一种基于Hadoop的海事局船检大数据分布式存储系统

    公开(公告)号:CN114546962A

    公开(公告)日:2022-05-27

    申请号:CN202210147679.1

    申请日:2022-02-17

    Abstract: 本发明公开了一种基于Hadoop的海事局船检的大数据分布式存储方法。包括首先对海事局船检平台数据特征进行分析,通过在客户端与NameNode中间增加一个部门节点,优化HDFS处理海量小文件时表现出的性能低下的问题;其次,在该节点中实现对小文件的合并时,设立了小文件预处理模块和预取模块;同时对热点数据合并的后的大文件元数据信息进行缓存,达到对小文件的访问流程进行优化,缓解NameNode节点压力;小文件预处理模块和预取模块工作的同时,对热点数据合并的后的大文件元数据信息进行缓存,达到对小文件的访问流程进行优化。本发明解决了传统的HDFS在存储海量小文件时通常表现出性能低下的问题,针对海事局海量数据文件小的特性,更加方便文件存储。

    一种基于注意力机制的商品序列推荐的方法

    公开(公告)号:CN114529364A

    公开(公告)日:2022-05-24

    申请号:CN202210147680.4

    申请日:2022-02-17

    Abstract: 一种基于注意力机制的商品序列推荐方法,包括:获取用户的商品历史数据集并进行数据预处理;利用多头注意力机制来捕捉用户最近历史行为中物品与物品的之间的关系依赖,得到用户短期兴趣偏好向量;将用户与项目在隐式空间的的相似度系数加入注意力机制的权重中,为长期兴趣分配不同的权重,得到长期偏好的最终表示。最后加权融合长短期偏好得到用户最终的兴趣偏好。然后将其与候选集中每一个物品进行交互,在预测层得到该相关性分数值,然后将所得到的分数值按照由高到低排序得到推荐序列,相关性的分数越高就代表用户下一项交互的可能性越大。本发明能更为精准的为用户推荐多个推荐结果,更加符合用户的商品推荐结果的需求。

Patent Agency Ranking