-
公开(公告)号:CN110019943B
公开(公告)日:2021-09-14
申请号:CN201710812519.3
申请日:2017-09-11
Applicant: 中国移动通信集团浙江有限公司 , 中国移动通信集团公司 , 中移(苏州)软件技术有限公司
IPC: G06F16/735 , G06F16/9535 , G06F16/9536
Abstract: 本发明实施例提供一种视频推荐方法、装置、电子设备和存储介质。所述方法包括获取用户在预设时间段内的目标人口统计学特征对应的特征向量embedding和目标历史视频特征对应的embedding,其中,所述目标人口统计学特征对应的embedding包括目标显著特征的embedding和目标不显著特征embedding;根据目标显著特征对应的embedding、目标不显著特征对应的embedding和目标历史视频特征对应的embedding,以及预先建立的深度评分模型,确定用户对每一候选视频的评分;根据用户对每一候选视频的评分,确定用户的推荐视频。所述方法通过考虑所述用户的目标不显著特征对应的embedding对于视频推荐的影响,可更加全面对候选模型进行进一步筛选,得到更符合用户偏好的推荐视频,能够提高视频推荐的准确性。
-
公开(公告)号:CN110020046B
公开(公告)日:2021-06-15
申请号:CN201710985479.2
申请日:2017-10-20
Applicant: 中移(苏州)软件技术有限公司 , 中国移动通信集团公司
IPC: G06F16/951 , G06F9/48
Abstract: 本发明公开了一种数据抓取方法及装置,其中,所述方法包括:基于用户访问互联网的行为,生成网络爬虫对目标网站服务器进行抓取数据的任务对应的调度时间;基于所述调度时间对所述任务进行管理;在将所述任务发送给所述网络爬虫后,通过所述网络爬虫在所述目标网站服务器中进行数据抓取。用于解决现有数据抓取效率低,公平性差的技术问题,提高了数据抓取效率,且保证了抓取任务调度的公平性。
-
公开(公告)号:CN108123980B
公开(公告)日:2020-12-08
申请号:CN201611085841.2
申请日:2016-11-30
Applicant: 中移(苏州)软件技术有限公司 , 中国移动通信集团公司
IPC: H04L29/08 , H04L12/863
Abstract: 本发明实施例公开了一种资源调度方法及系统,根据各资源队列中每个作业对应的优先级,判断各资源队列是否为优先级态资源队列;当全部资源队列均为非优先级态资源队列时,根据公平调度策略对全部资源队列进行资源调度;当全部资源队列中存在至少一个优先级态资源队列时,根据优先调度策略对全部资源队列进行资源调度。
-
公开(公告)号:CN108268558B
公开(公告)日:2020-12-04
申请号:CN201710002591.X
申请日:2017-01-03
Applicant: 中移(苏州)软件技术有限公司 , 中国移动通信集团公司
IPC: G06F16/2458 , G06F16/22 , G06F21/62
Abstract: 本发明实施例公开了一种数据分析的方法和装置;该方法包括:构建原始数据元数据与脱敏数据元数据之间的映射关系;在确定数据使用请求合法后,将所述数据使用请求中用于执行数据操作的原始结构化查询语言SQL语句进行解析;当所述原始SQL语句针对脱敏数据时,根据所述映射关系将所述SQL语句进行转换;通过所述转换后的SQL语句对所述脱敏数据对应的原始数据进行关联分析;根据所述关联分析的数据结果进行数据分析,并将所述数据分析的结果进行返回。能够在保证敏感数据安全的同时,还能够使得脱敏后的数据仍然保持对应的原始数据的数据分析价值和使用价值。
-
公开(公告)号:CN110019943A
公开(公告)日:2019-07-16
申请号:CN201710812519.3
申请日:2017-09-11
Applicant: 中国移动通信集团浙江有限公司 , 中国移动通信集团公司 , 中移(苏州)软件技术有限公司
IPC: G06F16/735 , G06F16/9535 , G06F16/9536
Abstract: 本发明实施例提供一种视频推荐方法、装置、电子设备和存储介质。所述方法包括获取用户在预设时间段内的目标人口统计学特征对应的特征向量embelding和目标历史视频特征对应的embelding,其中,所述目标人口统计学特征对应的embelding包括目标显著特征的embelding和目标不显著特征embelding;根据目标显著特征对应的embelding、目标不显著特征对应的embelding和目标历史视频特征对应的embelding,以及预先建立的深度评分模型,确定用户对每一候选视频的评分;根据用户对每一候选视频的评分,确定用户的推荐视频。所述方法通过考虑所述用户的目标不显著特征对应的embelding对于视频推荐的影响,可更加全面对候选模型进行进一步筛选,得到更符合用户偏好的推荐视频,能够提高视频推荐的准确性。
-
公开(公告)号:CN104935523B
公开(公告)日:2018-06-15
申请号:CN201410108066.2
申请日:2014-03-21
Applicant: 中国移动通信集团公司
IPC: H04L12/803 , H04W28/08
Abstract: 本发明公开了一种负载均衡的处理方法和设备,包括:获取一个工作节点的一个迭代周期内每一个任务的运行时间信息;根据获取的每一个任务的运行时间信息以及待迁移任务的分析策略,确定工作节点在迭代周期内的待迁移任务;当确定为待迁移任务的次数超过设定数值时,将待迁移任务迁移至除了所述工作节点之外的任务处理量小于设定阈值的工作节点,这样利用任务迁移方式,在工作点的多次迭代操作中执行一次任务迁移,有效地实现工作点间任务负载均衡,避免了Giraph中负载均衡策略存在时间消耗的问题,同时也避免了Hadoop中推测式执行策略存在增加消息通信网络开销的问题,提高了BSP模型中任务迁移的效率,提升了系统的负载均衡性。
-
公开(公告)号:CN103873451B
公开(公告)日:2017-03-29
申请号:CN201210550113.X
申请日:2012-12-17
Applicant: 中国移动通信集团公司
Abstract: 本发明公开了一种数据同步的方法、设备和系统,主要内容包括:目的客户端在接收网络侧发送的携带了包含了元数据标识和更新数据标识的更新对象的同步消息,根据本地存储的元数据标识与客户端标识之间的对应关系,确定接收到的同步消息中更新对象包含的元数据标识对应的源客户端标识,利用接收到的同步消息中更新对象包含的更新数据标识确定本地待更新的数据,并从源客户端处获取所述更新数据标识对应的更新数据进行数据同步,与现有技术相比,目的客户端通过本地存储的元数据标识与客户端标识之间的对应关系,快速定位发生数据更新的源客户端,提高了数据同步的速率,提高数据网络传输效率,同时减轻服务器的负载。
-
公开(公告)号:CN103188306B
公开(公告)日:2016-04-27
申请号:CN201110455625.3
申请日:2011-12-30
Applicant: 中国移动通信集团公司
IPC: H04L29/08
Abstract: 本发明公开了一种分布式预处理的方法及系统,其中,该方法包括:处理节点接收自源节点发送的数据;管理模块根据处理节点的不同需求配置执行模块的种类和执行顺序;处理节点调用自身部署的由管理模块配置的包含有多个执行模块的执行模块集合对接收的数据进行预处理操作。本发明的分布式预处理方法和系统,可以动态、灵活地管理Process节点的预处理过程,管理执行模块集合,保证Process节点预处理过程的一致性和原子性;系统保证了Process节点的多个执行模块的预处理中间结果都在内存中处理,不需要临时存储,提高了预处理性能。
-
公开(公告)号:CN103092886B
公开(公告)日:2016-03-02
申请号:CN201110347659.0
申请日:2011-11-07
Applicant: 中国移动通信集团公司
IPC: G06F17/30
Abstract: 本发明公开了一种数据查询操作的实现方法、装置及系统,对外部数据系统的数据表执行查询操作后,将查询到的数据缓存到临时表中;对临时表中缓存的数据增加索引后,将临时表中的所有数据均匀分配给各数据交换节点,确定其对应的索引范围。本发明通过建立临时表缓存查询到的数据,各个数据交换节点就可以直接并行地对缓存表中的部分数据进行读取操作,避免了每个数据交换节点都需要并行地在外部系统中进行复杂的查询操作,减轻了在处理大量数据时外部数据系统服务器的负担,并且,由于分配给各数据交换节点的临时表中的索引范围对应的数据行数相对平均,保证了各个数据交换节点在并行处理时运行时间能够基本相同,从而提高了整体的查询效率。
-
公开(公告)号:CN104978345A
公开(公告)日:2015-10-14
申请号:CN201410140407.4
申请日:2014-04-09
Applicant: 中国移动通信集团公司
IPC: G06F17/30
Abstract: 本发明公开了一种基于MapReduce的数据处理方法和装置,用以解决现有技术中的MapReduce流程在处理数据时会频繁进行磁盘读写操作从而造成额外开销,严重影响系统性能的问题。该方法包括:确定针对欲处理数据所要执行的第一MapReduce流程;所述第一MapReduce流程中包含多个MapReduce作业;将所述第一MapReduce流程中满足预先设置的合并规则的MapReduce作业进行合并,得到第二MapReduce流程;其中,所述合并规则满足:合并前的MapReduce作业的执行结果与合并后的MapReduce作业的执行结果相同;对所述预处理数据执行所述第二MapReduce流程。
-
-
-
-
-
-
-
-
-