账号资源管理装置、方法及数据采集系统、方法

    公开(公告)号:CN111083136B

    公开(公告)日:2022-03-08

    申请号:CN201911275230.8

    申请日:2019-12-12

    Abstract: 本公开涉及一种账号资源管理装置、方法及数据采集系统、方法。本公开提供的技术方案,对于每个账号使用不同的固定登录IP、登录Header信息进行模拟登录,在登录后将获得的Cookie信息与所述登录IP和登录Header信息关联存储,以模拟一个用户在一个地方使用固定浏览器上网,避免出现一个账号、cookie对应多个IP及单个IP被大量用户使用的情况,从而避免受到浏览拦截限制。并且,每一账号登录模块与一下载解析服务节点对应且与一组登录IP对应,从而可以通过控制每个下载解析服务节点对应的登录IP分配,以实现控制多个下载解析服务节点的负载均衡。

    一种基于大数据技术的人口基础数据库

    公开(公告)号:CN110134667B

    公开(公告)日:2021-08-10

    申请号:CN201910342834.3

    申请日:2019-04-26

    Abstract: 本发明公开了一种基于大数据技术的人口基础数据库,包括DataX组件、Phoenix层和HIVE人口数据库;DataX组件用于实现数据的导入和导出,Phoenix层用于对外提供API数据查询服务;HIVE人口数据库用于接收、处理和存储来自外部的政务系统的人口数据,具体包括STG缓冲层、FDM基础层、IDM整合层、ADM集市层。本发明使用大数据技术架构,大大提升了人口基础数据库的数据容量,提高了性能并且更加易于扩展。

    舆情信息采集入口的确定方法、装置、设备和存储介质

    公开(公告)号:CN118152671A

    公开(公告)日:2024-06-07

    申请号:CN202410010165.0

    申请日:2024-01-02

    Abstract: 本申请实施例提供一种舆情信息采集入口的确定方法、装置、设备及存储介质。在本申请实施例中,所述方法包括:获取基于搜索条件在社交媒体中命中的目标信息;所述目标信息,包括:舆情信息和/或与所述舆情信息关联的社交信息;根据预先设置的不同信息类型与采集入口挖掘策略的对应关系,以及所述目标信息的信息类型,确定与所述目标信息的信息类型相匹配的采集入口挖掘策略;采用所述采集入口挖掘策略对所述目标信息进行信息挖掘,以获得与所述目标信息相关联的社交媒体账号,作为舆情信息采集入口。

    一种持续自学习的多语言神经机器翻译方法及存储介质

    公开(公告)号:CN117252212A

    公开(公告)日:2023-12-19

    申请号:CN202310690228.7

    申请日:2023-06-12

    Abstract: 本发明涉及多语言机器翻译技术,特别是一种持续自学习的多语言神经机器翻译方法及存储介质。主旨在于解决多语言机器翻译缺少持续自学习能力的问题,传统的多语言机器翻译方法在模型训练后缺乏有效的增量学习机制,导致难以对新的数据和任务进行迭代式训练和快速更新。主要方案包括利用大量的单语语料,将模型在多种语言的单语语料库上预训练一个序列到序列的机器翻译模型,并分批量的持续将新语种的数据融合已有语种的双语平行数据微调机器翻译模型,使得机器翻译模型利用已有语种的知识,不断加入学习新的低资源语种,持续自学习,实现在更多语种上的优化。

    数据迁移方法、数据迁移系统、电子设备及存储介质

    公开(公告)号:CN117194373A

    公开(公告)日:2023-12-08

    申请号:CN202311101236.X

    申请日:2023-08-29

    Abstract: 本说明书实施例公开了一种数据迁移方法、数据迁移系统、电子设备及存储介质,属于数据处理技术领域,可以实现面向多种业务的统一数据迁移方式,改善数据迁移效率、安全性和实现成本。所述方法包括:从源数据仓库获取源任务数据,所述源数据仓库存储的任务数据包括多个任务实体的源数据;将所述源任务数据编译为由源服务器存储的镜像文件,并生成与所述源任务数据对应的待迁移的任务实体的镜像编译事件;基于所述镜像编译事件,将所述源服务器存储的镜像文件迁移至目标服务器,并生成所述待迁移的任务实体的镜像迁移事件,所述镜像迁移事件用于指示将所述目标服务器存储的镜像文件恢复至目标任务环境。

    基于强化学习的语言处理方法及装置

    公开(公告)号:CN112307053B

    公开(公告)日:2023-10-17

    申请号:CN202011174219.5

    申请日:2020-10-28

    Abstract: 本申请实施例公开了一种基于强化学习的语言处理方法及装置。所述方法包括:确定SQL语法结构对应的中间表达词集;以及,获取样本自然语言数据;所述中间表达词集中包括多个用于表示各类语法结构的中间表达词;基于所述中间表达词集和所述样本自然语言数据进行强化学习,以得到自然语言处理模型;利用所述自然语言处理模型,确定待处理的目标自然语言数据所对应的目标中间表达序列;所述目标中间序列由多个所述中间表达词组成;根据所述中间表达词集和所述SQL语法结构之间的对应关系,确定所述目标中间表达序列对应的目标SQL语法结构。该技术方案能够提升自然语言转换为SQL语言的效率,且不受限于SQL语言的长度,提升自然语言处理的通用性。

    查询数据的方法、装置、电子设备及存储介质

    公开(公告)号:CN116795860A

    公开(公告)日:2023-09-22

    申请号:CN202310159528.2

    申请日:2023-02-20

    Abstract: 本申请公开了一种查询数据的方法、装置、电子设备及存储介质,属于图像处理领域。所述方法包括:根据用户查询语句中的语义要素,匹配预设索引表中的多组字段数据,所述预设索引表用于映射数据库中的字段数据和对应的元数据,所述字段数据包括:字段的标识、字段值、表的标识中的至少一项;根据所述数据库中的关联关系,从所述多组字段数据中筛选出目标字段数据,所述关联关系包括:表和表之间的关联关系或表和字段之间的关联关系;确定所述目标字段数据对应的操作标签,所述操作标签与各个数据库查询操作对应;基于所述目标字段数据和所述操作标签,生成数据库查询语句;根据所述数据库查询语句查询数据。

    身份数据的挖掘方法、装置、存储介质及电子设备

    公开(公告)号:CN116611948A

    公开(公告)日:2023-08-18

    申请号:CN202310440968.5

    申请日:2023-04-21

    Abstract: 本公开涉及一种身份数据的挖掘方法、装置、存储介质及电子设备,该方法包括:获取待识别视频数据的公开信息,公开信息包括视频发布时间和视频特征信息,确定播放待识别视频数据所需要的数据消耗量,根据数据消耗量和视频特征信息,确定待识别视频数据的视频原始大小,从网络详细记录中筛选视频发布时间以前与视频原始大小匹配的目标网络记录,根据目标网络记录,确定待识别视频数据对应视频发布者的身份数据。从而根据视频数据的公开信息计算视频的原始大小,从网络详细记录中筛选出与视频发布时间和原始大小相匹配的身份数据。基于用户的视频发布行为和网络详细记录,确定出视频发布者的真实身份数据。

    标签确定方法、装置、电子设备及存储介质

    公开(公告)号:CN116383710A

    公开(公告)日:2023-07-04

    申请号:CN202211641048.1

    申请日:2022-12-20

    Abstract: 本申请公开了一种标签确定方法、装置、电子设备及存储介质,属于计算机技术领域,所述方法包括:获取待处理的汽车安全数据;根据预设缺陷标签字典,确定所述汽车安全数据的至少一个缺陷标签;在根据所述预设缺陷标签字典确定所述缺陷标签失败的情况下,将所述汽车安全数据输入至多标签分类模型,得到所述汽车安全数据的至少一个缺陷标签,其中,所述多标签分类模型是基于多个安全数据样本训练得到的,能够快速准确的确定汽车召回投诉数据的缺陷标签。

Patent Agency Ranking