基于自然语言处理的数据融合方法及相关设备

    公开(公告)号:CN117909336A

    公开(公告)日:2024-04-19

    申请号:CN202311723044.2

    申请日:2023-12-14

    IPC分类号: G06F16/22 G06F16/21 G06F16/28

    摘要: 本申请提供一种基于自然语言处理的数据融合方法及相关设备,所述方法包括获取源数据库中的多个第一数据表和目标数据库中的多个第二数据表;对每个第一数据表进行解析,得到与其关联的第一表信息,以及获取每个第二数据表的第二表信息;基于第一表信息和第二表信息,建立第一数据表和至少一个第二数据表的映射关系;基于第一表信息和第二表信息,建立第一数据表中的第一数据列和与第一数据表存在映射关系的第二数据表中的第二数据列的子映射关系;将第一数据列中的迁移数据和与第一数据列存在子映射关系的第二数据列中的历史数据进行融合,解决了现有技术中不同数据库中的数据融合的准确性相对低的技术问题,提高了不同数据库中的数据融合的效率。

    一种海量结构化数据的处理方法及装置

    公开(公告)号:CN110633302B

    公开(公告)日:2023-08-11

    申请号:CN201910887944.8

    申请日:2019-09-19

    IPC分类号: G06F16/2455

    摘要: 本发明公开了一种海量结构化数据的处理方法,包括:采用kafka消息中间件获取数据库中的各个待处理数据;将每一个待处理数据与多级缓存中的已存储数据进行对比;当存在与其对应的第一已处理数据时,将所述第一已处理数据存入所述kafka消息中间件中,或,当不存在与其对应的第一已处理数据时,将其分配对应的处理单元进行处理,得到第二已处理数据,将所述第二已处理数据存入所述kafka消息中间件中;当所述各个待处理数据处理完成时,将所述kafka消息中间件中的数据存储至数据库中。上述方法,采用kafka消息中间件获取和存储对应数据,依据多级缓存和处理单元处理对应数据,不受CPU核数和占用限制,数据处理效率高。

    一种web应用消息推送方法及系统
    9.
    发明公开

    公开(公告)号:CN113971094A

    公开(公告)日:2022-01-25

    申请号:CN202010716689.3

    申请日:2020-07-23

    IPC分类号: G06F9/54 G06F16/958 H04L67/55

    摘要: 本申请提供了一种web应用消息推送方法及系统,该方法由消息生产端获取回调函数,若回调函数中的确认字符为失败,则将发送失败的消息发送至所述重发队列,RabbitMQ消息中间件从重发队列中获取web应用消息,并重新发送获取到的web应用消息,实现对发送失败的消息重发,提高消息推送的准确性。并且,通过消息消费端对所述目标web应用消息进行处理,若处理发生异常,则将目标web应用消息存储至缓冲队列,及RabbitMQ消息中间件从缓冲队列中获取目标web应用消息,并将目标web应用消息发送至实际消费队列,以使消息消费端重新获取目标web应用消息,能够减少消息丢失,以此提高消息推送的准确性。

    一种水印信息的添加方法及装置
    10.
    发明公开

    公开(公告)号:CN110781463A

    公开(公告)日:2020-02-11

    申请号:CN201911035289.X

    申请日:2019-10-29

    IPC分类号: G06F21/16

    摘要: 本发明公开了一种水印信息的添加方法,包括:当接收到对源文件的水印添加请求时,获取所述水印添加请求中包含的格式信息、位置信息以及所述源文件的文件类型;在目标水印生成单元中依据所述格式信息生成与所述格式信息匹配的目标水印,所述目标水印生成单元采用装饰器模式进行构建;依据所述文件类型确定目标水印处理单元,其中,所述目标水印处理单元采用构建者模式构建;在所述目标水印处理单元中依据所述位置信息,将所述目标水印添加到所述源文件的目标位置,得到目标文件。上述的方法,采用装饰器模式和构造者模式构建对应的单元,可以动态配置水印的生成和添加过程,方便用户进行扩展,满足了用户的通用要求。