一种基于数据湖的查询优化方法、装置及存储介质

    公开(公告)号:CN117667998A

    公开(公告)日:2024-03-08

    申请号:CN202311678652.6

    申请日:2023-12-08

    Abstract: 本发明涉及数据管理和查询优化领域,提供了一种基于数据湖的查询优化方法、装置及存储介质。本发明的目的在于解决数据湖存算分离架构,需要一种技术来减少网络传输带宽消耗,提升查询速度的技术问题。主要方案包括在数据湖中进行数据变化检测,根据数据变化和数据的冷热状态进行数据缓存管理,在查询计划优化阶段利用数据变化和数据缓存的信息,对已经缓存的数据,可以直接从缓存中获取,对于变化的未缓存的数据,从数据湖中查询;对查询结果进行整合,如果查询结果来自缓存,可以直接返回给用户;如果查询结果来自数据湖,需要将其与缓存中的数据合并成结果集返回给查询器,并根据数据的时间戳更新缓存中的最新数据,保证查询结果的准确性。

    虚假消息识别方法、装置、电子设备和存储介质

    公开(公告)号:CN116304840A

    公开(公告)日:2023-06-23

    申请号:CN202310409404.5

    申请日:2023-04-17

    Abstract: 本公开涉及一种虚假消息识别方法、装置、电子设备和存储介质,该方法包括:获取目标消息对应的目标消息特征,目标消息特征为多个目标要素所对应的特征,并通过虚假消息识别模型对目标消息特征进行处理,得到虚假消息识别结果,虚假消息识别模型基于样本训练集合分别训练多个不同的基础网络得到,且虚假消息识别模型为由多个不同的基础网络训练得到的多个原始识别模型中识别效果最好的原始识别模型,样本训练集合包括多个样本消息对应的样本消息特征以及每个样本消息对应的标注标签,每个样本消息对应的样本消息特征为样本消息对应于多个原始要素的特征,原始要素包括目标要素。能够提高对虚假消息进行识别的识别效果。

    一种结合用户行为数据的问答交互方法及装置

    公开(公告)号:CN116244414A

    公开(公告)日:2023-06-09

    申请号:CN202310042356.0

    申请日:2023-01-28

    Abstract: 本发明涉及自然语言处理领域,提供了一种结合用户行为数据的问答交互方法及装置。目的在于解决现有方法中随机性较高的数据未被简化、归类化,从而噪声较大对影响最终结果的准确性。主要方案包括对用户行为数据进行“频率弱化”操作和特征编码操作,生成三分类标签向量。对用户固有的画像数据进行编码,得到用户画像的隐藏向量;对商品信息数据和用户提问数据进行编码,分别得到商品数据隐藏向量和问题隐藏向量。对三分类标签向量、用户画像的隐藏向量、商品数据隐藏向量进行融合特征提取,得到融合隐藏特征向量,然后得到图解码特征向量,对图解码特征向量和问题隐藏向量融合的组合进行指针解码,得到答案关键词,对答案关键词进行模板匹配,得答案。

    证券数据的可视化显示方法、装置、电子设备及存储介质

    公开(公告)号:CN116225590A

    公开(公告)日:2023-06-06

    申请号:CN202211696693.3

    申请日:2022-12-28

    Abstract: 本申请公开了一种证券数据的可视化显示方法、装置、电子设备及存储介质,属于数据处理技术领域,用以对证券数据进行可视化分群显示。所述方法包括:获取多个证券客户的证券客户数据,根据所述证券客户数据中的至少一个证券客户子数据,对所述证券客户进行分群,得到多个证券客户群;获取多个股票的股票数据,根据所述股票数据中的至少一个股票子数据,对所述股票进行分群,得到多个股票群;根据所述证券客户群和所述股票群,确定所述证券客户群和所述股票群的可视化信息;根据所述证券客户群和所述股票群的可视化信息,在可视化显示界面上对所述证券客户群和所述股票群进行可视化显示。

    一种基于距离聚类的支持多模态的图文检索方法及装置

    公开(公告)号:CN116049450A

    公开(公告)日:2023-05-02

    申请号:CN202310043530.3

    申请日:2023-01-29

    Abstract: 本发明涉及计算机人工智能领域,即计算机视觉、自然语言处理和信息检索结合的领域,尤其涉及一种基于距离聚类的支持多模态的图文检索方法及装置。目的在于解决现有算法需要大量的标注数据和人工操作,而且在图文搜索阶段,遍历所有图文对计算效率会很低的技术问题。主要方案包括获取原图文进行增强后,对增强后的图文数据的局部特征和全局特征,得到图像的编码向量和文本的编码向量;使用计算向量距离的方式构建正负样本;判断文本向量和图像向量是否是对应的;将学习到的文本向量和图像向量分别进行多级聚类,同时保留文本和图像之间的索引,得到图文向量库;将输入的图文,通过编码成向量,然后在图文向量库中检索,得到最终结果。

    一种结合人物面部表情的问答交互方法及装置

    公开(公告)号:CN115984939A

    公开(公告)日:2023-04-18

    申请号:CN202310044717.5

    申请日:2023-01-30

    Abstract: 本发明涉及计算机应用技术领域,提供了一种结合人物面部表情的问答交互方法及装置。目的在于解决已有方案中的直接转码、合并过程会显著影响性能的问题。主要方案包括对用户回答问卷问题时的表情进行采集,得到若干个用户的表情图像,将每一个表情图像的横边和纵边切分,然后进行聚合得到子图像,对所有用户表情子图像进行信息提取,得到表情隐藏表示向量;将使用一个非线性函数进行映射,得到三类情感,得到对应于所有情感类别的分支固定文本,将此固定文本、用户标签和指问卷调查的问题原文使用BERT模型分别进行编码得到隐藏向量,将得到的隐藏向量使用一个权重修改系数和映射到问题空间,能够得到下一个最合适的问题。

    一种支持跨模态的文档预训练模型实现方法及装置

    公开(公告)号:CN115953800A

    公开(公告)日:2023-04-11

    申请号:CN202310044744.2

    申请日:2023-01-30

    Abstract: 本发明涉及信息技术领域,提供了一种支持跨模态的文档预训练模型实现方法及装置。目的在于解决LayoutLMv3无法对任务侧重,导致任务之间互相受到影响,导致正在进行的任务表现不理想。主要方案包括获得预训练文档图像数据;将2D文本位置嵌入、1D文本位置嵌入和掩码后的文本信息嵌入相加,相加的结果作为待融合文本嵌入向量;将2D图像位置嵌入、1D图像位置嵌入和掩码后的图像信息嵌入相加,相加的结果作为待融合图像嵌入向量;待融合图像嵌入向量和待融合文本嵌入向量连接得到多模态融合嵌入向量用于预训练模型训练,通过预训练模型,根据不同的任务类别选择不同的预训练模型在不同的数据集上进行微调训练,得到符合对应任务的模型。

    一种数据模型管理方法和装置

    公开(公告)号:CN112214884B

    公开(公告)日:2023-04-07

    申请号:CN202011019852.7

    申请日:2020-09-24

    Abstract: 本申请公开了一种数据模型管理方法和装置,所述方法包括:通过模型生产模块基于预先设置的至少一个模型生产组件,生成可运行的数据模型;通过模型发布模块将数据模型发布至模型售卖平台;通过模型售卖平台将数据模型转化成模型商品供用户购买;通过模型下载模块响应于用户对数据模型的第一预设操作,对数据模型进行与第一预设操作对应的处理,第一预设操作包括预览、购买、下载、编辑、调试、升级、分享、评分、评论和点赞等操作中的一种或多种。由于该方法及装置提供了一套从数据模型生产、发布、上架售卖到下载复用等模型价值相关的全生命周期自动化管理方案,因此可以提高数据模型的生产、使用效率,从而可以提升应用数据模型的企业的生产力。

    伪造人脸识别方法、装置、电子设备及存储介质

    公开(公告)号:CN115761852A

    公开(公告)日:2023-03-07

    申请号:CN202211449695.2

    申请日:2022-11-18

    Abstract: 本公开涉及一种伪造人脸识别方法、装置、电子设备及存储介质,该方法包括:获取目标图像,目标图像包含人脸区域,通过伪造人脸识别模型中的第一网络对目标图像进行处理,得到表征人脸噪声边界的人脸噪声边界识别结果,人脸噪声边界为目标图像中不同图像噪声所形成的边界线,通过伪造人脸识别模型中的第二网络对人脸噪声边界识别结果进行处理,得到伪造人脸识别结果。考虑到来源不同的图像区域会存在不同的图像噪声,通过伪造人脸识别模型中的第一网络对目标图像进行识别得到人脸噪声边界识别结果,从而能够根据人脸噪声边界识别结果来判断目标图像是否为伪造图像,对于所有的图像伪造方法得到的伪造人脸图像均有较好的识别效果。

    一种模板化的数据处理方法及装置

    公开(公告)号:CN111459474B

    公开(公告)日:2023-01-24

    申请号:CN202010176562.7

    申请日:2020-03-13

    Abstract: 本申请公开一种模板化的数据处理方法及装置。所述方法包括:确定包含待处理数据、以及框架标识的数据处理请求;获取为所述框架标识对应的大数据处理框架预设的特殊处理逻辑,所述特殊处理逻辑包括相比于其他大数据处理框架、具有特殊性的处理逻辑;根据所述特殊处理逻辑,以及预设的算子模板,生成适配于所述大数据处理框架的目标算子,所述预设的算子模板中包括适配于多种大数据处理框架的通用处理逻辑、以及为特殊处理逻辑预留的空位;响应于所述数据处理请求,根据所述待处理数据,利用所述目标算子执行数据处理。

Patent Agency Ranking