一种基于SQL实现机器学习算法的方法及系统

    公开(公告)号:CN117312357A

    公开(公告)日:2023-12-29

    申请号:CN202311124131.6

    申请日:2023-09-01

    摘要: 本申请提供了一种基于SQL实现机器学习算法的方法及系统,提高了机器学习算法的执行效率和可维护性,通过将SQL语句转化为机器学习算法的执行流程,在SQL语句中嵌入机器学习算法的逻辑,以实现数据处理、特征工程、模型训练和预测等一系列机器学习任务。与传统的机器学习算法相比,具有更高的灵活性和可扩展性,能够在不同数据源和数据类型之间进行快速切换,实现了机器学习和数据处理的无缝集成,简化了机器学习任务的编码过程,同时降低了算法实现的复杂度和开发成本。并且,本申请的方法还支持在分布式计算环境下进行大规模的机器学习任务,通过利用计算引擎的优化能力和分布式计算框架的并行处理机制可以提高任务的执行效率。

    一种基于多计算引擎的海量数据在线分析方法及其系统

    公开(公告)号:CN117076558A

    公开(公告)日:2023-11-17

    申请号:CN202310875305.6

    申请日:2023-07-17

    摘要: 本发明提出了一种基于多计算引擎的海量数据在线分析方法及其系统,包括:响应于第三方应用发起的作业请求,并将所述作业请求提交到web端在线引擎作业队列;引擎作业提交执行器EJSR轮询会话计算引擎作业队列,并取出作业信息JCI提交给会话计算引擎WebActor;启动会话计算引擎WebActor,接收到所述作业信息后,将作业执行条件JEC发布到远程消息队列MQT,Web服务启动后自动启动会话计算引擎Actor,并订阅远程消息队列主题MQT;同时启动作业执行器JER,所述作业执行器JER不断轮询作业队列,作业执行者JERA调用具体引擎进行处理。通过调用基于多计算引擎的海量数据在线分析接口不仅可以提高数据的处理效率、计算的可靠性,还可以提高系统的灵活性和可扩展性,也有利于降低系统维护成本。

    一种适用于夜间的目标重识别的方法及其系统

    公开(公告)号:CN116152923A

    公开(公告)日:2023-05-23

    申请号:CN202310065402.9

    申请日:2023-01-13

    摘要: 本发明提出了一种适用于夜间的目标重识别的方法,该方法包括如下步骤:对标准化流模块进行训练;进一步通过标准化流模块进行预处理生成所述低光照训练集Xl;收集并获取训练集,所述训练集包括原始训练集X以及低光照训练集Xl;通过reid网络对所述训练集中的图片样本数据进行特征识别。本发明的技术方案针对夜间图片采集的不利干扰,在正常识别网络之外引入标准化流模块对原始采集图片进行低光照增强,通过该模块有效提高了重识别网络对于低光照图片的识别能力,为实现夜间条件下的目标重识别提供了一种行之有效的技术方案。

    一种基于规则引擎的主题检索方法和系统

    公开(公告)号:CN113626427B

    公开(公告)日:2022-07-22

    申请号:CN202110767561.4

    申请日:2021-07-07

    摘要: 本发明给出了一种基于规则引擎的主题检索方法和系统,包括分析检索条件的关键特征和不同类型对象主题的数据特征,根据不同主题同一属性的互斥关系和同一主题不同属性的关联关系,动态调整主题检索的路径规则;根据路径规则检索对应的主题库,基于不同主题的依存关系,动态调整检索结果的合并规则。该方法和系统基于海量数据场景下,可以分析不同类型的对象主题的特征,自动匹配对应的主题检索规则,识别准确率和效率都有大幅度提高,大大提高大数据的分析利用价值,减少大数据系统的建设成本。

    可定制化的多源数据库的数据抽取方法、装置及存储介质

    公开(公告)号:CN110032594B

    公开(公告)日:2022-04-29

    申请号:CN201910218315.6

    申请日:2019-03-21

    IPC分类号: G06F16/25

    摘要: 本发明提供了一种可定制化的多源数据库的数据抽取方法、装置及存储介质,该方法包括:获取数据抽取系统的当前时间,作为数据抽取的开始时间;从ETL的日志表中的到当前的最小FLAG作为抽取数据起始点;接收输入的数据抽取策略,所述抽取策略包括待抽取的数据源;在待抽取的数据源中从抽取数据起始点基于数据抽取策略进行数据的抽取,抽取完成后将抽取记录到日志表。本发明提出了数据抽取系统,租户向该平台提交数据抽取需求后,经管理员审批通过,所述服务服务提供商完成数据的抽取并反馈至租户,这样租户就不再需要维护独立的数据抽取系统,提高了系统性能,且数据的抽取过程可通过审批机制提高数据系统的安全性。

    一种人脸图像聚类中非活体过滤的方法、装置、介质

    公开(公告)号:CN113673382A

    公开(公告)日:2021-11-19

    申请号:CN202110898483.1

    申请日:2021-08-05

    IPC分类号: G06K9/00 G06K9/62 G06T7/62

    摘要: 本发明提出了一种人脸图像聚类中非活体过滤的方法、装置及存储介质,该方法包括:分组步骤S101,对聚类后的人脸图像根据摄像头的ID进行分组,其中n≥2;计算步骤S102,针对每一个分组计算所有人脸图像位置的区域及该区域对应的多边形面积,以及该分组对应的摄像头视野面积;过滤步骤S103,基于该区域对应的多边形面积及该分组对应的摄像头视野面积确定采集的人脸图像是否为非活体,如果是,则将非活体的人脸图像删除。本发明创造性的提出了基于人脸出现的区域的面积及摄像头的视野面积进行非活体的识别,识别方法简单可靠,无需增加硬件设备,也不需要被识别人的配合,且识别率较高,满足了工程需要。

    一种基于智能推荐的字段标准化的方法和系统

    公开(公告)号:CN113626558A

    公开(公告)日:2021-11-09

    申请号:CN202110767556.3

    申请日:2021-07-07

    摘要: 本发明给出了一种基于智能推荐的字段标准化的方法和系统,包括将原始数据入库,抽取部分原始数据作为内容分析集合,动态映像抽取原始数据相应的字段到数据目录表中,形成待分析的字段集合;利用字段的属性特征获取原始数据的字段的真实表征,对字段集合进行标准化处理以获取包括推荐数据元和限定词的标准化字段集合;调用特征校验引擎识别内容分析集合获取数据特征的结果集合,保存与结果集合的数据吻合的标准化字段集合。该方法和系统可以自动分析出字段属性和内容特征,智能推荐字段的标准化处理方案,大大提升原始数据解析入库的效率。

    一种基于多计算引擎的大数据离线处理方法及其系统

    公开(公告)号:CN117076559A

    公开(公告)日:2023-11-17

    申请号:CN202310875339.5

    申请日:2023-07-17

    摘要: 本发明提出了一种基于多计算引擎的大数据离线处理方法及其系统,该方法包括如下步骤:响应于第三方应用通过Web端发起的作业请求,所述作业请求调用引擎执行器控制层接口EECI;引擎作业提交执行器EJSR会轮询独立引擎作业队列,并取出作业信息JCI提交给离线计算引擎WebActor‑WSActor;启动离线计算引擎Actor‑SJEActor,发送启动信息至离线计算引擎WebActor‑WSActor实例;同时启动作业执行器JER,所述作业执行器JER不断轮询作业队列,查看作业队列中是否存在作业信息JCI,轮询到作业信息JCI时创建并提交所述作业信息JCI给作业执行者JERA,作业执行者JERA调用具体引擎进行处理。通过在实际建模过程中通过调用基于多计算引擎的大数据离线处理系统接口能够高效、可靠的解决大数据离线计算的业务场景。

    行人重识别模型的训练方法、装置、计算设备及存储介质

    公开(公告)号:CN113936302B

    公开(公告)日:2023-04-07

    申请号:CN202111295755.5

    申请日:2021-11-03

    摘要: 本发明公开一种行人重识别模型的训练方法、装置、计算设备及存储介质,该方法包括:获取第一行人重识别训练数据集所述第一行人重识别训练数据集输入预设的行人重识别模型进行处理,并基于处理结果得到第一损失函数所述第一行人重识别训练数据集进行处理得到第二行人重识别训练数据集所述第二行人重识别训练数据集输入远程监督网络进行处理,并根据处理结果得到第二损失函数;所述第一损失函数和第二损失函数所述预设的行人重识别模型,得到目标行人重识别模型。根据本发明实施例通过增加监督网络提供监督信息来实现不增加识别网络复杂度的前提下,扩充训练样本数量的同时也有效提升了行人重识别网络的识别性能。