一种基于机器学习的实验分析平台

    公开(公告)号:CN118133452A

    公开(公告)日:2024-06-04

    申请号:CN202410248125.X

    申请日:2024-03-05

    摘要: 本发明涉及机器学习技术领域,具体涉及一种基于机器学习的实验分析平台;包括Web交互单元、实验数据处理单元和筛选单元,实验数据处理单元由js框架、Springboot框架和后端构成,筛选单元包括搜索模块、上传模块和显示模块,利用多个超文本标记语言模块和多个层叠样式表模块构成以平台网页形式存在Web交互单元,用户可以利用搜索模块以关键词查询实验数,并将关键词信息传输给上传模块,上传模块用于将关键词信息上传至js框架,利用js框架将数据通过Springboot框架上传至后端进行处理后,利用Springboot框架上传至js框架进行渲染后,通过显示模块在平台网页上显示用户定制化的实验指标。

    机器学习模型持续集成和部署方法

    公开(公告)号:CN118132426A

    公开(公告)日:2024-06-04

    申请号:CN202410248433.2

    申请日:2024-03-05

    IPC分类号: G06F11/36 G06N20/00

    摘要: 本发明涉及数据处理技术领域,具体涉及一种机器学习模型持续集成和部署方法,包括对代码文件进行编译,得到测试代码;基于测试代码构建管理项目;基于管理项目对测试代码的覆盖率进行测试,得到测试结果;对测试代码的覆盖率进行计算,得到计算结果;基于测试结果和计算结果对测试代码的管理项目打包,得到打包文件;对打包文件进行镜像处理,得到镜像文件;对镜像文件进行部署,得到机器学习模型容器,在对机器学习模型部署前首先对代码进行测试,测试完成后将准确的代码进行部署,解决了编写的代码中会存在错误,从而降低了机器学习模型使用时结果输出的精确度的问题。

    样本生成方法、装置、电子设备及存储介质

    公开(公告)号:CN117807987A

    公开(公告)日:2024-04-02

    申请号:CN202211178539.7

    申请日:2022-09-26

    摘要: 本说明书实施例提供了样本生成方法、装置、电子设备及存储介质,样本生成方法包括:获取待处理的日志数据;日志数据包括文本和文本的意图识别结果;根据文本的意图识别结果,对日志数据进行数据筛选处理,得到低频意图数据;将低频意图数据、预设意图类别的标准文本输入文本对比模型进行相似度预测处理,得到低频意图数据对应的文本对比结果;文本对比模型为基于训练样本集对初始文本对比模型进行训练所得到的模型;训练样本集基于所述低频意图数据构建;根据文本对比结果与预设相似度阈值,生成低频意图样本。以此,扩增了低频意图样本的数量。

    文本分类模型的训练方法、文本分类方法及相关设备

    公开(公告)号:CN117493555A

    公开(公告)日:2024-02-02

    申请号:CN202310637467.6

    申请日:2023-05-31

    摘要: 本申请公开了一种文本分类模型的训练方法、文本分类方法及相关设备,用于提高文本分类模型的训练效率,减少模型灾难性遗忘以提升文本分类模型的训练效果。所述训练方法包括:获取多个训练数据集;通过各个训练数据集对应的文本分类模型对各个训练数据集进行分类,得到各个训练数据集中的样本文本的预测类别;基于各个训练数据集中的样本文本的预测类别及类别标签,优化各个训练数据集对应的文本分类模型中的适配模块,以得到各个训练数据集对应的第一目标适配模块;对多个训练数据集各自对应的第一目标适配模块携带的模型参进行融合处理,以得到第二目标适配模块,并在初始的预训练语言模型中添加第二目标适配模块,得到目标文本分类模型。

    文本分类模型的训练方法、文本分类方法及相关设备

    公开(公告)号:CN117493552A

    公开(公告)日:2024-02-02

    申请号:CN202310487043.6

    申请日:2023-04-28

    摘要: 本申请提供了一种文本分类模型的训练方法、装置及电子设备,用于提升文本分类模型的训练效率。该方法包括:根据原始类别样本以及新增类别样本生成样本训练集;通过预训练分类模型中的第一特征提取模块,得到类别无关特征,以及通过预训练分类模型中的第二特征提取模块,得到类别相关特征;通过类别无关任务模块的输出以及预设的类别无关损失函数,对预训练分类模型中的第一特征提取模块进行更新;通过类别相关任务模块的输出以及预设的类别相关损失函数,对预训练分类模型中的第二特征提取模块进行更新;根据更新后的第一特征提取模块以及更新后的第二特征提取模块,对预训练分类模型中包含的合并分类模块进行更新,以生成文本分类模型。

    文字识别模型的训练方法、文字识别方法及相关设备

    公开(公告)号:CN116453134A

    公开(公告)日:2023-07-18

    申请号:CN202310340834.6

    申请日:2023-03-31

    IPC分类号: G06V30/19 G06V30/148

    摘要: 本申请公开了一种文字识别模型的训练方法、文字识别方法及相关设备。所述训练方法包括:获取训练数据集,所述训练数据集包括样本图像以及样本图像对应的真实标签,所述真实标签由所述样本图像中的文字区域的位置信息和所述文字区域中的真实文字拼接而成;对所述真实标签中的真实文字进行掩码处理,得到第一掩码标签;通过文字识别模型中编码模块对所述样本图像进行编码处理,得到所述样本图像的第一图像特征向量,并通过所述文字识别模型中解码模块基于所述第一掩码标签对所述第一图像特征向量进行文字识别,得到所述样本图像对应的第一文字识别结果;基于所述样本图像对应的真实标签和第一文字识别结果,优化所述文字识别模型。

    模型的训练方法、文本处理方法及装置

    公开(公告)号:CN116227467A

    公开(公告)日:2023-06-06

    申请号:CN202211102466.3

    申请日:2022-09-09

    摘要: 本申请公开了一种模型的训练方法、文本处理方法及装置,模型的训练方法包括预训练语言模型的训练方法和文本处理模型的训练方法。预训练语言模型的训练方法包括:基于第一样本文本包含的词语在第一样本文本所属第一样本集中的词频,确定第一样本文本中的多个待掩码词语;至少基于多个待掩码词语确定第一样本文本对应的多个备选词语;对多个待掩码词语进行掩码处理得到掩码文本;通过预训练语言模型,基于掩码文本以及多个备选词语,得到每个待掩码词语所在位置对应的预测词语;基于每个第一样本文本包含的多个待掩码词语及每个待掩码词语所在位置对应的预测词语,调整预训练语言模型的模型参数。本申请有利于提高预训练语言模型的训练效果。

    文本分类模型的训练方法、文本分类方法及装置

    公开(公告)号:CN116186248A

    公开(公告)日:2023-05-30

    申请号:CN202211089768.1

    申请日:2022-09-07

    IPC分类号: G06F16/35 G06N3/08 G06N3/0464

    摘要: 本发明提供了一种文本分类模型的训练方法、文本分类方法及装置。其中,文本分类模型的训练方法包括:获取预训练样本,其中,预训练样本包括标注不同对话角色的k轮对话文本内容,k为大于1的整数;对预训练样本进行特征提取,获得特征向量,其中,特征提取包括角色特征提取;根据特征向量获得损失值,并根据损失值对初始模型进行预训练,获得预训练模型;对预训练模型的参数进行微调,获得文本分类模型。本发明提供的技术方案能够提高文本分类模型的分类效果。