一种基于不平衡多源数据的情感分类方法及系统

    公开(公告)号:CN110134947A

    公开(公告)日:2019-08-16

    申请号:CN201910307654.1

    申请日:2019-04-17

    IPC分类号: G06F17/27 G06N3/08

    摘要: 本发明提出一种基于不平衡多源数据的情感分类方法,包括:获取来自多个数据源的训练数据,其中训练数据包含多条文本数据,每条文本数据具有情感类型标签和其对应的数据源;按数据源对训练数据进行分类,以集合每个数据源对应的文本数据作为第一数据集,根据每个第一数据集中各情感类型标签的数量,统计每个第一数据集中情感类型的标准差,选择标准差最小的第一数据作为预训练集,其余第一数据集作为后续训练集;以预训练集训练神经网络模型的权值直到损失函数收敛,输出神经网络模型作为预分类模型,以后续训练集继续训练预分类模型直到损失函数收敛,输出预分类模型作为最终分类模型;将待情感分类文本数据输入最终分类模型,得到其情感类型。

    一种基于不平衡多源数据的情感分类方法及系统

    公开(公告)号:CN110134947B

    公开(公告)日:2021-03-26

    申请号:CN201910307654.1

    申请日:2019-04-17

    IPC分类号: G06F40/30 G06N3/08

    摘要: 本发明提出一种基于不平衡多源数据的情感分类方法,包括:获取来自多个数据源的训练数据,其中训练数据包含多条文本数据,每条文本数据具有情感类型标签和其对应的数据源;按数据源对训练数据进行分类,以集合每个数据源对应的文本数据作为第一数据集,根据每个第一数据集中各情感类型标签的数量,统计每个第一数据集中情感类型的标准差,选择标准差最小的第一数据作为预训练集,其余第一数据集作为后续训练集;以预训练集训练神经网络模型的权值直到损失函数收敛,输出神经网络模型作为预分类模型,以后续训练集继续训练预分类模型直到损失函数收敛,输出预分类模型作为最终分类模型;将待情感分类文本数据输入最终分类模型,得到其情感类型。

    异构资源分布式计算平台批量任务调度方法及存储介质

    公开(公告)号:CN112181613A

    公开(公告)日:2021-01-05

    申请号:CN202010943286.2

    申请日:2020-09-09

    IPC分类号: G06F9/48 G06F9/50

    摘要: 本发明公开了一种异构资源分布式计算平台批量任务调度方法及存储介质,本发明在由几个计算中心组成的异构资源分布式计算集群中,将每个计算中心中的异构资源进行整合与分组,针对分布式计算平台中常见任务的需求,将这些资源合理地分配到预设的具有相应资源偏好的任务队列中。当有一批新任务提交时,根据用户提交的每个任务的相应特征以及各个中心的任务队列当前状态,分析全局最优解,为每个任务选择合适的队列。从而高效利用跨中心多集群中的异构资源,合理进行批量任务调度,解决现有技术中任务调度性能低、任务等待时间长的问题。