一种融合局部和全局上下文的方面情感分类方法

    公开(公告)号:CN117407759A

    公开(公告)日:2024-01-16

    申请号:CN202311015672.5

    申请日:2023-08-14

    Inventor: 蔡佳志 冯翱

    Abstract: 本发明公开了一种融合局部和全局上下文的方面情感分类方法,其采用了基于改进BERT/RoBERTa模型的方面情感分类模型,可以有效地提取被预训练模型遗漏的局部语义信息。此外,为了提升模型的鲁棒性和泛化能力,本方案引入对抗训练和将Focal Loss(焦点损失)作为损失函数。而且,为了更好地发挥预训练模型本身的能力,本发明还为数据添加了Hard Prompt(硬提示)。在多个标准数据集上的实验表明,此模型的分类性能与其它深度学习分类算法相比有明显的提升。

    一种基于细粒度标注数据的情感判别方法

    公开(公告)号:CN111046171B

    公开(公告)日:2022-08-16

    申请号:CN201910809268.2

    申请日:2019-08-29

    Abstract: 本发明涉及一种基于细粒度标注数据的情感判别方法,方法包括:采集财经新闻数据,将新闻数据划分为标注样例集和未标注样例集,通过标注样例集和未标注样例集对第一分类器和第二分类器进行训练,使第一分类器能够筛选出文章中的关键句,第二分类器判别文章的情感倾向,分别得到第一分类器的模型参数和第二分类器的模型参数,将分类结果中置信度高的数据加入到标注样例集中,并利用主动学习理论,从未标注样例集中选出最值得标注的数据C发给人工进行标注,以此循环训练情感判别模型,直到达到分类精度,训练结束,得到判别模型。

    一种基于多任务学习的混合注意力机制文本标题匹配方法

    公开(公告)号:CN112966103A

    公开(公告)日:2021-06-15

    申请号:CN202110190612.1

    申请日:2021-02-05

    Abstract: 本发明涉及一种基于多任务学习的混合注意力策略文本标题匹配方法,模型的多任务学习体现在模型同时对输入文本进行文本原有类别的分类任务1和是否为“标题党”文章的分类任务2,通过多任务学习模型对模型进行联合训练,由其中一个任务辅助另一个任务学习到更好的参数。本方案用分类任务1的反向传播来调整模型参数,使分类任务2获得更好的表现,本发明从正文中提取重点信息与标题进行匹配从而实现“标题党”文章的检测,明显提高了标题党的检测精度和准确性。本发明方法提出的注意力机制可以一步到位的计算出每个元素与其他元素的关联度,计算量小,效率高。

    一种基于语法树和提示模板的方面情感分类方法

    公开(公告)号:CN118410798A

    公开(公告)日:2024-07-30

    申请号:CN202311237635.9

    申请日:2023-09-25

    Inventor: 刘涛 冯翱

    Abstract: 本发明涉及一种基于语法树和提示模板的方面情感分析方法。该方法具体为:首先使用现有的解析器对文本进行句法分析生成依赖树和成分树,并提取依赖树中的依赖关系类型,再利用方面词构建提示模板结合方面词所在句子作为BERT预训练模型的输入,得到具有上下文表征的词向量表达。然后使用图注意力网络分别对两种语法树和依赖关系类型进行编码,再使用双仿射模型BiAffine进行融合,经过多次迭代获得最终的方面词特征表达。最后将BERT的池化向量和模板中的遮蔽向量与方面词特征进行结合,通过一个分类器得到最后的情感分类结果。本发明有效的利用了文本的语义信息,并充分利用了预训练模型的能力,提升了方面情感分析任务的性能。

    一种基于多任务学习的混合注意力机制文本标题匹配方法

    公开(公告)号:CN112966103B

    公开(公告)日:2022-04-19

    申请号:CN202110190612.1

    申请日:2021-02-05

    Abstract: 本发明涉及一种基于多任务学习的混合注意力策略文本标题匹配方法,模型的多任务学习体现在模型同时对输入文本进行文本原有类别的分类任务1和是否为“标题党”文章的分类任务2,通过多任务学习模型对模型进行联合训练,由其中一个任务辅助另一个任务学习到更好的参数。本方案用分类任务1的反向传播来调整模型参数,使分类任务2获得更好的表现,本发明从正文中提取重点信息与标题进行匹配从而实现“标题党”文章的检测,明显提高了标题党的检测精度和准确性。本发明方法提出的注意力机制可以一步到位的计算出每个元素与其他元素的关联度,计算量小,效率高。

    一种基于增量学习的集成式自适应水军识别方法

    公开(公告)号:CN112906383B

    公开(公告)日:2022-04-19

    申请号:CN202110169936.7

    申请日:2021-02-05

    Abstract: 本发明涉及一种基于增量学习的集成式自适应水军识别方法,采用集成式模型,集成了传统分类器A和神经网络分类器B,传统分类器A,用于学习离散的用户信息特征,基于RNN的神经网络模型属于神经网络分类器B,通过深度学习捕获文本序列中的语言特征,集成式模型可以自适应水军特征的变化,通过多个模型同时对水军特征进行学习,以互补的形式提高了模型的识别准确率。同时增量学习通过不断学习新的样本特征,能够自适应的拟合用户各类特征的变化,无需重新收集新样本,无需重新训练模型,提升了模型可持续性效应,减少了各方人力成本。通过增量学习,模型可以实现更好的泛化性能。

    基于层次化分类体系的情感判别和重要性划分方法

    公开(公告)号:CN108804524B

    公开(公告)日:2020-03-27

    申请号:CN201810394797.6

    申请日:2018-04-27

    Inventor: 冯翱 徐天豪 吴锡

    Abstract: 本发明涉及一种基于层次化分类体系的情感判别和重要性划分方法,其包括:S1)采集垂直领域的大量新闻数据,其内容尽可能多样化;S2)分析垂直领域,根据层次化分类的思想对该领域进行层次化划分,划分后的垂直领域由树状图表示;S3)针对每层中的内节点和基类,选取一定量的新闻数据进行人工标注;S4)对于每个内节点和基类,使用S3中标注好的训练数据建立分类器,分类器输出新进新闻属于该节点的概率;S5)对于新采集到的新闻数据,使用S4中建立的分类器计算其属于每个节点的概率,将其归类于概率最大或超过门限值的节点,从而使得新闻数据被归类到内节点或基类;S6)将新闻数据归类到节点后,计算并确定其情感和重要性标签。

    一种基于知识库和深度学习的实体名称提取方法

    公开(公告)号:CN110705292A

    公开(公告)日:2020-01-17

    申请号:CN201910780471.1

    申请日:2019-08-22

    Inventor: 冯翱 陈郑淏 吴锡

    Abstract: 本发明涉及一种基于知识库和深度学习的实体名称提取方法,包括获得对待匹配实体进行描述的文本,将描述文本、外部知识库及两者的结合作为训练词和实体嵌入的文本集;使用词嵌入工具得到各个词和实体的嵌入式表达。建立深度学习网络,将嵌入式表达和外部现有知识库的文本表达作为输入,输出词m对应待匹配实体的概率,采集训练数据输入到建立好的深度学习网络中对深度学习网络模型进行训练,对待匹配文本,通过计算词w和实体之间的余弦相似度得到多个匹配候选项,最后将词w和匹配候选项输入到深度学习网络中,得到匹配概率。本发明较现有技术,可以基本实现端到端的自动化匹配,具有更好的匹配准确度和效率。

    一种动态调整的企业信用风险评估方法

    公开(公告)号:CN108846547A

    公开(公告)日:2018-11-20

    申请号:CN201810423340.3

    申请日:2018-05-06

    Inventor: 冯翱 吴锡

    Abstract: 本发明公开了一种动态调整的企业信用风险评估方法,其包括:通过网络爬虫以预设的周期抓取设定的新闻采集网站上的新闻;在新闻中进行企业主体提取,标注出新闻文本中的企业主体名称;对于一定数量含有企业主体的新闻,对其进行情感标注;使用专家标注的金标数据,采用机器学习模型训练新闻情感的分类器;对于获取的未标注新闻数据,使用训练的模型进行分类;根据与一个企业主体相关的正面、负面、中性新闻数量,分别计算一个累计分值;综合新闻的数量和情感类型的分布,计算新闻舆情的总体评分值;结合财务指标和舆情指标,采用加权求和的方式计算总体信用风险评分,该评分能够基于实时的新闻进行动态更新;进行信用评分和相应信用评级的输出。

    基于层次化分类体系的情感判别和重要性划分方法

    公开(公告)号:CN108804524A

    公开(公告)日:2018-11-13

    申请号:CN201810394797.6

    申请日:2018-04-27

    Inventor: 冯翱 徐天豪 吴锡

    Abstract: 本发明涉及一种基于层次化分类体系的情感判别和重要性划分方法,其包括:S1)采集垂直领域的大量新闻数据,其内容尽可能多样化;S2)分析垂直领域,根据层次化分类的思想对该领域进行层次化划分,划分后的垂直领域由树状图表示;S3)针对每层中的内节点和基类,选取一定量的新闻数据进行人工标注;S4)对于每个内节点和基类,使用S3中标注好的训练数据建立分类器,分类器输出新进新闻属于该节点的概率;S5)对于新采集到的新闻数据,使用S4中建立的分类器计算其属于每个节点的概率,将其归类于概率最大或超过门限值的节点,从而使得新闻数据被归类到内节点或基类;S6)将新闻数据归类到节点后,计算并确定其情感和重要性标签。

Patent Agency Ranking