公开(公告)号：CN111539292A

公开(公告)日：2020-08-14

申请号：CN202010306319.2

申请日：2020-04-17

申请人： 中山大学

发明人： 冯诗睿 ,  吴恙 ,  李冠彬 ,  林倞 ,  肖侬

IPC分类号： G06K9/00 ,  G06K9/34 ,  G06K9/62 ,  G06F16/332 ,  G06N3/04 ,  G06N3/08

摘要： 本发明公开了一种用于具现化场景问答任务的动作决策模型及方法，所述模型包括：预训练特征提取模组单元，用于对当前时间节点下的多模态输入特征分别进行提取；特征融合单元，用于将由多模态中提取出来的各个特征进行融合形成融合特征；融合特征解码单元，用于将当前时间节点融合特征向量解码为动作空间下的概率分布序列；时序融合动作决策单元，用于将当前及先前时间节点所获得的动作空间下的概率分布序列进行融合，根据融合得到的动作决策向量中的最大值对应的动作做出当前的动作决策。

公开(公告)号：CN111539292B

公开(公告)日：2023-07-07

申请号：CN202010306319.2

申请日：2020-04-17

申请人： 中山大学

发明人： 冯诗睿 ,  吴恙 ,  李冠彬 ,  林倞

IPC分类号： G06V20/70 ,  G06V10/26 ,  G06V10/80 ,  G06V10/82 ,  G06F16/332 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/0985

摘要： 本发明公开了一种用于具现化场景问答任务的动作决策模型及方法，所述模型包括：预训练特征提取模组单元，用于对当前时间节点下的多模态输入特征分别进行提取；特征融合单元，用于将由多模态中提取出来的各个特征进行融合形成融合特征；融合特征解码单元，用于将当前时间节点融合特征向量解码为动作空间下的概率分布序列；时序融合动作决策单元，用于将当前及先前时间节点所获得的动作空间下的概率分布序列进行融合，根据融合得到的动作决策向量中的最大值对应的动作做出当前的动作决策。