公开(公告)号：CN115690874A

公开(公告)日：2023-02-03

申请号：CN202211277554.7

申请日：2022-10-19

申请人： 华南理工大学 ,  广东优算科技有限公司

发明人： 邱宣瑞 ,  冼允廷 ,  张潇予 ,  颜钰臻 ,  袁小清 ,  马梓扬

IPC分类号： G06V40/16 ,  G06V40/20 ,  G06V10/82 ,  G06V10/764 ,  G06N3/0464 ,  G06N3/08

摘要： 本发明涉及机器学习领域和智慧养老服务领域，为基于人体关键点检测和Transformer模型的老人吃药检测方法和系统，该方法包括：通过视频设备分别采集空间数据整体数据和人体面部区域数据，得到视频集合检测提取得到人体关键点特征、面部关键点特征、药品特征；根据人体关键点特征、面部关键点特征、药品特征做逻辑判断，得到是否完成正确服药的第一结果R1；通过Transformer时序模型对人体关键点特征进行逐帧建模，将包含视频每一帧动作全局信息特征集合的输入动作分类器进行分类，得到是否为服药动作的第二结果R2；根据结果R1和结果R2判断并输出是否完成正确服药的结果。本发明可以提高对吃药、喝水等相似动作的区分度，准确检测老年人是否按量正确地完成吃药。