公开(公告)号：CN119600592A

公开(公告)日：2025-03-11

申请号：CN202411666916.0

申请日：2024-11-21

Applicant: 华南农业大学

Inventor： 高鹏 ,  陈萌辉 ,  吕石磊 ,  李震 ,  陈毅聪 ,  陈嘉鸿 ,  余振鹏 ,  陈洁瑜 ,  李子杰

IPC: G06V20/68 ,  G06V10/764 ,  G06V10/77 ,  G06V10/80 ,  G06V10/82 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/0985 ,  G06N3/006

Abstract: 本发明提供一种基于跨模态深度学习的食物烹饪状态检测方法及系统，包括采集食品烹饪数据集，利用改进型Yolo模型提取图像特征；使用UMAP对图像特征进行降维后进行成熟度分级；利用TCN时间序列模型提取温度‑时间序列特征；融合图像特征和温度‑时间序列特征；训练ViT模型，并使用自适应机制改进的冠豪猪优化算法CPO对训练ViT模型超参数的设置进行智能寻找最优解；识别食物的烹饪状态；本发明通过轻量级多模态注意力机制模块实现图像特征与时间序列特征的最佳权重调整及加权融合；本发明还引入了基于冠豪猪优化算法(CPO)的ViT模型超参数优化策略，提高了模型检测精度，实现对食物烹饪状态的实时监测与评估。