发明公开
- 专利标题: 一种基于图像理解与代码分析结合的移动测试脚本意图识别的方法
-
申请号: CN202210715645.8申请日: 2022-06-02
-
公开(公告)号: CN117234587A公开(公告)日: 2023-12-15
- 发明人: 房春荣 , 张晶 , 虞圣呈 , 李彤宇 , 杜铭哲 , 陈振宇
- 申请人: 南京大学
- 申请人地址: 江苏省南京市鼓楼区汉口路22号南京大学软件学院925
- 专利权人: 南京大学
- 当前专利权人: 南京大学
- 当前专利权人地址: 江苏省南京市鼓楼区汉口路22号南京大学软件学院925
- 主分类号: G06F8/74
- IPC分类号: G06F8/74 ; G06F8/75 ; G06F11/36 ; G06V20/62 ; G06V10/44 ; G06N3/0455 ; G06N3/0464 ; G06N3/047 ; G06N3/048
摘要:
一种基于图像理解与代码分析结合的移动测试脚本意图识别的方法,包括图像理解模块和代码识别模块。图像理解模块生成Appium测试脚本中通过Xpath定位控件的语句的意图描述信息,在自动化运行脚本过程中转储必要的媒体信息后,通过OCR技术和深度学习模型针对不同类型的图片生成其语义信息。代码识别模块通过模版匹配的方法将Id类定位的控件映射到其源代码所在的响应函数,将响应函数输入改进的code2seq模型中生成其意图信息。最后将这两个模块生成的意图信息进行整合,生成最后完整的测试脚本的意图报告。