(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210664508.6 (22)申请日 2022.06.13 (71)申请人 中国科学院软件研究所 地址 100190 北京市海淀区中关村南四街 4 号 (72)发明人 刘哲　王俊杰　苏宇辉　王青　 (74)专利代理 机构 北京君尚知识产权代理有限 公司 11200 专利代理师 司立彬 (51)Int.Cl. G06F 11/36(2006.01) G06F 11/07(2006.01) G06T 7/00(2017.01) G06T 7/73(2017.01) G06T 5/00(2006.01)G06T 5/30(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种用户界面显示缺陷的自动定位与修复 方法及装置 (57)摘要 本发明公开了一种用户界面显示缺陷的自 动定位与修复方法及装置。 本发 明修复方法的步 骤包括： 1)利用计算机视觉技术对目标应用程序 的用户界面的截图进行检测， 根据检测结果获取 所述截图上的显示缺陷区域； 2)利用二值化对所 述显示缺陷区域的图像进行 降噪并提取所述显 示缺陷区域的坐标； 3)遍历所述目标应用程序的 视图布局文件， 根据所述显示缺陷区域的坐标， 定位视图布局文件中对应组件id； 4)根据各所述 组件id， 遍历所述目标应用程序的源代码， 获取 到每一所述组件id对应的源代码并对其进行修 复。 本发明能够帮助开发人员快速定位并修复应 用程序用户界面显示缺陷， 节约修复时间， 降低 测试成本 。 权利要求书1页 说明书3页 附图1页 CN 115168182 A 2022.10.11 CN 115168182 A 1.一种用户界面显示 缺陷的自动定位与修复方法， 其 步骤包括： 1)利用计算机视觉技术对目标应用程序的用户界面的截图进行检测， 根据检测结果获 取所述截图上的显示 缺陷区域； 2)利用二 值化对所述显示 缺陷区域的图像进行降噪并提取 所述显示 缺陷区域的坐标； 3)遍历所述目标应用程序的视图布局文件， 根据所述显示缺陷区域的坐标， 定位视图 布局文件中对应组件id； 4)根据各所述组件id， 遍历所述目标应用程序的源代码， 获取到每一所述组件id对应 的源代码并对其进行修复。 2.根据权利要求1所述的方法， 其特征在于， 对所述视图布局文件每一组件id对应的源 代码设置一对应的修复模板； 根据组件id查询匹配的修复模版对该 组件id对应的源代码进 行修复。 3.根据权利要求2所述的方法， 其特征在于， 所述修改模板包括： 组件高度自适应模板、 文本大小自适应模板、 边界自适应模板、 布局自适应模板、 字体大小自适应模板和 编码格式 模板。 4.根据权利要求1或2或3所述的方法， 其特征在于， 通过运行所述目标应用程序获取所 述目标应用程序的用户截图和视图布局文件。 5.根据权利要求1或2或3所述的方法， 其特征在于， 步骤2)中， 将所述显示缺陷区域的 热力图进 行二值化， 并对灰度图像进 行二值化； 然后使用数学形态学中的腐蚀来消除噪声， 以减少白色区域。 6.一种电子装置， 其特征在于， 包括存储器和 处理器， 所述存储器存储计算机程序， 所 述计算机程序被配置为由所述处理器执行， 所述计算机程序包括用于执行权利要求 1至5任 一所述方法中各步骤的指令 。 7.一种计算机可读存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被 处理器执行时实现权利要求1至 5任一所述方法的步骤。权　利　要　求　书 1/1 页 2 CN 115168182 A 2一种用户界面显示缺陷的 自动定位 与修复方 法及装置 技术领域 [0001]本发明属于计算机技术领域， 涉及软件测试技术， 尤其是UI测试， 用于自动化定位 与修复应用程序用户界面显示缺陷。 本发明构 造了一个丰富的应用程序用户界面显示缺陷 的自动化定位与修复策略。 基于该策略， 本发明利用信息检索的方法自动化修复应用程序 用户界面显示缺陷， 以帮助开发人员快速定位并修复应用程序用户界面显示缺陷， 节约修 复时间。 背景技术 [0002]随着移动设备的迅速发展， 在当今世界移动应用程序的种类与样式也越来越丰 富。 鉴于有300万个Android应用程序可用于阅读、 购物、 银行和聊天等不同的任务， 手机和 应用程序现在已经成为我们日常生活中不可或缺的一部 分。 移动应用的重要性使得开发团 队必须进 行彻底的测试， 以确保移动应用的质量。 为了 保证应用程序的质量， 常见的移动应 用程序用户界面测试主要有基于模型的自动化测试方法、 基于概率的自动化测试方法和基 于深度学习的自动化测试 方法。 [0003]研究表明， 修复一个已知应用程序用户界面显示缺陷大约需要两天时间， 这既耗 时又费力。 开发人员 必须理解问题， 复现问题， 在源代码 中定位其根本原因， 并推测可能修 复问题的策略。 所有这些任务的难度都因遗留代码的软件复杂性、 代码不一致性和代码量 而加剧， 特别 是在高度碎片化的前端代码中。 具体而言， 通过呈现平均8个XML文件， 可以生 成单个用户显示页面， 这使得很难确定页面上有缺陷组件的可疑XML文件。 此外， 应用程序 用户界面显示问题涉及的组件的多样性和应用程序用户显示页面的设计风格的多样性使 情况变得更糟。 尽管有许多基于遗传算法的自动问题修复方法， 搜索方法， 修复模式， 以及 语义信息， 但是这些 方法都无法修补用户界面(UI)的显示问题。 [0004]综上所述， 现有对于缺陷自动修复的方法主要针对于会导致应用程序崩溃的缺 陷。 对于用户界面显示问题还没有一套比较适用的解决方案 。 发明内容 [0005]为了解决以上问题， 本发明的目的在于提供一种应用程序用户界面显示缺陷的自 动化定位与修复方法及 装置。 本发明通过构造了一个丰富的应用程序用户界面显示缺陷的 自动化定位与修复策略， 基于该策略， 利用信息检索的方法自动化修复应用程序用户界面 显示缺陷， 以帮助开发人员快速定位并修复应用程序用户界面显示缺陷， 节约修复时间， 降 低测试成本 。 [0006]本发明的技 术方案为： [0007]一种应用程序用户界面显示 缺陷的自动化定位与修复方法及装置， 其 步骤包括： [0008]1)首先利用计算机视觉技术(CNN)对用户界面 的截图进行检测， 确定截图上是否 存在用户界面显示 缺陷； [0009]2)根据检测结果， 反向获取卷积层最后一层的信息完成对用户界面显示缺陷的图说　明　书 1/3 页 3 CN 115168182 A 3