你们的软件质量的标准依据是什么?
产品是基于安卓操作系统的教育机器人,内置教育类APP。软件质量是否达到标准主要从功能和性能进评估。
版本功能质量标准主要体现在系统测试过程中。主要基于两点,一是基于测试覆盖度的质量标准,二是基于软件缺陷的质量标准。
(1)critical级别bug修复率达到100%
(2)major级别bug修复率达到80%基于测试覆盖度的质量标准:
平板开机时间:可以人工计时,用adbshell查看启动过程每个进程消化多时间测试启动时间
主页滑动刷新率:滑动的FPS,耗电量,内存,CPU
主要关注从服务端拉取量的数据,或受络影响较,或占内存过多的应用,驱动底层执行动作的功能等,如f端的获取商城资源,脸识别,体跟随,手势识别,语音调度(包括人工智能对话)执命令,机器端自身状态的变化如休眠,唤醒,插拔电源,触摸机器人传感器反应。监护人端的登录,首页状态展示等。
1.fps卡顿:fps每秒传输蒸数就是刷新率,越越流畅,保持在50,可能因为hi布局不合理,fps达到60的时候,人眼才会感觉很丝滑流畅,没有卡顿,可能因为hi布局不合理,fps达到60的时候,人眼才会感觉很丝滑流畅,没有卡顿,可用命令adb logcat -s SurfaceFlinger|findstr fps
耗流量:设置机代理软件获取流量情况。因素有重复请求某个接口,重复加载资源。Fiddler可查看
耗电量:把其他app杀死,运行某个查看掉了多少,自带耗电软件测试,也可以用命令。影响的因素有:持续定位蓝牙传感器。
2.内存,CPU:内存泄漏会导致内存越来越少,更卡,市面上有工具可以分析内存分配。测试中作出操作查看哪有内存泄漏,如进退多个页之前页没有释放,一直加内存,导致内存泄露
3.APP启动时间:功能执响应时间<2s,通过分析启动过程看下具体哪一步耗时间,adb shell top -d 1-n 4| find”进程名”adb shell am start -Wcom.avatarmind.tongxin/.ui.LauncherActivity
可以用monkey:安卓自带命令行工具,在实际设备中运行adbshell命令系统发送事件流,模拟户的输入操作,随机发送被测系统指令反复执,查看是否有崩溃异常未响应
adb shell monkey -p com.badu.www-ptc -touch 5 -motion5 –ingore carh-V-V-V(设置测试事件次数,频率。运某个包。调试选项,事件类型,志级别,忽略崩溃超时,事件百分比,)也可以用monkeyrunner:自动化测试框架,提供APl,写python程序模拟发送特定的事件来控制安卓设备APP。测试稳定性及可以截屏记录问题
产品间性能对比测试标准:在同样的络环境下,对不同厂家机器人进语对话反应时间对比测试,和竞品进30组对话,每组对话测试10次,比较输时和机器反应时间并得出平均值;除此之外,还测试了不同厂家机器人回答合理性对比,机器人不同mic样品,不同距离输的性能对。测试标准如下
用iperf的工具,测带宽性能,保证丢包率大于98%。在同一个络内电脑和安卓安装好,使iperf命令选择时间间隔,时长,端号等进请求和接受可以查看结果
性能测试是针对系统并发处理能力,交易响应时间等性能指标进测试。包括访问页,登录,提交订单。测试标准如下:
7乘24小时是否内存泄漏Jmeter压力测试,测服务器