自去年对15家农村商业银行进行兼容性和相关性能方面的测试后,为持续跟踪和检测更大范围的手机银行客户端的兼容性和易用性等方面的表现,为行业发展提供有益参考,2019年CFCA兼容和性能测试平台针对15家农村商业银行进行兼容性和相关性能方面的测试。

整体上来看,15家农村商业银行个人手机银行APP安卓客户端整体兼容性表现良好,较去年“近半数存兼容性问题”的情况,大有改善。在当前市面流行的主流手机适配测试均测试通过,不存在兼容性问题。

UI界面测试方面,大多数银行APP的UI都过关,4家存在主要体现在功能页面UI异常、手机顶部信息栏信息遮挡等问题,需要针对特定问题进行优化与更改。

应用启动时间、启动用户体验时间、CPU、GPU、内存、电量和电池温度等方面表现均良好,各家银行APP并没有过多消耗设备资源情况。

弱网兼容性测试方面,部分手机银行APP弱网环境下出现功能无法正常进行且APP稳定性比较差的方面问题。建议针对弱网环境出现的问题进行程序的优化。

需要指出的是,个别手机银行APP因为“体重”增加的原因,导致“上行流量消耗”、“下行流量消耗”和“总流量消耗”以及“电池温度”等多项数据的表现弱于去年,因此,我们有必要对APP在功能延展,UI表现方面保持克制,控制“体重”。

本次指标数量从2018年的10个增加为21个,新增加了UI界面显示情况、耗电量、安装时间、CPU占用高于80%运行情况、低丢包率低延时网络运行情况、低丢包率高延时网络运行情况、高丢包率低延时网络运行情况、高丢包率高延时网络运行情况、网络超时运行情况、网络限速运行情况、无网络运行情况等指标提供参考。

本次测试包含15家农村商业银行的个人手机银行安卓手机客户端,包括:北京农商银行、上海农商银行、常熟农商银行、张家港农商银行、苏州农商银行、广州农商银行、重庆农村商业银行、成都农商银行、鄞州银行、深圳农村商业银行、浙江省农村信用社联合社、安徽省农村信用社联合社、江西省农村信用社联合社、山东省农村信用社联合社、云南省农村信用社联合社。

一、兼容性:满分

本次测试兼容性情况使用设备分布情况如下:

根据测试结果:接受测试的15家银行中,所有的APP在100台设备中均可以正常安装、运行、卸载,占100%,全员拿到满分。

二、UI测试:4家银行的APP需针对特定机型做优化

本次UI显示测试的结果显示,4家银行的手机银行APP页面UI存在显示问题,主要体现在功能页面UI异常、某些页面遮挡手机顶部信息栏的信息等错误。

报告建议,对于页面UI存在问题的,需要针对APP模块功能的特定机型进行页面UI优化。

三、性能测试:成都农商行拿下多个第一

本次测试使用性能测试环境为三星S8手机,安卓系统版本7.0,网络环境为CFCA测试WIFI(中国电信网络)连接。测试过程中系统无其他APP后台运行,被测试银行手机银行APP在无其他APP干扰情况下冷启动开始测试,测试过程采取随机测试,测试时长大约2到3分钟。

经测试,成都农商行在上行流量消耗、下行流量消耗、总流量消耗、电量消耗表现优异,排在第一位,另外,该行在电池温度和内存平均占用率等方面表现也不俗,位列第二位。

15家银行手机银行应用启动时间均在2秒以内,平均为1.05秒,最大为2秒,张家港农商银行手机银行启动时间最短,在0.3秒完成第一个页面启动。

15家银行手机银行启动用户体验时间分布在2.69秒到6.92秒之间,差别较小。平均为4.32秒,最大为6.92秒,重庆农村商业银行启动用户体验时间最短,从用户点击APP图标到可操作的首页面完全加载完成用时2.69秒。

根据用户最佳体验原则,APP启动后5秒内完成所有加载达到用户可操作首页面体验最佳。15家银行APP中11家银行APP在5秒以内,有4家银行APP启动时用户需要等待大于5秒才可以操作。

建议在不影响用户使用的前提下,对相关的图片或功能进行优化。在移动互联网时代,人们在功能体验的耐心正变得越来越少。

15家银行APP 运行时的CPU占用率在0.5%到20%不等,平均占用为6.87%,最高占用为20%。最低为重庆农村商业银行手机银行,运行时平均占用0.5%。

15家银行APP 运行时的GPU平均占用为16.37%,最高占用为53.96%。最低为苏州农商银行手机银行,运行时平均占用1.94%。最高占用和最低占用的差距较大,而且最高占用的APP远远高于平均占用,需要好好优化图形加载和功能布局的问题。

内存平均占用率最低的为鄞州银行平均占用90.45MB,15家银行APP平均内存占用为276.36MB,最高占用为374.81MB。

APP向服务端发送数据流量不同APP表现从0.39KB到14.83KB不等,上行流量消耗最低为成都农商银行手机银行,运行过程总上行流量为0.39KB,15款APP平均的上行流量为3.14KB,最高流量APP在运行过程总上行流量为14.83KB。

APP从服务端下载数据流量APP表现从0.34KB到16.05KB不等,下行流量消耗最低为成都农商银行手机银行,运行过程总下行流量为0.34KB,15款APP平均的下行流量为4.17KB,最高流量APP在运行过程总下行流量为16.05KB。

成都农商银行手机银行APP为最省流量APP,测试过程总消耗0.73KB.15家银行APP运行过程总消耗流量均值为7.31KB,消耗最大的APP流量为30.88KB。

20-40℃为手机电池的正常温度,电池温度指标方面各个银行APP指标基本相同,最小为运行时温度28.14℃,最高为33℃,平均30.7℃,各个银行APP运行时对电池的消耗均不大。

15家银行APP安装时的时间在8秒到30秒不等,平均安装时间为15.07秒,最高安装时间30秒。最低为山东省农村信用社联合社,安装用时8秒。

15家银行APP运行过程中耗电量在4.73mAh到10.8mAh不等,平均耗电量6.59mAh,最高耗电量为10.8mAh。最低为成都农商银行手机银行,运行耗电量4.73mAh。

APP在CPU占用率80%以上的情况下运行,15家银行APP中均会发生卡顿现象。

四、弱网环境测试情况:多数表现欠佳

本次弱网测试结果显示,部分手机银行APP弱网环境下出现功能无法正常进行且APP稳定性比较差的方面问题。报告建议,对于弱网环境出现问题APP,加强弱网环境下操作响应时间的速度以及加强弱网环境下UI界面友好度和APP的稳定性。

低丢包率低延时:15家银行APP运行过程中暂未发现问题。

低丢包率高延时:15家银行APP运行过程中暂未发现问题。

高丢包率低延时:15家银行中的13家银行出现通讯异常无法加载进入主页后退出或卡在加载界面。

高丢包率高延时: 15家银行中的13家银行出现通讯异常无法加载进入主页后退出或卡在加载界面。

网络超时: 15家银行中的14家银行出现通讯异常无法加载进入主页后退出或卡在加载界面。

网络限速:加载较慢,暂未发现问题。

无网络:15家银行中的14家银行出现通讯异常无法加载进入主页后退出或卡在加载界面。

五、15家农村商业银行手机银行2018、2019年数据对比

15家农村商业银行手机银行APP的CPU平均占用2019年数据略高于2018年数据基本持平。这和近年来手机银行功能逐渐增加,页面UI不断复杂化的趋势有关,建议银行在功能新增和页面布局上有所克制。

15家农村商业银行手机银行APP的GPU平均占用数据中,2018年与2019年数据基本持平。除个别银行外,整体上和去年差别不大,未来走势还有待进一步观察。

15家农村商业银行手机银行APP的电池温度2018年与2019年数据相差较大。去年,各家银行手机银行的电池温度差异加到,而到了今年,电池温度几乎都保持在同一条水平线上,这确实是一个有趣的现象。

15家农村商业银行手机银行APP的内存平均占用的数据中,2019年数据高于2018年数据。这也和近年来手机银行功能增加,UI布局有很大关系。未来,在保证手机银行主要功能和创新点足够满足用户使用的前提下,考虑这方面的优化问题。

15家农村商业银行手机银行APP的启动用户体验时间2018年数据略高于2019年数据。

15家农村商业银行手机银行APP的上行流量2018年数据与2019年数据除个别银行APP,其他银行数据差异不大。个别银行需要对此引起一定的注意,下一个版本需要就此做出相应的优化措施。下图中“下行流量消耗”和“总流量消耗”都有这个类似的情况,也发生在同样的几家银行的身上,需要考虑“减肥”的问题。

15家农村商业银行手机银行的下行流量2018年数据高于2019年数据。

15家农村商业银行手机银行APP的总流量2018年数据高于2019年数据。

15家农村商业银行手机银行APP的应用启动时间2019年数据与2018年数据基本持平。

根据对比折线图,2018年数据中的流量消耗数据大,2019年数据内存平均占用较2018年的数据大,其余数据差异不大。15家农村商业银行手机银行APP经过一年的时间,用户体验时间得到了相应的优化。随着一段时间内APP应用功能的丰富,某些参数数据均不同程度负增长。

测试APP的版本截止于2019年7月5日,各个银行官网的下载版本。详细如下:

各银行官网下载的手机银行APP

本次测试共分为APP兼容性测试、UI界面测试、性能测试、弱网兼容性测试四大方面,共21个指标。兼容情况、UI界面显示情况、应用启动时间、应用启动用户体验时间、设备CPU占用率、设备GPU占用率、内存占用、设备上行流量、设备下行流量、设备总流量消耗、电池温度、耗电量、安装时间、CPU占用高于80%运行情况、低丢包率低延时网络运行情况、低丢包率高延时网络运行情况、高丢包率低延时网络运行情况、高丢包率高延时网络运行情况、网络超时运行情况、网络限速运行情况、无网络运行情况。其中兼容性测试覆盖了100款主流安卓手机进行,性能测试选取了三星S8手机作为性能测试环境进行。

具体指标解释如下:

兼容情况:选取当前主流100款安卓手机设备,覆盖24个手机品牌,安卓操作系统版本覆盖从4.4.4到9.0.APP分别在不同设备中运行,考察APP兼容性。

UI界面显示情况:指APP的页面显示是否存在异常情况,例如页面遮盖手机屏幕顶部的状态栏信息、页面有明显的显示混乱等。

应用启动时间:指从操作系统开始启动APP到APP第一个页面加载完成总用时。单位:秒。

应用启动用户体验时间:在APP非首次安装启动的情况下(因首次安装启动可能存在权限授予、版本更新等情况,为了测试的统一准确,这里指标在非首次冷启动,无版本更新、授权等情况下进行),从用户点击APP图标开始,到用户看到真实可进行交易的主页面(中间的广告页进行快速跳过,一般主页面指九宫格菜单页面)所用时间。单位:秒。

CPU占用率:APP在运行过程中设备CPU占用平均值。单位:%

GPU占用率: APP在运行过程中设备GPU占用平均值。单位:%

内存占用率:APP在运行过程中设备内存占用平均值。单位:MB

上行流量:APP在运行过程中该APP向服务器发送的数据总流量(统计为该APP的流量,非设备的总流量)。单位:KB

下行流量:APP在运行过程中该APP从服务器下载的数据总流量(统计为该APP的流量,非设备的总流量)。单位:KB

总流量:APP在运行过程中消耗的手机设备流量总和,总流量=上行流量+下行流量。单位:KB

电池温度:APP在运行过程中该设备电池温度,温度的高低在一定程度上可以体现耗电的程度。单位:℃

耗电量:APP在运行过程中该设备消耗的总电量。单位:mAh

安装时间:apk安装包传输至手机以及安装安装包的总时间。单位:秒

CPU占用高于80%运行情况:运行的手机设备处于CPU占用80%以上的高占用状态,运行APP。

低丢包率低延时网络运行情况:网络带宽设置上行30000kbps,下行40000kbps,丢包率上下行分别设置10%,延时设置100毫秒,运行APP。

低丢包率高延时网络运行情况:网络带宽设置上行30000kbps,下行40000kbps,丢包率上下行分别设置10%,延时设置300毫秒,运行APP。

高丢包率低延时网络运行情况:网络带宽设置上行30000kbps,下行40000kbps,丢包率上下行分别设置90%,延时设置100毫秒,运行APP。

高丢包率高延时网络运行情况:网络带宽设置上行30000kbps,下行40000kbps,丢包率上下行分别设置90%,延时设置300毫秒,运行APP。

网络超时运行情况:网络带宽设置上行30000kbps,下行40000kbps,丢包率上下行分别设置100%,延时设置100毫秒,运行APP。

网络限速运行情况:网络带宽设置上行30kbps,下行40kbps,丢包率上下行分别设置0%,延时设置100毫秒,运行APP。

无网络运行情况:设备断开网络,运行APP。

文中数据来自:CFCA兼容和性能测试平台

(文章来源:中国电子银行网)

相关推荐