在CNAS软件检测领域,GB/T 25000.51-2016 《系统与软件工程 系统与软件质量要求和评价(SQuaRE)第51部分:就绪可用软件产品(RUSP)的质量要求和测试细则》,是目前国内对就绪可用软件产品软件检测标准。
一、国标GB/T 25000.51-2016 产品质量-功能性
主要包括完备性、正确性、适合性、以及功能性的依从性。验证软件在指定条件下使用,软件产品、服务或可交付成果满足明确和隐含要求功能的能力。
标准原文如下:
1、功能完备性
指功能集对指定的任务和用户目标的覆盖程序。
功能完备性的解析
Ø软件的功能在需求规格说明书或其它技术说明书中进行描述;
Ø最终交付软件的实际功能覆盖上述文档的能力;
Ø用于评价一组功能覆盖所有的具体任务或用户目标的程度。
一个合格软件产品,一定是严格按照需求规格说明书或其它需求文档提及的功能要求进行实现的。
功能完备性的测试方法
Ø将用户文档集和产品说明书中指定的功能点与软件中的功能点进行匹配,也就是说将软件应实现的功能(如功能清单)与实际测试中执行的测试用例进行对应,形成功能对照,如图:
Ø实际验证过程中按上述的功能对照表检查功能完备性;
Ø指定的任务和用户目标包含了明确、不明确和隐含的要求。
案例
一条完整的培训信息包括培训的主题ID、证书内容、起止时间、费用、地点、机构、联系人手机号码、联系人邮箱;其中培训的主题ID、内容、起止时间、费用、机构、联系人手机号码为必填项。
培训的起始时间不能晚于截止时间,培训费用精确到元角分。每一个输入项的数据规格应遵循数据字典的要求。要求同时并发15个用户进行登录,登录时间小于30S。对增加的培训信息允许进行删除。
功能对照图如下:
2、功能正确性
功能正确性的定义
指产品或系统提供具有所需精度的正确结果的程度。
比如:
Ø手机号码必须为11位数字(物联网号码除外);
Ø邮箱格式必须含有@符号;
Ø用户地址、用户姓名等字数限制
Ø金额必须为数字,单位为元,且保留至小数点后两位
以上的内容均指软件产品功能的正确性。
Ø用于测量软件提供准确数据的能力;
Ø用于验证软件产品提供与所需精度相符的结果或效果的能力;
功能正确性的测试方法
Ø通过验证软件特定功能,这里指该功能的实际输出结果是否符合需求规格说明书中定义的选定目标的预期结果。
Ø同时需要对用户文档集中陈述的软件功能限制条件进行验证;
Ø符合日常常规逻辑,如手机号码为11位数字,邮箱格式须存在@字符,月份为1~12的数字等;
Ø验证类型如(不限制于下):字符串长度、数字精度、邮箱格式、手机格式等。
如下图:
案例
同样以上面的培训信息为例子,在完备性分析完成后,若加入功能的正确性分析,则测试验证图表示为:
备注:
红色字体表示依据正确性新增的测试功能点
存在部分功能同时属于完备性和正确性
3、功能适合性
功能适合性的定义
指软件功能促使指定的任务和目标实现的程度。
功能适合性的解析
符合要求,适于使用,满足用户使用要求的程度,也就是说软件产品提供的功能是否需方或用户需要的功能;
功能适合性的测试方法
Ø符合要求测试:
参照需求规格说明书、用户操作手册或用户的期望,检查功能是否已按规定执行;识别出用户运行系统期间是否出现未满足的功能或不满意的操作;
Ø适用性测试:
从用户或最终使用者角度,查看已实现的功能是否满足可用。
案例
同样以上面的培训信息内容为例,在加入功能的适用性后,功能测试点变更为:
备注:黄色字体表示新增加的功能适用性内容
4、功能依从性
功能依从性的定义
指产品或系统遵循与功能性相关的标准、约定或法规以及类似规定的程度。
功能依从性的解析
1.标准、约定或法规包含了国际、国家、行业及企业四个维度的标准。
2.行业相关规则及标准包含但不限于:
ØGB/T 25000.51-2016 系统与软件工程 系统与软件质量要求和评价(SQuaRE) 第51部分:就绪可用软件产品(RUSP)的质量要求和测试细则
ØGB/T 25000.10-2016 系统与软件工程 系统与软件质量要求和评价(SQuaRE) 第10部分:系统与软件质量模型
Ø国家IT相关法律、法规及标准等
功能依从性的测试方法
查看产品说明书中是否提及产品功能性的相关标准、约定或法规及类似规定要求,若有提及并且有提供证明材料,则认可,测试过程中按些标准进行;否则,需要验证软件与提及的文件(需求文档)要求是否相符。
案例
《XXXX软件—需求文档》中写明软件的导航电子地图模块符合标准《GB/T 20267-2006车载导航电子地图产品规范》第5章的要求,则做如下测试:
易用性:在指定的使用周境中,产品或系统在有效性、效率和满意度特性方面为了指定的目标可为指定用户使用的程度。
注:易用性既可以从它的子特性角度当作产品质量特性来进行指定或测量,也可以直接通过测度(使用质量的子集)来进行指定或测量。
标准原文如下:
易用性测试方法
易用性测试方法有:静态测试、动态测试、动静态相结合测试。
静态测试可以包含需求分析和规范检查。需求分析,分析用户对易用性的要求,和产品以往产生的易用性问题,将需求和问题正确的归类、细化,判别可测性、优先级等。规范检查一般是检查核对web UI界面规范。
动态测试可以有用户调查、焦点小组、专家评估、测试验证等手段。
用户调查有易用性度量表调查、用户交互满意度问卷调查等。
测试验证最为常见,通过模拟用户完成特定的测试任务来评估产品易用性,收集过程中的量化数据(操作时间等),判断用户对产品的满意度,是一种非常有效的方法。
1、可辨识性
可辨识性 定义
可辨识性指用户能够辨识产品或系统是否适合他们要求的程度。可辨识性更多的是指文档内容易于理解,所有文档语言简练,内容应该与产品实际情况相一致,且所有文档中的语句无歧义。
可辨识性 测试关注
Ø有关产品的宣传资料,宣传资料应该实事求是,言简意赅,不会误导用户。
Ø需求说明书或用户文档集,功能名称、图标、提示信息等直接明了,无歧义,容易理解,让用户一看就知道其含义,而无须猜测其作用。用户文档集站在读者的角度,充分考虑普通用户的接受水平,语言直白、描述细致、逻辑清晰,尽量避免专业术语。
Ø使用功能,界面显示的向导应该清楚明了,能很好地解释每一步骤的含义,用户一看便清楚。
2、易学性
易学性 定义
易学性是指在指定的使用周境中,产品或系统在有效性、效率、抗风险和满意度特性方面,为了学习使用该产品或系统,这一指定的目标可为指定用户使用的程度。简单的说就是用户使用软件或产品的容易程度。
易学性 测试关注
Ø文档集,与用户有关的文档内容都应该详细、结构清晰、语言准确;
Ø功能菜单选项很容易找到,一般菜单不要超过三级,各图标含义明确、简单易懂,操作步骤向导解释清楚、易懂,产品本身具有很好的引导性,用户不用看说明书都能正确地使用。就像手机一样,一般客户买了手机后,很少有人去看说明书,而是直接就能使用。
3、易操作性
易操作性 定义
易操作性是指用户操作和运行控制产品难易程度。易操作性要求界面友好、界面设计科学合理、操作简单等。
易操作性 测试关注
Ø使用功能,菜单,用户可以直接根据窗口提示进行使用,无须过多地参考使用说明书和参加培训。
Ø各项使用功能流程直接明了,多数是在一个窗口完成一套操作。
Ø在一个业务功能中可以关联了解其相关的业务数据。
Ø合理的默认值和可选项的预先设定,避免过多的手工操作。
4、用户差错防御性
用户差错防御性 定义
用户差错防御性是指系统预防用户犯错的程度。
用户差错防御性 测试关注
Ø功能执行是可逆的,用以撤销不期望的操作。
Ø操作将产生严重后果时,系统给出该后果的明显告警。
Ø操作将产生差错后果前,系统执行该命令前需要二次确认。
Ø操作出现失败时,系统给出及时的信息反馈提示。
5、用户界面舒适性
用户界面舒适性 定义
用户界面舒适性是指用户界面提供令人愉悦和满意的交互程度。一般是指产品的外观或界面设计方面。舒适性主要强调界面友好、美观,如操作过程顺畅,色彩运用恰当,按钮的立体感以及增加动感等。如窗口打开、关闭过程中动感很好,许多对象的立体感和色彩表现是否丰富等。
用户界面舒适性 测试关注
Ø界面部局是否合理,不能过于密集或空旷,长宽比例是否适中,一般建议接近黄金点比例为宜。
Ø界面元素大小在界面占位比例要协调,风格统一,前景、背景颜色搭配合理。
6、易访问性
易访问性 定义
易访问性指在指定的使用周境中,为了达到指定的目标,产品或系统被具有最广泛的特征和能力的个体所使用的程度。
易访问性 测试关注
Ø系统或产品在页面和流程上没有浪费用户的单击操作,如同一功能或任务的元素放在集中位置,减少鼠标移动的距离。
Ø系统或产品具有清晰、统一的导航。
Ø操作按扭、快捷键等遵循一致通用的规范、标准,易理解,一些常用的功能如增加、删除、修改,同一个产品或系统中相同的处理方法。
Ø对于界面输入重复性高的情况,要支持键盘操作,即在不使用鼠标的情况下采用键盘进行操作。
7、依从性
依从性 定义
指产品或系统遵循与易用性相关的标准、约定或法规规定的程度。
依从性 测试关注
Ø产品的易用性应该遵守行业系统易用性的标准。
Ø产品的易用性遵守企业的这些相关标准,如界面设计,企业往往会对界面的颜色搭配、按钮大小、按钮形状等有明确的规定。