自動(dòng)化測試用例數(shù)量是不是越多越好呢?并不一定。衡量自動(dòng)化測試用例的產(chǎn)量有點(diǎn)類似于衡量一個(gè)應(yīng)用的代碼數(shù)量,并不是數(shù)量越多就越好。由于這是一個(gè)很簡單明了又方便計(jì)算的指標(biāo),常常被大家廣泛使用,但是一味追求數(shù)量,可能會(huì)造成產(chǎn)生大量無效的自動(dòng)化測試用例這樣的結(jié)果。因此建議不要單獨(dú)使用該指標(biāo)來度量自動(dòng)化測試,而是需要結(jié)合其他數(shù)據(jù)來計(jì)算自動(dòng)化測試執(zhí)行效率和有效自動(dòng)化測試用例比率等指標(biāo),從而來衡量自動(dòng)化測試系統(tǒng)自身的成熟和完備程度。
和自動(dòng)化測試用例數(shù)量一樣,執(zhí)行次數(shù)也并不是越多越好。該指標(biāo)適合用來衡量和展示自動(dòng)化測試系統(tǒng)或平臺(tái)自身的能力,而并不能很好的體現(xiàn)其產(chǎn)生的實(shí)際價(jià)值。
自動(dòng)化測試執(zhí)行成功率
自動(dòng)化測試執(zhí)行成功率,一般會(huì)在單次自動(dòng)化回歸測試的報(bào)告中展示,有時(shí)候在流水線中設(shè)置成功率的閾值,比如低于某個(gè)閾值x%的時(shí)候,視為自動(dòng)化回歸測試不通過。該指標(biāo)是個(gè)很好的過程指標(biāo),但并不適合作為常規(guī)度量自動(dòng)化測試價(jià)值的指標(biāo)。
自動(dòng)化測試覆蓋率
自動(dòng)化測試覆蓋率的高低,和被測系統(tǒng)的變更結(jié)合起來,能夠很好反饋系統(tǒng)所存在的質(zhì)量風(fēng)險(xiǎn)。自動(dòng)化測試覆蓋率,有測試用例覆蓋率、功能覆蓋率、接口覆蓋率和代碼覆蓋率等等。如果自動(dòng)化測試能夠有很高的覆蓋率,也能夠幫助團(tuán)隊(duì)成員對(duì)系統(tǒng)和產(chǎn)品建立信心。只是目前很多團(tuán)隊(duì)的覆蓋率數(shù)據(jù)統(tǒng)計(jì)維度比較單一,而且也不太準(zhǔn)確,比如有些團(tuán)隊(duì)是通過人工統(tǒng)計(jì)的方式來計(jì)算了測試用例覆蓋率,但是并未考慮到測試用例本身就未覆蓋完全的情況。這種情況下,有可能雖然系統(tǒng)具備了較高的測試覆蓋率,但是仍然會(huì)有缺陷遺漏的風(fēng)險(xiǎn)。
自動(dòng)化測試的目的
既然以上的指標(biāo)并不能夠完全體現(xiàn)自動(dòng)化測試的價(jià)值,那么我們應(yīng)該如何做呢?我們回歸自動(dòng)化測試的價(jià)值本身,首先自動(dòng)化測試目前階段并不能完全替代手工測試,而其目的是為了替代一些需要重復(fù)執(zhí)行的手工測試和執(zhí)行一些手工無法執(zhí)行的復(fù)雜而且容易出錯(cuò)的測試等等。
推薦閱讀:
本文內(nèi)容不用于商業(yè)目的,如涉及知識(shí)產(chǎn)權(quán)問題,請(qǐng)權(quán)利人聯(lián)系SPASVO小編(021-60725088-8054),我們將立即處理,馬上刪除。