怎樣的測(cè)試自動(dòng)化才算成功？這取決于具體項(xiàng)目，但如果你觀察到了以下幾點(diǎn)，就說(shuō)明你的方向走對(duì)了。

幾個(gè)月前，我在Reddit上偶然看到一個(gè)帖子，標(biāo)題是“在你看來(lái)，成功的自動(dòng)化是什么樣子？你親眼見(jiàn)過(guò)嗎？”。

發(fā)帖人是一位測(cè)試開(kāi)發(fā)工程師（SDET），他講述了自己在兩家公司的經(jīng)歷：由于各種原因，從優(yōu)先級(jí)沖突到公司商業(yè)模式的轉(zhuǎn)變，他們的自動(dòng)化努力屢屢受挫。

這位作者想知道，是否真的有人實(shí)現(xiàn)了一個(gè)功能完善、維護(hù)良好的測(cè)試自動(dòng)化套件，并希望汲取一些經(jīng)驗(yàn)，了解如何才能達(dá)到那種境界。不幸的是，原帖作者的這種經(jīng)歷在許多軟件開(kāi)發(fā)團(tuán)隊(duì)中相當(dāng)普遍。

軟件測(cè)試在業(yè)務(wù)優(yōu)先級(jí)列表中通常位居末座，一旦時(shí)間緊迫，它往往是第一個(gè)被擱置的事情。測(cè)試甚至經(jīng)常不被列入清單，只有在生產(chǎn)環(huán)境發(fā)生嚴(yán)重問(wèn)題后，才會(huì)被硬塞進(jìn)開(kāi)發(fā)計(jì)劃。

但這并不意味著所有開(kāi)發(fā)軟件的企業(yè)都在質(zhì)量上偷工減料。有很多公司給予了軟件測(cè)試應(yīng)有的適當(dāng)關(guān)注，并且深知其重要性。

然而，這是否意味著他們的自動(dòng)化流程就成功了呢？與軟件開(kāi)發(fā)測(cè)試相關(guān)的大多數(shù)問(wèn)題的回答一樣：這得看情況。

到底什么是測(cè)試自動(dòng)化的成功？

一個(gè)團(tuán)隊(duì)投入了大量時(shí)間構(gòu)建自動(dòng)化測(cè)試流程，并不代表這就是成功。你可能已經(jīng)見(jiàn)多了這樣的情況：盡管在人力時(shí)間上投入巨大，但測(cè)試自動(dòng)化卻問(wèn)題頻出。

不穩(wěn)定的測(cè)試、永遠(yuǎn)跑不完的持續(xù)集成流程、以及仍然溜進(jìn)生產(chǎn)環(huán)境的缺陷，僅僅是其中幾個(gè)足以徹底摧毀構(gòu)建有效自動(dòng)化流程的努力的因素。

然而，要判斷這些自動(dòng)化流程是否成功，需要的不僅僅是關(guān)注運(yùn)行緩慢、結(jié)果不一致這些顯而易見(jiàn)的問(wèn)題。

有時(shí)，我們覺(jué)得自己的測(cè)試自動(dòng)化運(yùn)行良好，因?yàn)樗艿每烨医Y(jié)果穩(wěn)定。但這是否意味著我們應(yīng)該完全相信測(cè)試自動(dòng)化在提供幫助呢？未必。

我們看到的實(shí)際問(wèn)題，比如測(cè)試不穩(wěn)定和生產(chǎn)環(huán)境缺陷，只是等式的一部分。我們還需要確保其他方面，例如測(cè)試自動(dòng)化在團(tuán)隊(duì)開(kāi)發(fā)過(guò)程中確實(shí)提供了幫助。

舉個(gè)例子，我經(jīng)常使用一種技術(shù)來(lái)驗(yàn)證一個(gè)項(xiàng)目的測(cè)試自動(dòng)化流程是否真的有用：故意在代碼庫(kù)的一些關(guān)鍵部分引入細(xì)微的缺陷。

比如，我稍微修改結(jié)果，讓其偏差1，或者反轉(zhuǎn)某些布爾邏輯。如果自動(dòng)化測(cè)試運(yùn)行能檢測(cè)到這些缺陷，并告訴我問(wèn)題所在，讓我能快速修復(fù)，這就有助于增強(qiáng)我對(duì)測(cè)試套件的信心。

這是一種快速粗略的變異測(cè)試形式，幾分鐘就能完成。這個(gè)技巧曾幫我揪出一些表面看似有效、實(shí)則妨礙團(tuán)隊(duì)工作的測(cè)試自動(dòng)化實(shí)現(xiàn)。

表明你的自動(dòng)化正走向成功的標(biāo)志

成功的測(cè)試自動(dòng)化實(shí)施因團(tuán)隊(duì)和項(xiàng)目而異。對(duì)一個(gè)團(tuán)隊(duì)來(lái)說(shuō)，成功可能意味著擁有快速的CI流水線(xiàn)，能讓他們持續(xù)將應(yīng)用部署到生產(chǎn)環(huán)境。

對(duì)另一個(gè)團(tuán)隊(duì)，成功可能意味著開(kāi)發(fā)者對(duì)測(cè)試結(jié)果及其快速解決問(wèn)題的能力充滿(mǎn)信心。

雖然沒(méi)有一個(gè)適合所有團(tuán)隊(duì)的具體指標(biāo)，但有一些信號(hào)表明他們正走在構(gòu)建成功測(cè)試自動(dòng)化流程的正確軌道上。以下是三個(gè)值得關(guān)注的信號(hào)。

標(biāo)志一：團(tuán)隊(duì)能更快地交付更多價(jià)值

許多團(tuán)隊(duì)在衡量自動(dòng)化測(cè)試成功與否時(shí)，會(huì)密切關(guān)注諸如缺陷減少或代碼變更反饋循環(huán)加快等指標(biāo)。

雖然這些是值得關(guān)注的好指標(biāo)，但在內(nèi)部，它們常常被當(dāng)作“虛榮指標(biāo)”。減少缺陷和縮短開(kāi)發(fā)周期的真正目的，在于提速能為你的應(yīng)用用戶(hù)交付更多價(jià)值。

自動(dòng)化測(cè)試最切實(shí)的成功標(biāo)志，是當(dāng)軟件開(kāi)發(fā)生命周期看起來(lái)流暢無(wú)阻時(shí)。新功能可以定期發(fā)布，即使不是每天。開(kāi)發(fā)者推送代碼庫(kù)更新后，能完全有信心判斷他們的變更是否已準(zhǔn)備好部署。

需要做的緊急修復(fù)更少，需要回滾的部署更少，關(guān)于是否在周五發(fā)布的爭(zhēng)論也更少。其中每一項(xiàng)單獨(dú)來(lái)看都可能意味著成功，但我們開(kāi)發(fā)軟件的真正目的是提供價(jià)值，而一個(gè)成功的測(cè)試自動(dòng)化實(shí)施讓這一點(diǎn)變得容易得多。

標(biāo)志二：覆蓋率超越代碼

另一個(gè)常被團(tuán)隊(duì)用來(lái)證明其測(cè)試自動(dòng)化合理的指標(biāo)是代碼覆蓋率。不幸的是，這常常是一個(gè)錯(cuò)誤的衡量標(biāo)準(zhǔn)。

我見(jiàn)過(guò)一些自動(dòng)化測(cè)試套件覆蓋了項(xiàng)目95%以上的代碼庫(kù)，但仍然漏洞百出，因?yàn)檫@些測(cè)試只驗(yàn)證了代碼能運(yùn)行，而非其行為符合預(yù)期。

將代碼覆蓋率作為衡量有效性的主要方式之一，只會(huì)催生低價(jià)值、低質(zhì)量的測(cè)試，這些測(cè)試的存在通常只是為了人為地推高那個(gè)數(shù)字。

根據(jù)我的經(jīng)驗(yàn)，在自動(dòng)化策略上最成功的團(tuán)隊(duì)仍然會(huì)追蹤代碼覆蓋率，但他們遠(yuǎn)遠(yuǎn)超越了僅將其視為一個(gè)有效指標(biāo)的做法。

相反，他們著眼于大局，思考其他能帶來(lái)健康應(yīng)用的覆蓋領(lǐng)域。例如：系統(tǒng)在真實(shí)高負(fù)載下表現(xiàn)如何？最核心的業(yè)務(wù)流程是否從頭到尾都能跑通？是否存在可能暴露客戶(hù)敏感信息的安全漏洞？

一個(gè)成功的測(cè)試自動(dòng)化流程是平衡的，它融合了單元測(cè)試、端到端流程、性能測(cè)試、安全掃描等等。這種類(lèi)型的覆蓋才能帶來(lái)更高質(zhì)量和更快交付。

標(biāo)志三：團(tuán)隊(duì)對(duì)目標(biāo)有明確的投入和奉獻(xiàn)

要改變測(cè)試被視為次要任務(wù)的現(xiàn)狀，就需要團(tuán)隊(duì)明確投入、共同重視。

測(cè)試很少被當(dāng)作當(dāng)前開(kāi)發(fā)周期或沖刺的一部分來(lái)討論，測(cè)試運(yùn)行結(jié)果被忽略，而且每當(dāng)有進(jìn)度延誤的風(fēng)險(xiǎn)時(shí)，它經(jīng)常是第一個(gè)被犧牲的。

在這樣的環(huán)境中，測(cè)試自動(dòng)化永遠(yuǎn)無(wú)法茁壯成長(zhǎng)，成為流程中成功的一部分。如果測(cè)試自動(dòng)化被當(dāng)作開(kāi)發(fā)生命周期中所謂的“拖油瓶”來(lái)對(duì)待，它就永遠(yuǎn)不會(huì)成功。

測(cè)試自動(dòng)化要想繁榮發(fā)展，唯一的途徑是團(tuán)隊(duì)投入時(shí)間和精力，給予其應(yīng)有的重視。當(dāng)出現(xiàn)不穩(wěn)定的測(cè)試時(shí)，團(tuán)隊(duì)會(huì)立即調(diào)查并修復(fù)，而不是置之不理。

開(kāi)發(fā)者和測(cè)試人員確保任何潛入生產(chǎn)環(huán)境的缺陷都有相應(yīng)的測(cè)試覆蓋，以防再次出現(xiàn)。驅(qū)動(dòng)自動(dòng)化測(cè)試的代碼會(huì)像驅(qū)動(dòng)應(yīng)用程序的代碼一樣，接受頻繁的評(píng)審和重構(gòu)。

從來(lái)不會(huì)有為了趕發(fā)布而跳過(guò)測(cè)試的討論。所有這些行為結(jié)合在一起，才能使測(cè)試自動(dòng)化取得成功，而不是將其作為事后補(bǔ)救措施生硬地附加上去。

總結(jié)

當(dāng)測(cè)試自動(dòng)化能幫助你輕松發(fā)布項(xiàng)目，而不是讓部署過(guò)程充滿(mǎn)憂(yōu)慮和恐懼時(shí)，它就是成功的。要達(dá)到這一點(diǎn)，需要的不僅僅是花時(shí)間構(gòu)建一個(gè)健壯的測(cè)試套件。

它還需要一個(gè)關(guān)心維護(hù)自動(dòng)化測(cè)試長(zhǎng)期健康的環(huán)境，在這個(gè)環(huán)境中，問(wèn)題能被快速發(fā)現(xiàn)和修復(fù)，團(tuán)隊(duì)對(duì)其結(jié)果充滿(mǎn)信心。同時(shí)，也需要理解測(cè)試需要覆蓋多個(gè)方面。

如果你覺(jué)得當(dāng)前的測(cè)試自動(dòng)化實(shí)施正在阻礙你和你的團(tuán)隊(duì)，那么請(qǐng)首先審視你的測(cè)試是否有助于交付價(jià)值——無(wú)論是通過(guò)讓開(kāi)發(fā)工作更輕松，還是通過(guò)快速將高質(zhì)量的應(yīng)用交到客戶(hù)手中。

此外，通過(guò)確保你的測(cè)試覆蓋超越了基礎(chǔ)層面，并在整個(gè)團(tuán)隊(duì)中培養(yǎng)測(cè)試文化，來(lái)專(zhuān)注于保持這種高質(zhì)量水平。當(dāng)所有這些因素協(xié)調(diào)一致時(shí)，測(cè)試自動(dòng)化將成為你組織中應(yīng)有的成功實(shí)踐。

??想了解更多漲薪技能提升方法

??可以到公主號(hào)【Atstudy技術(shù)社區(qū)】,即可加入領(lǐng)取 ??????

??轉(zhuǎn)行、入門(mén)、提升、需要的各種干貨資料

??內(nèi)含AI測(cè)試、 車(chē)載測(cè)試、AI大模型開(kāi)發(fā)、BI數(shù)據(jù)分析、銀行測(cè)試、游戲測(cè)試、AIGC