søndag den 9. februar 2014

Cucumber er kommet til kort

Det er første gang nogen sinde jeg har oplevet eller hørt om at Cucumber ikke er tilstrækkelig som værktøj. Eller det er lidt en stærk udmelding, for det er sådan set stadig tilstrækkeligt, men det er et irritationsmoment som er blevet for stort.

Cucumber kører nemlig sin test i serie, hvilket vil sige at den tager et scenarie af gangen og afvikler det færdigt inden den tager hul på det næste. En konsekvens af dette er at testens eksekverings tid vokser og vokser efter hånden som der bliver tilføjet flere og flere scenarier.

Jeg groomer testen ret hårdt, og fjerner nådesløst scenarier der enten er dækket andetsteds eller funktionelt er blevet overflødige, men i et projekt som aktivt bliver udviklet hele tiden, vil testen vokse stille og roligt. Vi er nu nået en testeksekverings tid på over to en halv time, og det er lidt meget for en regressions test i et agilt miljø.

Jeg har derfor kigget på muligheder for at kører Cucumber scenarier i parallel, og det er muligt, men man skal gå på så mange kompromis'er at det ikke rigtigt er attraktivt desværre.

Moralen er at hvis du bruger Cucumber som testautomatiseringsværktøj så tænk segmenteringen ind i projektet fra starten :-)

Ingen kommentarer:

Send en kommentar