Tesztmenedzsment eszközözök hazánkban
Régóta elérhető az interneten egy kérdőív a tesztmenedzsment eszközökről. A célom az volt vele, hogy valamelyest képet adjon arról, milyen eszközöket és hogyan használnak idehaza a tesztelők. A kérdőív az alábbi linken érhető el: http://www.testing.hu/kerdoiv/tesztmenedzsment_kerdoiv.php
Eddig összesen 172 db elfogadható kitöltés érkezett be, amely ugyan nem sok, de mégis valamilyen rálátást kaphatunk belőle. Volt ugyan 1-2 amelyben láthatóan fals adatok voltak megadva ezeket természetesen kiszűrtem, de a kitöltések zöme megfelelő volt. Eljött tehát az idő, hogy kiértékeljük az eredményeket. :)
Nézzük sorba a kérdéseket!
1. Használtok-e munkahelyeden tesztmenedzsment eszközt?
Az első kérdésnél elvesztettük a beküldők 38%-át. Ők egyáltalán nem használnak tesztmenedzsment eszközt. Jobb esetben a tesztjeiket Wordben, Excelben vezetik. Rosszabb esetben nem terveznek semmilyen tesztet, egyszerűen ad-hoc tesztelést folytatnak.
2. Milyen eszközt használtok?
Itt leginkább a Quality Center, SpiraTest, Testlink és a saját fejlesztésű eszközök kapták a legtöbb szavazatot. A Quality Center lett az első, 20%-át szerezte meg a voksoknak. Ez azért is érdekes mert, a legtöbb eszköz a listában opensource volt, míg a fizetősök közül gyakorlatilag csak a HP terméke volt olyan ami a drága kategóriába tartozik. Az eddig is világos volt számomra, hogy Magyarországon HP uralom van a teszteszközök piacán, de hogy ennyire, azt nem gondoltam volna. Az opensource eszközök összességében 31%-ot kaptak, aminek a fele Testlink volt.
3. Az eszközben nyilvántartjátok a tesztelési követelményeket?
Majdnem döntetlen állás keletkezett, mivel a NEM 55, míg az IGEN 53 szavazatot kapott. Úgy látszik, hiába a menedzsment eszköz, az eszközhasználat sok helyen megállt a tesztesetek megtervezésénél és a hibák kezelésénél.
4. A tesztmenedzsment eszközben tároljátok a teszteseteket?
Ugyanaz az arányszám jött ki, mint a legelső kérdésnél. A válaszadók 62%-a mondta, hogy a tesztmenedzsment eszközben vannak a tesztesetek eltárolva. Ez azt jelenti, hogy akik tesztmenedzsment eszközt használnak, azok elsősorban a teszteseteket megtervezése és karbantartása miatt vezethették be az eszközt.
5. Milyen részletesen terveztek tesztesetet?
A válaszok alapján a nagy többség a teszteseteket, annak lépéseit és a elvárt eredményt is megtervezi. A 74% azért érdekes, mert az első kérdés szerint csak 62% használ tesztmenedzsment eszközt. Valószínűleg a különbség onnan adódik, hogy sokan egy Excel táblában, vagy egy Word dokumentumban írják le a teszteket. Az összes válaszadók 12%-a nem tervez tesztesetet, a többiek valamilyen információt azért leírnak a tesztekről.
6. Futási eredményekről készülnek riportok?
Az eredmény majdnem ugyanaz, mint az eszközhasználatnál. Vagyis akik tesztmenedzsment eszközt használnak, azok valamilyen gyakorisággal a futási eredményeket is megtekintik az alkalmazásban. Riportolás szempontjából óriási különbség van az eszközhasználók és a nem használók között.
7. A hibákat az eszközben tároljátok?
Úgy néz ki, hogy több olyan eszköz is lehet használatban, amelynek vagy nincs hibakezelő része (pl.: Testlink, vagy saját fejlesztés), vagy egyszerűen egy régebbi, már megszokott hibakezelő alkalmazást használnak. Ugyanis a válaszadók 42%-a használja csak hibakezelésre azt a tesztmenedzsment eszközt, melyben a teszteseteket tervezi. Nem mondom, hogy rossz megoldás külön szoftvereket használni, de én mindig is arra törekedtem, hogy olyan menedzsment eszközt használjunk, amelyben integrálva van a hibakezelés is. Viszont lehetnek olyan dolgok a fejlesztési-tesztelési folyamatban, amely megköveteli a több eszköz használatát.
8. A hibák státuszának állítására van kidolgozott szabályrendszer?
Ha nem is a tesztmenedzsment eszközben kezelik a hibákat a csapatok, de a hibák menedzselését nagyrészt komolyan veszik. A többség (80%) rendelkezik szabályrendszerrel, amelyben leírják, hogy egy hibának milyen státuszai vannak és a státuszok között milyen átmenetek léteznek.
9. A hibákról készülnek riportok?
Ismét egy érdekes eredmény. Hiába a hibakezelés, átfogó riportok nem mindig készülnek a hibákról és azok állapotairól. Ezt azért találom furcsának, mert amikor elkezdődik a tényleges tesztelési szakasz, szinte elengedhetetlen egy olyan grafikon készítése és folyamatos ellenőrzése, mely státuszok szerinti bontásban adja meg, hogy mennyi hibánk van.
10. Mely entitások közötti kapcsolatot tartjátok nyilván?
Nagyjából erre az eredményre számítottam, habár meg kell jegyezni, hogy a követelmények és tesztesetek közötti kapcsolatot meglepően sokan tartják nyilván. Akik a tesztmenedzsment eszközben adminisztrálják a követelményeket, azok egyben hozzá is rendelik a teszteseteket. Nagyjából az első három eset (követelmény->teszteset; teszteset->teszt futtatás;teszt futtatás->hiba) az, amely általánosan beépül a tesztelési folyamatokba.
Végezetül pedig álljon itt, hogy akik kitöltötték a kérdőívet milyen nagyságú tesztcsapatban dolgoztak. A kérdés az volt, hogy hány tesztelő dolgozik a cégben. Láthatóan a kitöltők többségben kis létszámú tesztcsapatok tagjai voltak.
Összefoglalás
Természetesen a felmérés nem reprezentatív, - lehetséges, hogy egy cégtől több személy is kitöltötte a kérdőívet, - mégis úgy gondolom ad valamilyen iránymutatást a magyarországi eszközhasználatról. Az eredmények közel járhatnak a valósághoz.
Számomra két dolog volt nagyon meglepő. Az első, hogy az eszközök közül a HP Quality Center lett a leghasználtabb eszköz. A piacon nem ez a trend figyelhető meg, mivel a nagy cégek közül is sokan „low-budget”, vagy opensource megoldásokat igyekeznek bevezetni. Gyanítom a közeljövőben egy ilyen felmérésen az ingyenes eszközök még jobban fognak szerepelni.
A másik érdekesség az volt, hogy a válaszadók 74%-a tervezi meg a tesztesetek lépéseit és az elvárt eredményt. Talán azért lehet ez az eredmény, mert nem a teljes teszteset állományra igaz a válasz, hanem csak az átadás-átvételi tesztekre és a többi teszteset nincs ennyire kidolgozva. Ismét csak piaci tapasztalatom, hogy a tesztelés tervezése mennyire nem bevett szokás, ezért is megdöbbentő számomra a kapott 74%.
Kommentek