Amint valaki definiálja a "jobban" fogalmát, a kérdés könnyen eldönthetővé válik. Persze lehet segíteni az illetőnek néhány javaslattal.
Például mi mérhető a csapatok munkájában? A létrehozott ill. a lefuttatott tesztesetek száma, a felfedett hibák száma, a fejlesztés-teszt utáni javítás-teszt iterációk száma, a mindehhez felhasznált idő, a tesztelés után kiderült hibák száma stb.Ezekből össze lehet gyúrni egy (vagy több) olyan mutatót, ami többé-kevésbé objektív módon reprezentálhatja az egyes csapatok tevékenységét.
Ilyen mérések szükségesek, ha tudni szeretnénk, hogy jó irányba megyünk-e, megfelelő sebességgel. Olyan autóval, aminek nem működik a műszerfala, és a szélvédője csupa sár egyikünk sem menne messzire...

@szlj: Sajnos a mérhető számok (mint például a lefuttatott tesztesetek száma) nem mindegyike függ kizárólag a tesztelőktől. Lehet az egyik csapat le tud futtatni 1000 esetet, míg a másik csak tízet, mert a tesztkörnyezet, vagy a tesztadatok nem álltak rendelkezésre időben. Ez a körülmény nagyban befolyásolja a tesztek futtatását.
A tesztesetek megtervezését a specifikációk minősége határozza meg.

Nekem az egész kérdéssel az a problémám, hogy nem találok olyan egységes, objektív osztályzó rendszert, mellyel ki lehetne fejezni, hogy melyik csapat mennyivel végezte eredményesebben a munkáját.

@p_jano: Bocsánatot kérek. Már látom, hogy durván mellészóltam. Ezúttal óvatosabb leszek. (Talán ha csak kérdezek, az többet segít, mint ha "megmondom a frankót" :-)
Mit jelent a "jobb" / "eredményesebb" stb.?
Miért fontos, hogy egységes legyen az osztályozó rendszer?
Miért fontos, hogy objektív legyen az osztályozó rendszer?
Miért nem volt fontos ez eddig? Mi alapján javítottak eddig a folyamatokon?
Mi a tétje ennek a kérdésnek? (Itt érdemes lehet megvizsgálni, hogy pl. a tesztelők, a tesztvezető, a "főnökök", illetve a megrendelők szempontjából mi a tét.)
Sok sikert! Szívesen olvasnék majd a talált megoldásról.

@p_jano: Mit mondanak a tesztelők? Szerintük az ő munkájuk eredményességét hogyan lehetne objektíven mérni?
Mi a cél? Verseny, vagy folyamat javítás?
Miért fontos, hogy a mérhető számok kizárólag a tesztelőktől függjenek?
Izgatottan várom, hogy mi lesz ennek a problémakörnek megoldása. (Nem utolsó sorban pedig megkérdezem a szakikat nálunk, hogy mi ilyen esetben a teendő ;-)

@szlj: Megpróbálok válaszolni sorban a kérdésekre:

Miért fontos, hogy egységes legyen az osztályozó rendszer?
Mert minden csapatot ugyanúgy szeretnének elbírálni.

Miért fontos, hogy objektív legyen az osztályozó rendszer?
Javarészt objektív legyen. A csapatok számára fontos. Mindenki szeretné, hogy ugyanúgy bírálják el, mint a többieket. Persze nem kell kizárni egypár szubjektív vélemény figyelembe vételét.

Miért nem volt fontos ez eddig? Mi alapján javítottak eddig a folyamatokon?
Eddig nem volt ilyen verseny.

Mi a tétje ennek a kérdésnek?
Pénz. :)

Mit mondanak a tesztelők? Szerintük az ő munkájuk eredményességét hogyan lehetne objektíven mérni?
Szerintük nem lehet.

Mi a cél? Verseny, vagy folyamat javítás?
Verseny.

Miért fontos, hogy a mérhető számok kizárólag a tesztelőktől függjenek?
Szerintem így lehetne kifejezetten csak a tesztelők és tesztvezetők munkáját mérni és a körülményeket figyelmen kívül hagyni. :)

Sziasztok!

Érdekelne, hogy mi lett a megoldása ennek a problémának?
Mert szerintem ez - a fent leírt körülmények között - szinte lehetetlen.
Más fejlesztőkkel, más eszközökkel, más szoftvert...
Ehhez először a tesztelendő feladatot kellene összehasonlítani.
Hasonló szintű-e a dokumentáltság?
Hasonló mennyiségű-e a kommentezés?
Hasonló bonyolultságú-e a szoftver?
A fejlesztők hasonlóan állnak-e a tesztelőkhöz (támogatási szempontból)?
A használt tesztkörnyezet kialakítása. teszteszköz felhúzása elvégezhető-e a hasonló energiaráfordítással?
A használt teszteszközök ugyanazt tudják-e (mérések, riportolás, stb.)?
A tesztelőcsapat képzettsége hasonló-e?

És csak ezután jöhetne az elvégzett munka mérése...

Szóval szerintem ez rengeteg kérdést vet fel és rengeteg munka lenne ezt kiszámolni, úgyhogy szinte lehetetlen.
És ezekre a kérdésekre nem igen/nem választ kellene adni, hanem megfelelő arányszámokat kidolgozni... És ezt minden egyes újabb projektnél eljátszani...

Ha valaki nagyon unatkozik... :)

Mellesleg a fejlesztőket versenyezteti valaki?
Vagy csak nekem van olyan érzésem, hogy mindig a szerencsétlen tesztelőket egrecíroztatják?:)

@B9: A fejlesztők is versenyeztetve vannak, de az most minket nem nagyon érdekel.

Eddigi tapasztalatunk az volt, hogy egy nagyon jól definiált folyamat szerint kell minden tesztcsapatnak dolgoznia. A folyamat meghatározza a tesztelési részfeladatok határidejét, amit vagy tud tartani a csapat, vagy sem.

Ezzel legalább mérni lehet a minőséget a dokumentáltság, a tesztadatok és tesztkörnyezetek határáig. Onnantól pedig a tesztelés hatékonyságát és sikerességét lehet mérni a különböző hibariportokkal, kimutatásokkal. A végén minden tesztcsapat kap egy pontszámot.

Minél több ilyen projektet old meg a csapat, annál jobb irányszámunk lesz az egyes esetek átlagolásából. A csapatok pedig nagyjából megfelelő mennyiségű jó és rossz projektet fognak kapni az idő múlásával.

Eddig ez tűnik a legjobb megoldásnak, de biztosan lehet javítani a módszert. :)

Azt még mindig nem tudjuk megállapítani egy projektből, hogy ki a jobb.