Op het voorjaarsbijeenkomst van
TestNet op 13 mei gaf ik een workshop over testmanagement en bevindingenbeheer met de opensource tools Mantis en Testlink. De workshop bestond uit twee delen van anderhalf uur. In het eerste deel zijn we ingegaan op "
wat is testmanagement" en "
waarom hebben we hiervoor tooling nodig". Mijn mening is dat deze vragen net zo belangrijk zijn als het gebruik van tools zelf.
In dit eerste deel waren drie grotere blokken van interactiviteit en input vanuit de deelnemers van de workshop. De zaken die hier uit kwamen wil ik met u delen via deze blog.
De Powerpoint presentatie en materiaal, mocht u geïnteresseerd zijn, kunt u vinden op mijn website -
Link naar workshop Testlink en Mantis
Dus hierbij het 'ruwe' materiaal uit de workshop, dus zo overgenomen. Deze blog krijgt nog een vervolg over de workshop, de resultaten en mijn gedachten hierover.
- Met welke testmanagement tools bent u bekend?
- Uit welke onderdelen bestaat testmanagement
- Hoe kunnen testmanagement (en bevindingen) tooling ons helpen qua verbetering van ons vak, tijd besparen en geld besparen?
Korte workshop van drie uur: Dit was een korte workshop van drie uur. Hierdoor zijn niet alle onderdelen volledig uitgewerkt in de workshop. Bij de langere versie van de workshop (volledige dag) wordt dieper op bepaalde zaken in gegaan, waardoor er meer begrip komt over deze onderdelen.
Met welke testmanagement tools zijn jullie bekend?
Mensen komen niet al te snel naar een testmanagement tool workshop als ze al bekend zijn met producten en tevreden zijn over deze producten. Toch was er al wel ervaring met diverse tools. Ook hadden diversen mensen al ervaring met Mantis of Testlink.
De tools die verder genoemd werden in de workshop waren:
- HP Quality center
- MS Excel
- Redmine
- Jira
- Bugzilla
- Testers suite
- Visual Studio
- TFS
Beperking van workshop van drie uur: een feature vergelijking met Testlink en Mantis is niet gedaan. Dit kan leiden tot beter begrip van de verschillen tussen Mantis, Testlink en commerciële pakketten en misschien wel tot het aanvragen van nieuwe features.
Testmanagement, wat is dat (wat zijn de onderdelen van)
Ik heb de deelnemers gevraagd om aan elkaar uit te leggen wat voor hun testmanagement betekent en daar korte tijd voor gegeven. Vervolgens zijn we op de onderdelen van testmanagement in gegaan.
- Evaluatie en debriefing mist nog
wel eens (lessons learned)
- Tegenmaatregelen beheren*
- Risico analyse
- People management*
- Planning
- Strategie
- Estimation*
- Prioritering
- Overdracht*
- Communicatie en rapporteren
- Requirements
- Exit criteria bepalen
- Change management
- Reputatie*
- Testproces begeleiden*
Deze oefening gaat over het nadenken over testmanagement. Belangrijkste punt is in deze oefening dat testmanagement uit heel veel onderdelen bestaat en dat niet alles met tooling te ondersteunen is. De onderdelen met de asteriks* waren deel van de discussie of deze met tooling te ondersteunen zijn.
In een volledige workshop wordt later nog bekeken waar tools als Testlink of Mantis te gebruiken zijn als ondersteuning voor deze onderdelen.
Derde vraag: was een opdracht: Redenen om testmanagement tooling aan te schaffen: Waarom bespaart dit tijd, geld of verbetert dit mijn werk?
Dit onderdeel is het plakken van post-its bij drie onderdelen: vak, geld of tijd. Het gaat hierbij om de vraag waarom we deze tooling zouden gebruiken, waar ondersteunt het echt onze doelen? En bespaart dit dan tijd, geld of verbeteren we ons eigen werk (kwaliteit). Hier kwam veel response op (mag ook wel met 25 test professionals . Bij het aanschaffen van een tool is het goed om deze zaken op een rij te hebben en goed over de baten en de kosten na te denken.
Helaas hadden we geen tijd om (een deel van) de geeltjes te bespreken. Nadenken en expliciet op papier neerzetten waarom je tooling wilt hebben is al een goede oefening, in de groep een discussie voeren op de genoemde zaken kan nog veel meer opleveren.
Hierbij de lijst. Dit is niet gefilterd. Wat dubbele meldingen en overlap op de onderdelen tijd, geld en vakgebied. Hier kom ik later op terug in een opvolg blog.
Verbetering van mijn werk
(kwaliteit)
- Overzicht behouden
- Onverdraaglijkheid
- Communicatie tussen testers en
afdelingen verbeterd – Je weet waar je het over hebt
- Geheugen steun
- Beter overzicht van de voortgang
- Inzichtelijk voor alle geïnteresseerden
(status, bevindingen, wie doet wat)
- Dubbel werk voorkomen
- Alle bevindingen bij elkaar (goed
overzicht)
- Effectiever en efficiënter werken
- Minder tijd te besteden tijdens
bevindingen overleg
- Geautomatiseerde rapportages (in
verschillende vormen – Excel/charts…)
- Sneller bijsturen door inzicht
- Proces ondersteuning, feedback
loop mogelijk maken
- Snelheid
- Tijdbesparing
- Doorlooptijd
- Inzicht en verantwoording
- Één centrale waarheid
- Inzicht in voortgang
- Verschaft inzicht
- Betere inzage risico afdekking
- Minder handmatig werk
- Testdekking (op basis van PRA)
inzichtelijk
- Hebben en houden van overzicht
- Coverage
- Plannen / Aanpassen
- TPI (bijvoorbeeld bugtracking)
- Verkrijgen van testmetrics
- Traceability
- Vastleggen uitkomst PRA, hanteren
als uitgangspunt
- Voorbereiding + uitvoer
- Voor iedereen inzichtelijk
- Werkverdeling
- Rapportages
- Overzicht en inzicht
- Traceability & transparantie
- Kleine kans op wanorde
- Taakverdeling
- Requirement traceability naar
testscript uitvoering
- Risk based plannen en rapporteren
- Verhogen reproduceerbaarheid van
bevindingen
- Eindgebruikers makkelijk
betrekken bij testontwerp en uitvoering
- Complexiteit – hoe zou je zonder
kunnen met huidige complexe systemen?
- Groeien als testteam
Bespaart tijd
- Workflow management
- Templates
- Rapportage en snelle feedback
- Eenduidige werkwijze
- Snel kunnen rapporteren over
testvoortgang en testdekking
- Heel het testteam is op de hoogte
van de bevindingen
- Ontwikkelaars kunnen sneller aan
de slag met de bevindingen
- Overzicht
- Eenvoudige overdracht
- Overtypen van bevindingen en
aanvullingen van leveranciers niet meer nodig
- Vastleggen van kennis
- Snel inzicht in (test) voortgang
- Workflow
- Status bevindingen in één keer
juist (niet meer onnodig hertesten)
- Sneller inzage in voortgang – efficiënter
werken
- Programmeurs testen mee
- Minder administratie
- Wie doet wat, voorkom dubbel werk
- Ondersteun planning
- Snelle metrics & rapportages
- Je kan georganiseerd werken
- Bevindingen eenduidig opvoeren
- Overzicht
- Bevindingen in één keer duidelijk
voor leverancier: first time right opgelost (tijd en geld)
- Centrale / multi user bevindingen
registratie
- Consistente rapportages
- Historisch inzicht (metrics)
- Beter slapen
Bespaart geld
- één waarheid
- Geen testmanager meer nodig
- Welke risico’s afgedekt –
voorgang sneller inzage en hierdoor geen dubbel werk
- Vraag van projectmanager
- Voorkomen van dubbel werk
- Geen dubbelingen
- Opbouwen van een
onderhoudsvriendelijke testset die goed herbruikbaar is (voor regressie)
- Rapportage over bevindingen open
/ gesloten
- Overzicht van known issues
- Overdraagbaarheid
- Tijdbesparing (dus geld)
- Efficiëntie
- Testware beheren
- Prioriteiten beheer
- Planning
- Bevindingen beheer
- Kans op fouten verminderen
- Checklist klaar voor testbasis
- Minder testers nodig
- Alle admin wordt geautomatiseerd,
dus waarom test admin niet?
- Bevindingen status direct te zien
(rondzingende bevindingen…)
- Geen rondzingende discussies
- Heldere taakverdeling
- Minder vergaderen / bevindingen
overleg – uren beter besteden
- Bevindingen eerder oplossen en
testen.
Het tweede deel van de workshop ging echt over Mantis en Testlink zelf, waarbij de keuze voor de deelnemers was: Zelf installeren, of gelijk naar de tools voor inhoudelijk overzicht?
Tot hier mijn overzicht van het 'ruwe' materiaal. Binnenkort meer.
