Feladatok, moderálás és mérőszámok

Célok

A lecke végére semleges tesztfeladatot és moderátori forgatókönyvet tudsz készíteni. Meg tudod különböztetni a résztvevő viselkedését a saját értelmezésedtől, tudod, mikor kell csendben figyelni, illetve mikor lehet visszakérdezni anélkül, hogy megoldást sugallnál, és ki tudod választani a kérdéshez illő mérőszámokat.

Miért a moderálás a legnehezebb?

Egy teszten a legnehezebb dolog a tervezőnek az, hogy hallgasson. Amikor a résztvevő elakad, a tervező reflexe az, hogy segítsen: „Ott van balra a gomb.” Ezzel viszont eltünteti az adatot, hiszen a teszt célja éppen az, hogy lássuk, hol akad el valaki segítség nélkül. A moderálás tudatos önmegtartóztatás, amelynek szabályai vannak.

Feladat, nem útvonal

A tesztfeladat konkrét helyzetbe ágyazott, semleges utasítás a megoldás kipróbálásához. A forgatókönyv (7. fejezet) a helyzetet adja, a feladat a kérés. A tesztfeladat nem azonos a user story-val (4. fejezet): a story a tervezés iránya, a tesztfeladat a megfigyelés eszköze.

A jó feladat jellemzői:

• cél nyelvén szól („Találj egy programot, ami...”), nem a felület nyelvén („Kattints a Szűrők gombra”);
• nem tartalmaz vezetőszót, amely a felület feliratát elárulja;
• tartalmaz annyi háttérinformációt, amennyi kell, de nem többet; ha a feladat csak úgy teljesíthető, hogy a tesztelő pontosan ugyanúgy gondolkodik, mint a tervező, nem a felületet vizsgálod;
• sikerfeltétele előre rögzített, hogy utólag ne a kívánt eredményhez igazítsd az értékelést.

Egy tesztben általában három–öt feladat elegendő. Kezdd könnyebb, tájékozódó feladattal, majd haladj a fő cél és a kritikus döntések felé. Ne fűzd össze úgy a feladatokat, hogy egy korábbi hiba lehetetlenné tegye a későbbit; ha szükséges, állítsd vissza a prototípust vagy adj új kiindulópontot.

A moderátor szerepe

A moderálás a teszthelyzet vezetése és a résztvevő támogatása a megoldás sugallása nélkül. A moderátor segít a helyzetet biztonságossá tenni, de nem segít a feladat megoldásában.

Mit tehet a moderátor?

• Kérheti a gondolkodást hangosan (a módszert a 2. fejezetben tanultad): „Mondd el, mit keresel vagy mit vársz.”
• Semlegesen visszakérdezhet: „Mit gondolsz, mi történne, ha ezt választanád?” „Mit vártál volna itt?”
• Megerősítheti a részvételt, nem a helyes választ: „Köszönöm, ez nagyon hasznos.”

Mit nem tehet?

• Nem mondja: „Próbáld meg a jobb felső menüt.”
• Nem magyarázza meg, hogyan kellett volna.
• Nem védi a tervet („Ez azért van így, mert...”).
• Nem javítja ki a résztvevő hibáját.

Az elakadás adat. Ne mentsd meg túl korán a résztvevőt, mert ezzel eltünteted a problémát. Ha a feladat már nem halad, időkeret vagy érzelmi feszültség miatt meg kell szakítani, akkor röviden jelöld a pontot, mondd el, hogy ez a tervről ad információt, és lépj tovább. A végén kérdezd meg, volt-e olyan pillanat, amikor bizonytalan volt, de a megfigyelés maradjon fontosabb, mint az utólagos magyarázat.

Moderátori forgatókönyv váza

1. Bevezetés (beleegyezés, a terv tesztelése, nincs jó vagy rossz).
2. Bemelegítő kérdés a résztvevő háttéréről.
3. Feladatok egyenként, a forgatókönyv felolvasásával.
4. Feladatonként utókérdés: „Milyen volt ez a feladat? Mi volt a legbizonytalanabb pillanat?”
5. Záró kérdések: összbenyomás, mit módosítana.
6. Köszönet, zárás.

Jegyzetelés

Hasznos egyszerű táblázat:

Feladat	Megfigyelés	Szó szerinti idézet	Következmény	Feltételezett ok	Nyitott kérdés
Jelentkezés	Háromszor visszatért a kezdőlapra, miközben a módosítást kereste	„Hol tudom megnézni, mire jelentkeztem?”	Nem találta meg a „Jelentkezéseim” oldalt	A menüpont a profil alatt van	Várná-e a főmenüben?

Az „a navigáció rossz” nem megfigyelés. „A résztvevő háromszor visszatért a kezdőlapra, miközben a foglalás módosítását kereste” igen. A későbbi értelmezés lehet: „a módosítás nem várható helyen van”, de ezt jelöld hipotézisként. Ugyanazt a három fajtát különítjük el, mint a 2. fejezetben: idézet, megfigyelés, értelmezés.

Mit mérjünk?

A mérőszám a kérdéshez tartozzon. A kritikus hiba és a sikerkritérium fogalmát az előző fejezetekből ismered; most a mérés eszközeit nézzük meg. Korai használhatósági tesztben gyakran hasznos a következők közül választani:

Mérőszám	Mit jelent?	Mikor hasznos?
Feladatsiker	A résztvevő elérte-e a célt (igen / részben / nem)	Mindig
Segítségkérés	Hányszor kért segítséget	Érthetőség vizsgálatához
Hibák száma és súlya	Hány hibát vétett, volt-e kritikus hiba	Hibamegelőzés vizsgálatához
Feladatidő	Mennyi idő alatt végezte el	Csak ha a gyorsaság valódi érték és a feladatok összehasonlíthatók
Megfigyelhető bizonytalanság	Megállt, visszalépett, kételkedett	Kvalitatív jelzés
Megértés	Saját szavaival helyesen el tudja-e mondani a következményt	Tartalmi, bizalmi kérdéseknél
Elégedettség (SUS)	Szubjektív értékelés kérdőívvel	Összehasonlításhoz

A kritikus hiba olyan hiba, amely megakadályozza vagy súlyosan félreviszi a fő feladatot. Időmérés csak akkor értelmes, ha a feladatok és a résztvevők összehasonlíthatók, és a gyorsaság valóban érték. Egy egészségügyi döntésnél a túl gyors választás akár kockázat is lehet.

A SUS (System Usability Scale, vagyis rendszerhasználhatósági skála) egy tíz állításból álló kérdőív, amelyre a résztvevő ötfokú skálán válaszol; a válaszokból 0–100 közötti pontszám számítható. Hasznos gyors, összehasonlító szám, de kis mintán (3–5 fő) nem általánosítható; a leírását és a számítás szabályait a használat előtt nézd meg a szakirodalomban.

Minőségi jelzés lehet az is, hogy a résztvevő a folyamat végén saját szavaival helyesen el tudja mondani a következményt. Például tudja-e, hogy a jelentkezés végleges, mikor jelenjen meg az értesítés, és hogyan módosíthat? Ez a megértést méri, nem a kattintások számát.

Végigvezetett példa: a Mai program tesztfeladata

User story (4. fejezet): „Spontán programot kereső hallgatóként szeretném összehasonlítani a mai eseményeket..., hogy gyorsan eldönthessem, melyikre érdemes elmennem.” Forgatókönyv: „Péntek este van, négy baráttal szeretnél elmenni valahova. Nincs sok pénzed, és nem mindenki beszél jól magyarul.” Tesztfeladat: „Találj egy lehetőséget, amelyről biztosan el tudod dönteni, megfelel-e.” Sikerkritérium: a résztvevő két percen belül talál megfelelő eseményt, megnevezi az időt, helyet, költséget és jelentkezési feltételt, és nem értelmez félre kritikus információt.

Egy résztvevő a foglalás után nem találja a visszaigazolást. A moderátor nem mutat rá, hol van, hanem megkérdezi: „Mit vársz, hol lenne ez?” A résztvevő azt mondja, e-mailt várna, majd a profiljában keres. A lelet nem az, hogy „nem találta a gombot”, hanem hogy a rendszer nem tett egyértelmű ígéretet a visszaigazolás csatornájáról és helyéről.

Gyakori tévhitek

Állítás	Pontosítás
„A user story-ból tesztfeladat lesz.”	A story iránya a tervezés; a tesztfeladat konkrét helyzetbe ágyazott kérés, amely nem árulja el a megoldást.
„A mérőszám mindig szám.”	Egyértelmű, előre meghatározott megfigyelés vagy helyes megértés is lehet értékes mérőjel.
„A tesztfeladatnak meg kell neveznie a funkciót.”	Ez elrejtheti, hogy a felhasználó egyáltalán megtalálná-e vagy felismerné-e a funkciót.
„A moderátor feladata, hogy segítsen a résztvevőnek.”	A segítség eltünteti az adatot; a moderátor a biztonságos helyzetet teremti meg.

Röviden

• A tesztfeladat célt ad, nem vezérlőt; a sikerfeltétel előre rögzített.
• A moderátor hallgat, semlegesen kérdez, és nem ment meg elakadásból.
• A jegyzetben külön a megfigyelés, idézet és értelmezés.
• A mérőszámot a kérdéshez választjuk; kis mintán a kvalitatív jelzés fontosabb a számnál.

Ellenőrző kérdések

1. A tesztfeladatod a célt vagy a vezérlőt nevezi meg?
2. Milyen mondattal kérnéd a gondolkodást hangosan?
3. Mikor szakítanál meg egy elakadást?
4. Írj egy megfigyelést és egy tőle különálló értelmezést.
5. Melyik mérőszám mutatná meg legjobban, hogy a felhasználó érti a következményt?