Testikäyttäjäkin on (vain) ihminen

Oletko koskaan ollut testikäyttäjänä jossain kokeessa? Minä olen ollut muutamissa. Näistä ensimmäinen ei ollut käytettävyystesti, vaan siinä etsittiin riittävän laadukasta tiedonsiirtoyhteyttä videoneuvotteluun. Tiesin, että minua ei tässä kokeessa testattu vaan yhteyden teknisiä ominaisuuksia. Testissä ystäväni rakensi ensin tulitikuista ohjeen mukaisen rakennelman, ja minä seurasin tätä videoyhteydellä. Kun rakennelma oli valmis, minun tuli toistaa sama. Jos kuvan laatu oli hyvä, pelkkä lopputulos riitti tueksi vastaavan rakennelman tekoon. Huonolla laadulla piti muistaa enemmän. Testistä tulikin minulle muistitesti, ja epäonnistuminen olisi ollut noloa. Niinpä pinnistin muistini ja onnistuin, vaikka kuvanlaatu olikin välillä liian heikko tukemaan tehtävääni.

Käytettävyystesteissä olen ollut varmempi oikeuksistani, olenhan opettanut käytettävyystestausta ties kuinka pitkään. Etenkin ensimmäisessä testissä tunnistin kuitenkin pientä jännitystä itsessäni. Jännitys laukesi siinä kohtaa, kun jouduin pitämään testiä vetäville kurssilaisilleni lyhyen saarnan siitä, miten testikäyttäjää puhutellaan. He kertoivat testin alussa oikeuteni ja sen, että testissä testataan opettajille suunnattua järjestelmää eikä minua. Silti he aloittivat tallenteen sanomalla: “Ensimmäinen testi, testataan Sirpa Riihiahoa”. Surkuhupaisaa oli se, että älähdettyäni, että ei ole, he ihmettelivät ensin, eikö nimeni olekaan Sirpa Riihiaho. Vihdoin sain heidät ymmärtämään, että nimeni on oikein mutta testin kohde ei.

Viimeisin kokemukseni testikäyttäjänä on äskettäiseltä kurssilta, jolla toimin kouluttajana. Siinä ei juuri jännitystä enää ollut ja ohjaajakin oli mitä mukavin. Vaati kuitenkin melkoisesti niin sanottua kanttia todeta yhdestä testitehtävästä, että siinä esitettyyn kysymykseen ei järjestelmän avulla löydy vastausta – etenkin kun tehtävään palattiin toisenkin kerran ja etsin vastausta vielä toisellakin tavalla. Pidin kuitenkin pääni, vaikka aavistin jonkin ratkaisun järjestelmällä löytyvän.

Ihminen on haastava testiosallistuja

Viimeisimmän testikäyttäjäkokemukseni oppi on huomattava haaste käytettävyystesteissä. Kun testikäyttäjä saa tehtävän, luontainen oletus on, että se on tehtävissä kyseisellä järjestelmällä. Minä tietoisesti päätin pitää testikäyttäjän oikeuksistani kiinni ja todeta, että vastausta ei järjestelmän avulla löydy. Ei se kuitenkaan helppoa ollut minullekaan. 

Testitilanteessa moni testikäyttäjä jaksaakin etsiä ratkaisua tehtävään huomattavasti pidempään kuin normaalioloissa. Esimerkiksi eräässä psykologisessa testissä noin 60 vuotta sitten osallistujia pyydettiin laskemaan yksinkertaisia yhteenlaskuja (Orne 1962). Kun he saivat paperiarkillisen tehtäviä laskettua, he nostivat suuresta korttipinosta seuraavan ohjeen. Kortin ohje oli aina sama. Se ohjeisti käyttäjää repimään juuri valmiiksi saamansa arkin vähintään 32 osaan ja jatkamaan seuraavan arkin tehtävillä. Testin tarkoituksena oli löytää toista testiä varten tehtävä, jota osallistujat eivät suostuisi tekemään lainkaan tai ainakaan kovin pitkään, jos eivät ole hypnoosissa. Osallistujat kuitenkin jatkoivat usean tunnin ajan – keskittyneesti ja hyvin tasaisella tahdilla. Jälkihaastattelussa kaikki käyttäjät arvioivat testin mitanneen heidän kärsivällisyyttään, joten he olivat sinnikkäästi jatkaneet – edes kyseenalaistamatta testitehtävien mielekkyyttä. Tarpeeksi turhaa tai pitkäveteistä tehtävää ei löytynyt useammallakaan yrityksellä. 

Samoissa tutkimuksissa nousi selkeästi esiin myös se, kuinka vahvasti testeihin osallistuvat haluavat olla “hyviä testikäyttäjiä” ja antaa tukea tutkijan hypoteesille. Tämä tapahtuu yleensä tiedostamatta ja on tyypillistä tieteellisissä kokeissa ihmisten kanssa. Ongelmaa on yritetty kiertää kertomalla psykologisiin testeihin osallistuville väärä tavoite, mutta siitäkin on tullut niin yleinen käytäntö, että moni osallistuja epäilee kerrottua ja kehittää joka tapauksessa oman hypoteesinsa. Jos tavoite puolestaan on liian ilmeinen, osallistujat voivat rehellisyyttä tavoitellessaan päätyä liioittelemaan myös vastakkaiseen suuntaan.

Väärän tavoitteen kertominen voi olla testin tuloksia ajatellen turmiollistakin. Esimerkiksi itse osallistuin kaksiosaiseen testiin, jonka väitettiin olevan tuoksutesti. Yhteensä 20 tuoksunäytettä piti haistella 10 sekuntia kutakin ja  arvioida kunkin ominaisuuksia asteikolla 1–10. Minulla loppui asteikko kesken, kun hajut olivat toistaan pahempia. Siksipä en halunnut haistella niitä kuin noin sekunnin. (Myönnän, en noudattanut ohjeita, kun en pitänyt niitä järkevinä). Sitten seuraavalla viikolla selvisi, että testi olikin hajumuistista. Uudesta 20 näytteen joukosta olisi pitänyt tunnistaa 10 edellisen viikon näytettä. Minulla ei ollut toivoakaan, mutta kaikki psykologian opiskelijat olivat arvanneet testin oikean tarkoituksen ja saivat hyviä pisteitä.

Kertooko testitehtävä liikaa?

Mutta palataanpa käytettävyystesteihin ja testitehtäviin. Viestiikö annettu testitehtävä turhan vahvasti siitä, että järjestelmä tukee kyseistä tehtävää?

Jos jonkin toiminnon halutaan olevan helposti havaittava ja helposti ymmärrettävä, ja tätä asiaa halutaan testata, testitehtävän antaminen kyseisestä toiminnosta ei välttämättä anna oikeaa kuvaa siitä, miten helppo se on havaita tai ymmärtää asiaan sopivaksi. Joissain tilanteissa voikin olla luontevampaa antaa käyttäjän tehdä järjestelmällä niitä asioita, joita hän itse haluaa, ja tarkkailla hänen toimiaan. Jos käyttäjä ei omatoimisesti päädy toimintoihin, joista testissä halutaan palautetta, tämä on jo yksi huomio. Sitten käyttäjä voidaan ohjata kyseisiin toimintoihin sopivilla tehtävillä tai kysymyksillä. Tätä vapaan läpikäynnin lähestymistapaa olemme hyödyntäneet esimerkiksi pelien ja viihde-elektroniikan käytettävyystestauksessa.

Muista ainakin nämä

Mitä näistä kokemuksistani voisi oppia? Ainakin sen, että testihenkilönä toimiminen jännittää, vaikka kuinka tietäisit oikeutesi. Testiasetelma tuleekin miettiä sellaiseksi, että testikäyttäjä ei turhan herkästi tulkitse sitä oman toimintansa arvioinniksi. Esimerkiksi jos en olisi nähnyt tulitikkurakennelman tekoa, vaan ainoastaan lopputuloksen, olisin kevyemmin mielin voinut todeta, ettei kuvasta näe riittävästi yksityiskohtia rakennelman tekoon.

Toisena oppina se, että testikäyttäjälle kerrottavat oikeudet ja periaatteet eivät ole vain sanahelinää vaan asioita, jotka testistä vastaavien tahojen tulisi sisäistää ja heijastaa kaikessa toiminnassaan testikäyttäjien kanssa. Ei siis ensin sanota testikäyttäjälle, että häntä ei testata, ja sitten testin aluksi todeta, että juuri häntä testataan – oikein nimellä mainiten tallenteen alkuun, jotta loppukin anonymiteetti katoaa.

Mestari-oppipoika-asetelma

Kun testikäyttäjään asennoituu kuten oppipoika suhtautuu mestariin, moni asia menee luontevasti oikein. Mestaria ei laiteta odottelemaan sitä, että testin viimeiset valmistelut tehdään viime tingassa tai peräti myöhässä. Häntä ei myöskään tarkkailla tai nauhoiteta salaa. Mestaria ei keskeytetä, vaan kuunnellaan ja yritetään ymmärtää hänen tapansa lähestyä asiaa ja ratkaista käsillä oleva tehtävä. Hänelle ei tulisi mieleenkään ilmaista millään tavoin, että nyt teit virheen tai olet kovin hidas. Hänen annetaan pitää taukoa, jos hän haluaa, eikä häntä rasiteta turhan pitkällä istunnolla.

Mestarin myös toivotaan poistuvan hyvillä mielin ja olevan valmis auttamaan toisellakin kertaa. Niinpä häntä kiitellään, mahdollisesti palkitaan ja varmistellaan, ettei ilmaan jäänyt avoimia kysymyksiä. Jos mestarilla oli ongelmia joissain tehtävissä, on ystävällistä kysyä, haluaako hän nähdä, miten toiminnot oli järjestelmään toteutettu. Samalla aukeaa tilaisuus saada vielä lisää kommentteja ja näkemyksiä siitä, mitä pitäisi muuttaa.

On myös syytä muistaa, että testikäyttäjän on hyvä saada aluksi onnistumisen elämys. Alkuun kannattaa siis laittaa helppo tehtävä eräänlaiseksi jäänmurtajaksi. Lisäksi tehtäviin kannattaa varata joustoa siltä varalta, että joku testikäyttäjä on odotettua nopeampi tai kovin runsassanainen selityksissään. Tehtäviä tulee siis priorisoida sen mukaan, mitkä pyritään teettämään kaikilla testikäyttäjillä ja mitkä voidaan tarvittaessa jättää väliin. Siksipä tehtäviä ei myöskään numeroida.

Päivitä sinäkin kokemuksiasi testikäyttäjänä

Testikäyttäjänä olemisen suorituspaineet unohtuvat melko helposti, joten kannattaa verestää omia kokemuksiaan silloin tällöin. Käytettävyysasaintuntijoita ei usein haluta varsinaisiksi testikäyttäjiksi, mutta testiasetelmaa testaaviin pilottitesteihin hekin voivat osallistua.  Kun muutaman vuoden välein itse kokee, millaista on olla testikäyttäjän roolissa, muistaa paremmin pitää omia testikäyttäjiään kuin kukkaa kämmenellä. 

Lähteet

Orne, M. T. (1962). On the social psychology of the psychological experiment: With particular reference to demand characteristics and their implications. American Psychologist, 17(11), 776–783. (PDF sivustolla ucsd.edu)