Arviointikyselyn tulokset

Järjestin heinä–elokuun aikana kyselyn, jossa kartoitettiin Pienoismallit.netin käyttöä koskien mallien arviointia ja viikon mallin valintaa, ja pyydettiin mahdollisia muutosehdotuksia.

Kyselyyn vastasi 99 käyttäjää. Suurkiitos kaikille osallistuneille!

Kuten keskusteluja ja mallien kommentointia seuraamallakin on voinut huomata, jakaa aihe mielipiteitä. Tämä näkyi myös kyselyn vastauksissa. Vastaajista 41 % oli sitä mieltä, että järjestelmä ei tarvitse mitään muutoksia ja 33 % toivoi muutoksia, mutta mikään yksittäinen muutostarve ei kuitenkaan noussut esille.

Vaikka kyselyn tarkoituksena oli pääasiassa kartoittaa tulevaisuuden kehitystarpeita, niin lisäksi kysyttiin myös siitä, miten arviointijärjestelmää käytetään tällä hetkellä. Nämäkin tulokset kiinnostanevat osaa käyttäjistä, joten käyn ne aluksi läpi ennen kuin päästään itse asiaan.

Arvioiden vastaanottaminen

79 % vastaajista oli lisännyt kuvia omista malleistaan palveluun, ja heistä 91 % on vastaanottanut arvioita malleista.

Kun kysyttiin, mitkä ovat tärkeimmät syyt vastaanottaa arvioita omista malleistasi, nousivat esille omien taitojen kehittymisen seuraaminen (62 %) sekä se, että voi nähdä miten omat mallit vertautuvat muihin (66 %). Kuitenkin vain 7 % halusi vastaanottaa arvioita oman kilpailuhenkisyytensä vuoksi, joten vaikka vertailua paljon esiintyykin, sitä ei useimmiten tehdä kuitenkaan liian vakavin mielin.

Arvioiden antaminen

80 % vastaajista kertoi antavansa arvioita sivustolle lisättäville malleille.

Heistä 68 % ilmoitti lukevansa mallin kuvaustekstin aina ennen arviointia ja 29 % lukee sen useimmiten. Vain yksi vastaaja ilmoitti lukevansa kuvaustekstin harvoin tai ei koskaan.

Kaikki mallista lisätyt kuvat käy läpi 81 % arviojista ja lisäksi 17 % katsoo kaikki kuvat useimmiten. Vain kaksi vastaajaa kertoi katsovansa kaikki kuvat harvoin. Kukaan ei vastannut, että katsoisi ainoastaan oletuskuvan.

Sen sijaan muiden käyttäjien kirjoittamat kommentit eivät niinkään vaikuta arviointeihin, sillä vain 10 % lukee kommentit aina ennen arviointia. Kuitenkin 41 % lukee kommentit usein ja toiset 41 % silloin tällöin. Vain 8 % vastasi, että ei lue kommentteja koskaan ennen arviointia.

Vastaajista 49 % ilmoitti antamiensa arviointien määrän vähentyneen jonkin verran. Selvästi tärkeimmäksi syyksi tälle paljastui se, että heidän antamiinsa arvioihin suhtaudutaan liian tiukkapipoisesti, sillä peräti 39 % valitsi tämän vastausvaihtoehdon.

Toiseksi yleisin syy (18 %) arviointien vähentymiseen oli se, että niiden antaminen koettiin huonona tapana kannustaa. Lisäksi 15 % koki, että arvioiden antajilta odotetaan liikaa objektiivisuutta.

He, jotka eivät ole koskaan arvioineet muiden malleja palvelussa, ilmoittivat tärkeimmäksi syyksi (50 %) sen, että he eivät koe olevansa riittäviä asiantuntijoita arvioimaan muiden malleja. Lisäksi 30 % ilmoitti kokevansa, että arvioijilta odotetaan liikaa asiantuntemusta.

Voitaneen siis tehdä se ikävä johtopäätös, että tasaisin väliajoin toistuvat keskustelut "väärin" annetuista arvioista ovat vähentäneet jopa merkittävästi muiden käyttäjien motivaatiota ylipäätänsä antaa enää arvioita malleista.

Toivotut muutokset

Sitten otetaan tarkasteluun kyselyn tärkein kysymys, eli "tulisiko mallien arviointia tai viikon mallin valintaa Pienoismallit.netissä muuttaa?"

Vastaajista 41 % oli sitä mieltä, että järjestelmä ei tarvitse mitään muutoksia, vaan on hyvä nykyisellään. Muutoksia kaipasi 33 % vastaajista. Loput 26 % ei osannut kertoa kantaansa.

Kaivatuista muutoksista nousi esille kärkikaksikko:
- Anonyymi arviointi tulisi lopettaa (15 %)
- Mallien arviointi tulisi olla mahdollista vain kommentoinnin yhteydessä (15 %)

Kannatusta keräsivät myös:
- Omaa arviota tulisi olla mahdollista muuttaa jälkikäteen (13 %)
- Mallien arviointi numeroin tulisi lopettaa (12 %)
- Kuville käytössä oleva levytila ei tulisi määräytyä arvioiden perusteella (11 %)
- Numeerisille arvioille tulisi olla sanalliset selitykset (esim. 3 = hyvä, 5 = mestariteos) (10 %)
- Viikon malli tulisi valita muulla tavalla kuin arvioiden perusteella (8 %)
- Arvioiden jakauma tulisi poistaa näkyviltä (5 %)

Olin hieman yllättynyt, että kannatusta eivät juurikaan keränneet:
- Arvioiden jakauma tulisi olla kaikkien nähtävillä (2 %)
- Keskiarvon tulisi olla näkyvillä ennen oman arvion antamista (2 %)

Yllä esitetyt prosenttiosuudet on suhteutettu vastaajien kokonaismäärään, jolloin se antaa paremman kuvan siitä, kuinka suuri osuus kaikista käyttäjistä mitäkin muutosta toivoo.

Hajonta on siis melko suurta, eikä mikään vaihtoehto saanut yli 50 % kannatusta heiltä, jotka ylipäätänsä muutoksia halusivat. Tämä osaltaan vahvistaa sitä käsitystä, että käyttäjien tarpeet ja odotukset arviointijärjestelmää kohtaan ovat melko vaihtelevia.

Mitä muutoksia voisi olla tulossa?

Näiden tulosten avulla pitäisi sitten tehdä päätöksiä siitä, millaisia muutoksia järjestelmään mahdollisesti tehdään.

Kyselyn perusteella enemmistö on kuitenkin tyytyväinen järjestelmään jo nykyiselläänkin, eikä mitään yhtä selkeää ongelmaa löytynyt. Muutoksia kaipaavia on kuitenkin sen verran, että järjestelmän kehittämistä johonkin suuntaan olisi varmasti hyvä pohtia.

Ongelmalliseksi asian tekee tuo, miten erilaisia käyttäjien tarpeet ja odotukset tosiaan ovat. Osa haluaa vastaanottaa äärimmäisen rehellistä kritiikkiä, kun taas osa toivoo vain positiivisia reaktioita ja joku haluaa lähinnä vain esitellä töitänsä muille harrastajille. Enemmistö on tietenkin jotain näiden väliltä. Palvelun tulisi joka tapauksessa myös arvioiden osalta pyrkiä yhdellä järjestelmällä palvelemaan mahdollisimman hyvin kaikkia.

Varmaa on tällä hetkellä ainoastaan se, että ne 12 % vastaajista, jotka toivoivat arviointien poistumista kokonaan, joutuvat pettymään. Pettymystä kuitenkin helpottanee tieto siitä, että kyselyn perusteella vaikuttaisi, että arviointimahdollisuuden poistumisella ei saavutettaisi niitä hyötyjä, joita jotkut ovat spekuloineet: 65 % vastasi, että arviointimahdollisuuden poistuminen ei vaikuttaisi heidän kirjoittamiensa sanallisten kommenttien määrään. Vain 9 % kirjoittaisi enemmän kommentteja, jos arviointi ei olisi enää mahdollista, mutta toisaalta 9 % ilmoitti myös vähentävänsä myös kommentoinnin määrää mikäli arviointimahdollisuus poistuisi.

Sen sijaan anonyymin arvioinnin lopettaminen on ollut jo aiemminkin suunnitelmissa ja se vaikuttaisi edelleen ihan mahdolliselta kehityssuunnalta. Toisaalta sitä toivoi vain 15 % vastaajista, joka hieman yllätti. Olisin kuvitellun osuuden olevan huomattavasti suurempi.

Yksi vaihtoehto voisikin olla se, että käyttäjä saisi erikseen tehdä valinnan, jolla kieltäytyy vastaanottamasta anonyymejä arvioita. Tämä palvelisi sekä enemmistöä, jolla anonyymit arviot ovat ok, sekä sitä vähemmistöä, joka haluaa tietää jokaisen saamansa arvion antajan.

Paljon kannatusta sai myös arvioiden antaminen vain kommentoinnin yhteydessä. Tämäkin voisi ehkä olla erillisenä valintana.

Oman arvion muuttamista jälkikäteen toivoi myös moni. Sehän on jo nykyisinkin mahdollista, mikäli mallista lisätään uusia kuvia. Tämä ominaisuus ei vain taida olla monenkaan käyttäjän tiedossa. En kuitenkaan usko, että moniakaan haittaisi, vaikka arvion muuttaminen jälkikäteen olisi aina mahdollista.

Käytössä olevan levytilan riippuvuus arviointien keskiarvosta tulee poistumaan, ja tähän muutokseen ovat uskoakseni tyytyväisiä monet muutkin kuin ne 11 %, jotka tämän vastausvaihtoehdon valitsivat tai ne 16 %, jotka ilmoittivat vastaanottavansa arvioita saadakseen lisää levytilaa.

Kymmenen prosenttia vastaajista haluaisi numeerisille arvioille myös sanalliset selitykset. Aihetta käsittelevissä keskusteluissa onkin toisinaan ollut esillä, millaista asteikkoa kukin käyttää, ja mitä merkityksiä eri numeerisille arvioille koetaan. Tässä on ollut melko paljon hajontaa, kun jonkun mielestä esimerkiksi 2,5 tähteä on perushyvän mallin lähtötaso, mutta toiselle se tarkoittaa lähestulkoon virtuaalista keskisormea.

Voisi olla ihan toimiva ratkaisu, jos tuota tulkintojen hajontaa saataisiin hieman tasoittumaan kaikille yhteisellä asteikolla, jossa jokaista numeroa vastaisi sanallinen selitys. Nämä selitykset olisivat tuollaisia lyhyitä 1–2 sanan pituisia, kuten "ihan hyvä", "erinomainen", "mestariteos!" jne. Tämä jättäisi edelleen tilaa subjektiisivuudelle, mutta ei olisi niin tulkinnanvarainen kuin pelkkä numero.

Osa toivoi muutosta myös viikon mallin valintaan, ja vaikka tämä ei prosenttien valossa saanutkaan suurta kannatusta, niin useampi otti asian esille vapaamuotoisessa tekstipalautteessa. Muutama toivoi erilaisia raateja viikon mallin valintaa suorittamaan, mutta tällaisten raatien rekrytointi ja aktiivisena pitäminen viikosta ja vuodesta toiseen voisi olla hieman liian työlästä ja aikaavievää. Yksittäisiä toiveita tuli myös kuukauden ja vuoden mallin valinnasta. Lisäksi 5 % vastasi, että viikon mallin valinta voitaisiin kokonaan lopettaa.

Ehkä viikon mallin valinnan voisikin irrottaa arvioiden keskiarvosta. Toimivampi vaihtoehto voisi olla se, että malleista voisi arviointien lisäksi myös erikseen tykätä, ja viikon aikana eniten tykkäyksiä saanut malli valittaisiin viikon malliksi.

Vapaissa kommenteissa nousi esille yllättäen myös se, että jotkut ajattelevat arviointien tarkoituksen olevan lähinnä viikon mallin valinta. Näinhän ei ole missään vaiheessa ollut, vaan viikon mallin valinta on syntynyt vain arviointien sivutuotteena ja se voisi kyllä olla sidottu mihin tahansa muuhunkin relevanttiin mittariin kuin arvioiden keskiarvoon.

Kiitos, jos jaksoit lukea tänne asti :) Mielelläni kuulisin mitä mielipiteitä kyselyn tulokset sinussa herättivät ja mitä mieltä olet esille nostamistani muutosehdotuksista?