Tällä viikolla on menossa Digi- ja väestötietoviraston järjestämä digituen teemaviikko. Sen merkeissä päätin jakaa yhden teemaan liittyvän työni noin vuoden takaa.
Kas tässä:
Digitaitotesti
Testi on tehty osana Nuorten ystävät ry:n Osaamisella osallisuutta -hanketta. Testiä voi käyttää digitaitojen valmennuksen ja tuen kartoittamisen apuna. Kohderyhmänä on ollut nuoret aikuiset, mutta testi soveltuu pääosin muunkin ikäisille. Lisätietoa hankkeen sivuilta
Päävastuu testin suunnittelusta ja toteutuksesta oli allekirjoittaneella, mutta hankkeen henkilöstö oli mukana tekemässä valintoja ja antamassa palautetta.
Kuinka testi toimii?
Testi koostuu 24 kysymyksestä ja niihin liittyvistä vastausvaihtoehdoista. Kysymysten perusteella testi arvioi digiosaamisen tason seuraavissa kuudessa kategoriassa:
- laitteet ja perusohjelmat
- sisällön tuottaminen
- kirjautuminen ja tietoturva
- tiedonhaku ja mediataidot
- digitaalinen asiointi
- viestintä ja sosiaalinen toiminta
Jokaista kategoriaa testataan neljällä eri tasoisella kysymyksellä.
Kategorioiden pistemäärien keskiarvon mukaan digiosaamisen tasoksi määräytyy jokin seuraavista päätelmistä:
- Digiin tutustuja
- Aloitteleva käyttäjä
- Hyötykäyttäjä
- Edistyvä käyttäjä
- Erikoistunut osaaja
Testin käytettävyyttä digiosaamisen arvioimisessa parantaa se, että loppupäätelmässä näytetään jokaisen kategorian pistemäärä. Näin testattava ja mahdollinen tukihenkilö näkevät, missä digitaitojen osa-alueissa on vielä petrattavaa.
Lisäksi on linkki dokumenttiin, jossa kerrotaan oikeat/parhaat pisteet tuovat vastaukset.
Kuinka testi tehtiin?
Yksinkertaisuudestaan huolimatta tällaisen testin tekeminen vaati huomattavasti taustatyötä, koska halusimme tehdä sen kestävälle pohjalle sekä niin, että testi arvioisi digiosaamisen tason myös eri osa-alueissa.
Aloitetaan tavoitteista. Tarkoituksena oli siis tehdä testi, jolla testataan digiosaamisen tasoa. Avaan tätä.
Ensin oli määriteltävä, mitä digiosaamiseen kuuluu. Tutustuimme useisiin kansallisiin ja kansainvälisiin digiosaamisen listauksiin ja malleihin. Hyvin paljon yksinkertaistaen päädyimme käyttämään edellä kuvattua kuutta digiosaamisen kategoriaa/osa-aluetta.
Sen jälkeen oli päätettävä, mitä osaamisen tasoja pyritään arvioimaan. Erilaisia digiosaamisen tasojen mallinnuksia on useita, mutta kestävimmäksi teoreettis-käytännölliseksi malliksi valitsin EU:n digitaalisten kompetenssien kehyksen, lyhyemmin DigiComp 2.1:n (The Digital Competence Framework for Citizens, 2017). EU:n mallissa digiosaaminen on jaettu peräti 8 tasoon, mutta päätimme typistää sen tässä testissä neljään tasoon sekä niitä edeltävään ”nollatasoon” (digiin tutustuja). Lisäksi testistä päätettiin jättää kysymättä EU-mallin levelien 7-8 mukaista osaamista, joka on lähinnä alakohtaista erityisosaamista. Alla olevassa kuvassa on nähtävissä DigiComp 2.1:n tasot, joista testi pyrkii siis kattamaan tasot 0-6.
Kun oli tiedossa selvitettävät digiosaamisen osa-alueet sekä mitattavat tasot, oli päätettävä miten testi teknisesti tehdään.
Koska tavoitteena oli mitata digiosaamista osa-alueittain, syntyi melko luontevasti matriisi, jossa toisella akselilla on osa-alueet ja toisella tasot seuraavasti:
| Digiin tutustuja | Aloitteleva käyttäjä | Hyötykäyttäjä | Edistyvä käyttäjä | Erikoistunut osaaja | |
| Laitteet ja perusohjelmat | x | x | x | x | |
| Sisällön tuottaminen | x | x | x | x | |
| Kirjautuminen ja tietoturva | x | x | x | x | |
| Tiedonhaku ja mediataidot | x | x | x | x | |
| Digitaalinen asiointi | x | x | x | x | |
| Viestintä ja sosiaalinen toiminta | x | x | x | x |
Taulukossa jokainen X kuvaa yhtä testin kysymystä. Jokaisesta mitattavasta tasosta ja osa-alueesta on siten yksi kysymys, eli kyse on 4×6-matriisista = yhteensä 24 kysymystä.
Kysymysten määrä oli yksi päätettävä asia. Jos testistä olisi haluttu tehdä vielä tarkempi ja sisällöllisesti laajempi, olisi jokaisesta osa-alueesta ja tasosta voitu tehdä kaksi kysymystä (2x4x6), mutta silloin kysymyksiä olisi tullut yhteensä 48. Tai 3x4x6 = yhteensä 72 kysymystä jne. Testi haluttiin kuitenkin pitää suhteellisen lyhyenä.
Osaamistasoa arvioitaessa henkilön on hallittava alemman tason taidot, jotta osaaminen on ylitse sen eli seuraavaksi ylemmällä tasolla. Testin antamat päätelmät toimivat tällä logiikalla: jos saat päätelmäksi ”aloitteleva käyttäjä” eri osa-alueiden pistemääräsi keskiarvo on ylittänyt ”digiin tutustujan” mutta jäänyt alle ”hyötykäyttäjän”. Ylimmän ”erikoistunut osaaja” -osaamistason kysymyksiä puolestaan testissä ei ole, koska sen saamiseen riittää täydet pisteet kaikilla alemmilla tasoilla, jolloin osaaminen siis ylittää ”edistyvän käyttäjän” taidot.
Testiä tehdessä digiosaamisen osa-alueiden sisältöjä tarkasteltiin huomattavasti laajemmin kuin mitä testiin valikoituneet kysymykset käsittelevät. Ensiksi oli määriteltävä osa-alueet, sitten niihin kuuluvat sisällöt eli yksittäiset taidot ja lopulta keksittävä eri taitoihin ja tasoihin sopivat kysymykset vastausvaihtoehtoineen.
Tässä kuvassa on yksinkertaistettuna, mitä asioita ja taitoja eri digiosaamisen osa-alueisiin sisältyy:
Luonnollisesti eri tasoihin kuuluvat asiat ja taidot ovat enemmän tai vähemmän aikaan sidottuja. Iso osa työtä oli nimenomaan näiden pohtiminen ja valinta. Sisältöjä olisi helppo lisätä taulukkoon paljon enemmänkin, mutta pyrimme pitämään sen pääasiassa yleistaitoja käsittelevänä. Teknologian ja digitaalisen yhteiskunnan kehittyessä taulukon sisältöä tulee jälleen arvioida uudestaan.
Taulukon toiseksi ylimmällä rivillä esitetään DigiComp 2.1-mallia mukaillen, minkälaisesta tuesta ja toiminnasta eri tasoilla olevat oppijat hyötyvät. Mitä pitemmällä osaaminen on, sitä enemmän henkilön rooli muuttuu ohjattavasta ohjaajaksi.
Matriisia (ja testiä) voi käyttää myös sen arvioimiseen, millä tasolla digitukihenkilönä tai -ohjaajana toimivan tulisi olla, jotta hän voi ohjata eri digiosaamisen osa-alueita. Luonnollisesti testi ja matriisi yhdessä voivat toimia myös itseopiskelun tukena.
Testin tekninen toteutus
Testi vaikuttaa ensinäkemältä vain yhdeltä Testimato-testiltä – mitä se onkin. Tässä kohtaa lähetänkin kiitokset Testimadon ylläpitäjälle More Karvoselle teknisestä tuesta ja kehitystyöstä, joka mahdollisti mm. testin helpon upottamisen eri nettialustoille (upotus onnistuu laittamalla testi iframe-ikkunan sisään).
Se, että päädyimme toteuttamaan testin juuri Testimadolla, johtuu puhtaasti Testimadon ominaisuuksista.
Kartoitimme hankkeen aikana muita vastaavia testejä. Juuri halutun tyyppistä testiä emme löytäneet – eli sellaista, joka mahdollistaisi eri osa-alueiden/kategorioiden pisteytyksen erikseen ja niiden perusteella annettavat päätelmät.
Kaikkein lähimmäksi toivomaamme pääsi MENTEP-hankkeessa kehitetty ja testattu opettajien TVT-osaamisen itsearviointityökalu TET-SAT (Technology Enhanced Teaching Self-Assessment Tool). Se on vielä huomattavasti digitaitotestiä järeämpi työkalu antaen vielä enemmän tietoa tuloksista testin suorittajalle.
Valitettavasti TET-SAT-alusta ei kuitenkaan ollut vapaasti saatavilla, eikä budjetti tässä tapauksessa riittänyt vastaavan järjestelmän koodaukseen. Sinänsä vastaava olisi helppo tehdä, mutta mitä ei ole budjetissa, ei voida tehdä.
Joten oli löydettävä ”ilmainen” työkalu. Siinä kohtaa päädyimme tutkimaan tarkemmin myös Testimatoa. Pian kävi ilmi, että Testimadolla voi tehdä kysymyksiä, joiden oikeista vastauksista saa pisteitä eri kategorioissa. Yhteydenotto Testimadon ylläpitäjään selvitti lisäksi sen, että kategorioiden pistemäärät oli mahdollista saada näkyville loppupäätelmän yhteyteen.
Siltä varalta, että joku haluaa tehdä vastaavan, laitan kuvakaappauksen alle.
Näin Testimato osoittautui alustaksi, josta löytyi toivomamme ominaisuudet. Valinnan sinetöi Testimadon ylläpitäjän antama hyväksyntä ja tuki tämän tyyppisen testin toteuttamiseen.
Tulokset tähän mennessä
Testimadon hyviin ominaisuuksiin kuuluu lisäksi tilastot. Tätä kirjoittaessa digitaitotesti on suoritettu 993 kertaa ja päätelmät ovat jakaantuneet seuraavasti:
Tulosten jakautuminen noudattaa mielestäni sitä, mitä saattoi etukäteen odottaakin. Testi kykenee erottelemaan digitaitojen osaamistasot tämän perusteella melko hyvin – ollen samalla yksinkertainen ja nopeasti tehtävä.
Digiin tutustujien pientä määrää selittänee se, että testin löytäminen itsenäisesti netistä vaatii jo ”aloittelevan käyttäjän” osaamista, mikä useimmilta suomalaisilta löytyy. Toisaalta testistä ei haluttu tehdä liian vaikeaa etenkään alempien tasojen kysymysten osalta, koska sen haluttiin olevan mieluummin kannustava kuin lannistava.
Parhaimpaan päätelmään eli ”erikoistunut osaaja” on tähän mennessä päätynyt 10 % testin suorittajista. Tästä olen ehkä tekijänä eniten tyytyväinen, sillä jos enemmistö tai edes neljännes olisi päätynyt tähän tulokseen, voisi testiä pitää epäonnistuneena erottelemaan digitaalisen osaamisen tasoja.
Luonnollisesti pitkälle meneviä johtopäätöksiä ei näistä tilastoista voi kuitenkaan tehdä. Emmehän tiedä, keitä testin tekijät ovat todella olleet, millaisissa tilanteissa se on tehty ja moniko on tehnyt testin ”tosissaan”.
Kyseessä on hyvä pikatesti digiosaamisen arviointiin, eikä sen tarkoitus olekaan olla sen enempää.
Mikäli et vielä tehnyt testiä, voit siirtyä siihen tästä. 🙂
LEHMÄTKIN LENTÄIS 