Mediakasvatuksen ja lähdekritiikin oppitunti suomalaismedialle

17Elo11

Eilen uutisoitiin laajasti ”tutkimusyhtiö” Gartnerin tekemästä sosiaalisen median ”tutkimuksesta”. Eilisen ja tämän päivän aikana sen ”tulokset” tulivat vastaan monessa eri yhteydessä ja niitä jaettiin vilkkaasti some-verkostoissa. Jokainen edellä lainausmerkeillä merkityistä sanoista kaipaa kriittisempää tarkastelua.

Ensinnäkin Gartner on konsultointiyhtiö, joka tuottaa näitä tutkimuksiaan nähtävästi siksi, että saisi laajaa ilmaista näkyvyyttä itselleen mediassa. Kun tekijänä on tällainen taho ja jutulle on valmiiksi keksitty myyvä otsikko, pitäisi toimittajan ensiksi tarkistaa, ettei koko juttu ole täyttä potaskaa.

Toiseksi tutkimuksesta ei voida tässä yhteydessä todellisuudessa puhua – ainakaan sen tavallisessa merkityksessä, johon liitetään tietty luotettavuus. Katsotaanpa tarkemmin Gartnerin alkuperäistä tiedotetta:

Gartner surveyed 6,295 respondents, between the ages of 13 and 74, in 11 developed and developing markets in December 2010 and January 2011.

Tehdään yksinkertainen jakolasku, jonka ei pitäisi vaatia peruskoulua kummempaa koulutusta:

  • 6295 / 11 maata = 572,3 vastaajaa per maa
  • 572,3 / 62 ikäluokkaa = jokaisessa maassa 9,2 vastaajaa per ikäluokka

Niin sanotussa tutkimuksessa oli siis tehty kysely, jossa oli tavoitettu keskimäärin 9,2 vastaajaa per ikäluokka yhteensä 11 maasta. Jo tässä kohtaa pitäisi jokaisen toimittajan hälytyskellojen soida. Sitten vastaukset oli laskettu yhteen ja niiden pohjalta laskettiin erilaisia prosenttiosuuksia, jotka esitetään tutkimuksen ”tuloksina” ihmisten mielipiteistä ja sosiaalisen median nykytilanteesta.

Todellisuudessa tällainen kysely ja etenkään koko vastaajajoukosta lasketut %-osuudet eivät kerro mistään mitään – ei ainakaan mitään vähänkään yleistettävää, kun vastaajissa on sekaisin mm. japanilaisia, yhdysvaltalaisia, brittiläisiä, brasilialaisia, venäläisiä jne.

En ole mikään tilastollisen tutkimuksen spesialisti, mutta yritän avata aihetta edes vähän. Viisaammat täydentäköön.

Kun Suomessa tehdään valtakunnallisia kyselytutkimuksia, niin niissä pyritään saamaan vähintään tuhat vastaajaa yksinkertaisella satunnaisotannalla (lähde). Vähän kunnianhimoisimmissa tutkimuksissa vastaajia voi olla 10 000, 20 000 tai vielä enemmän. Oleellista on, että otos valitaan aina niin, että se periaatteessa edustaa koko väestön koostumusta (iät, sukupuolet, tuloluokat, alueet jne.). Lisäksi ilmoitetaan tutkimuksen tilastollinen virhemarginaali, joka on sitä suurempi, mitä pienempi otos.

Entäpä kun tutkitaan ikäluokkien välisiä mielipide-eroja? Tässä ohje, joka on tarkoitettu suomalaisille AMK-opiskelijoille (lähde):

Esim. Jos halutaan verrata eri ikäryhmien internet-käyttötottumuksia, niin otoksesta täytyy löytyä vähintään 30 mielellään 60 edustajaa kustakin ikäryhmästä.

Näin siis meillä Suomessa opiskelijoiden tekemissä tutkimuksissa. Mutta nyt kyseessä oli kansainvälinen tutkimus ja yritys, jonka ainakin periaatteessa (?) pitäisi hallita luotettavien kyselyiden tekeminen. Mutta kun ei niin ei.

Kertaan vielä Gartnerin kyselyn selvimmät puutteet:

  • Kyselytutkimuksessa pitäisi olla vähintään 1000 vastaajaa per maa yksinkertaisella satunnaisotannalla – mielellään paljon enemmänkin. Gartnerilla oli vain 572,3.
  • Kun tuloksia esitetään ikäluokittain, vastaajia tulisi olla 30-60 per ikäluokka. Gartnerilla oli 9,2.
  • Edellisen perusteella Gartner olisi tarvinnut vähintään 20 460 vastaajaa, mielellään 40 920. Gartnerilla ei ollut kuin 30% vähimmäisvaatimuksesta.
  • Julkisuudessa ei ole ollut mitään tietoa, millä menetelmällä Gartnerin kysely oli tehty eli miten vastaajat oli valittu ja oliko otos missään suhteessa edustava.
  • Gartner ei ilmoittanut virhemarginaalia. Se ei tosin ole mikään ihme, koska tässä tutkimuksessa se olisi ollut todella iso.
  • Bonuksena Gartner sekoitti eri puolilta maapalloa saadut tulokset samaan soppaan. Jo pelkästään yhden maan eri alueiden välillä – saati maiden, maanosien jne. – on tavallista, että tuloksissa on isoja eroja.
  • Kaiken lisäksi kyselyt tehtiin yli puolivuotta sitten. Eli vaikka tutkimuksessa ei olisi em. puutteita, niin sen tulokset olisivat jo auttamattoman vanhentuneita.

Lopputulos:

Kokoelma sattumanvaraisia lukemia, joiden ei pitäisi mennä läpi yhdessäkään tiedotusvälineessä. 

Mikä vimmattu sai median tarttumaan tähän?

Lopputulos ei anna aihetta sanoa mitään tutkimuksen aiheesta. Niiden, joita kiinnostaa saada luotettavaa tietoa suomalaisten netin/somen käytöstä, kannattaa katsoa Tilastokeskuksen tutkimus, joka julkaistaan 2.11.2011 (tänne).

Advertisements


3 Responses to “Mediakasvatuksen ja lähdekritiikin oppitunti suomalaismedialle”

  1. 1 Iskä

    Yleensä konsulttiyhtiöt julkaisevat tulokset ja aloittavat rahastuksen siinä vaiheessa tutkimusta, kun oikeat tutkijat aloittavat varsinaisen tutkimuksen. Eli selkokielellä sanottuna konsulttiyhtiöille riittää esiselvitystasoinen tieto, jonka tulokset tosiaan saattavat muuttua hyvinkin radikaalisti varsinaisen tutkimuksen aikana, ja jotka perustuvat vielä melko hataraan tietopohjaan.

  2. Myös tässä Ylen julkaisemassa artikkelissa http://www.yle.fi/uutiset/kotimaa/2011/08 sosiaalisen_median_veto_hiipuu_suomessakin_2796202.html
    ”arvioidan”, ”havaitaan” ja ”pannaan merkille”, ”uskotaan” ja ”luullaan”, mutta ei tarjota muuta vakavasti otettavaa perustaa sille, että sosiaalisen median veto olisi Suomessakin hiipumassa. Aiheen uutisointi kertonee mediamustasukkaisuudesta, siitä että perinteinen media, lehdet ja televisio haluaisivat, että ihmiset lukisivat ja katsoisivat niitä, eivätkä roikkuisi sosiaalisessa mediassa.

  3. En mene sanomaan että Gartnerin tutkimus olisi otannaltaan luotettava, mutta ei se aivan noin epäluotettavakaan ole kuin annat ymmärtää. Tuo keskimjäärinen 9,2 vastaajja / ikäluokka / maa on pieni luku, mutta sitä ei olekaan tarpeen käsitellä täysin erillisenä toisistaan riippumattomina ja atomisoituna joukkona. Voidaan olettaa (vaikkei Gartner tätä kerrokaan) että esim. suomalaisten 25v vastaajien näkemykset ovat saman suunatisia kuin 27v ruotsalaisten. Ikäluokkia ei tarvitse rajata vain saman vuonna synynesiin ja eri maidenkin välillä lienee erojen lisäksi myös samankaltaisuuksia. Tällaiset luokittelut voidaan tehdä vasta aineiston analyysin yhteydessä sen mukaan, minkä mukaan tilastollisesti merkittäviä eroja ja samankankaltaisuuksia ilmenee. esim. pohjoismaiset dginatiivit ja Etelä-Eurooppaliset eläkelaiset. Maa- ja ikäluokkajakaumat olisi toki ollut asiallista ilmoittaa.


Vastaa

Täytä tietosi alle tai klikkaa kuvaketta kirjautuaksesi sisään:

WordPress.com-logo

Olet kommentoimassa WordPress.com -tilin nimissä. Log Out / Muuta )

Twitter-kuva

Olet kommentoimassa Twitter -tilin nimissä. Log Out / Muuta )

Facebook-kuva

Olet kommentoimassa Facebook -tilin nimissä. Log Out / Muuta )

Google+ photo

Olet kommentoimassa Google+ -tilin nimissä. Log Out / Muuta )

Muodostetaan yhteyttä palveluun %s


%d bloggers like this: