Tässä esitetään kootusti ne esimerkit joihin jo viitattiin tekstin yhteydessä.

Esimerkit

1. Lomakkeen laajuus ja ulkoasu

Laajuudeltaan ja ulkoasultaan malliksi kelpaavia lomakkeita on esimerkiksi Elinkeinoelämän valtuuskunnan eli EVA:n kyselyissä. Niissä on tosin alusta pitäen tähdätty tiiviiseen, barometrityyppiseen raportointiin. Esim:

• FSD1051 EVAn EU-asennetutkimus 1999
• FSD2356 EVAn EU-asennetutkimus 2007
• FSD1079 EVAn kansallinen asennetutkimus 1984
• FSD2430 EVAn kansallinen asennetutkimus 2009

Akateemisten tutkimushankkeiden suunnittelemissa kyselyissä lomakkeet laajenevat usein pidemmiksi. Suomen ISSP-aineistoissa käytetyt lomakkeet ovat jo lähellä ihannemitan maksimia. Esim:

• FSD0115 ISSP 2000: ympäristö II: Suomen aineisto
• FSD2514 ISSP 2009: eriarvoisuus IV: Suomen aineisto

HUOM! Kyselylomakkeiden katselu edellyttää, että käyttäjän työasemalta löytyy Adobe Acrobat Reader tai vastaava PDF-dokumenttien lukuohjelma.

2. Vastaamisen yhteismitalliset arviointiperusteet

Kuvitellaan, että jokin organisaatio haluaisi selvittää sisäisen tiedonkulkunsa toimivuutta, ja että se päätyisi mittaamaan asiaa vain seuraavalla kysymyksellä:

Millaisia ongelmia tähän kysymykseen vastaamisessa ja saaduissa tuloksissa voisi ilmetä? Ensimmäinen pulma voi olla, ajattelevatko vastaajat tilannetta yleensä vai tiedonsaantia vain omalta osaltaan. Yleensä mielipidekyselyissä on tarkoituksenmukaista muotoilla kysymykset siten, että niissä tiedustellaan vastaajan omakohtaista mielipidettä. Mikäli mielipiteet koskevat asioita, joista vastaajalla on omakohtaista kokemusta, kysymys kannattaa kohdentaa tähän kokemukseen.

Esimerkissä olisi myös syytä tiedustella sisäiseen tiedonkulkuun liittyviä asioita aiheryhmiin jaoteltuna (vrt. kysymyksen suluissa mainitut asiat). Olisi voitu kysyä, kuinka paljon vastaajat ovat tekemisissä kunkin osa-alueen kanssa ja mitä mieltä he ovat kuhunkin seikkaan liittyvästä tiedonsaannista.

Toinen ongelma liittyy siihen, millä tavoin kyselyssä pyritään tuottamaan yleistävää tietoa useista osa-alueista koostuvista kokonaisuuksista. Suhteellisen yksityiskohtainen asiakokonaisuuksien osiin jakaminen on suotavaa edellyttäen, että kysely ei laajene liikaa. Yleistävä kokonaiskuva on sitten jälkeenpäin mahdollista koota yhdistämällä yksittäisten kysymysten tuloksia esimerkiksi summamuuttujilla. On huomattava, että nyt esimerkkikysymyksen sisällöllisessä täsmennyksessä esitetään useita aiheita. Ne voivat painottua eri tavoin vastaajien arvioinneissa.

Voidaan myös kysyä, onko sisäisestä toiminnasta tarjolla olevan tiedon määrä ainoa olennainen arvioinnin kohde. Nyt kysymyksen eri osissa puhutaan ensin tiedonsaannista, mutta vastausvaihtoehtoihin johtavassa osassa kapeammin ensin vain 'tarjolla olemisesta' ja sitten vastausvaihtoehdot liitetään vain tietojen tarjolla olemisen riittävyyteen.

Tällaiset epäjohdonmukaisuudet saattavat johtaa siihen, että kysymyksiin vastataan ei-toivotulla tavalla erilaisin arviointiperustein. Vastaamisperusteiden yhteismitallisuus on koetteilla tavanomaisesti myös silloin, kun kysymykset tai vastausvaihtoehdot ovat liian pitkiä tai vaikeaselkoisia. Ylipitkät kysymyslauseet sisältävät herkästi enemmän kuin yhden kysymyksen ja juuri siksi ne tulisi jakaa osiin tai keskittyä kysymään vain olennaisinta asiaa.

3. Esimerkkejä sinuttelevista ja teitittelevistä lomakkeista

• Sinuttelu: FSD1027 Nuoret ja eduskuntavaalit 1999 ja FSD2346 Nuorten miesten rikollisuuskysely 2006
• Teitittely: FSD1045 Ammattirakenteen ja sosiaalisen aseman muutos 1994 ja FSD2502 Turvallisuustutkimus 2009

4. Mittaamisen näennäistarkkuus

Eräässä tutkimuksessa vastaajia pyydettiin kuvaamaan lämpömittariasteikolla -50 ... +50 suhtautumistaan yhteiskunnallisiin ryhmiin ja tahoihin. Vastaavantyyppinen asenneskaala esiintyy joissakin muissa tutkimuksissa hieman erilaisella asteikolla nollasta sataan (0-100). Monet vastaajat eivät kuitenkaan käyttäneet lainkaan mielellään asteikon negatiivisia arvoja vaan arvioivat ryhmiä lähinnä välillä 0 ... +50. Toiset vastaajat taas käyttivät skaalaa koko laajuudessaan, mikä heikensi tulosten luotettavuutta.

Joskus suhtautumista joihinkin asioihin pyydetään ilmaisemaan sijoittamalla oma kanta ainakin näennäisesti ei-numeeriselle ulottuvuudelle, jolla on sanoin nimetyt ääripäät:

Esimerkiksi:

Janoille merkityt vastaukset olisi mahdollista koodata jopa millimetrin tarkkuudella. Mutta kertoisivatko itsesijoitukset vastaajan suhtautumisesta tarkemmin kuin vastaukset esimerkiksi viisiportaiseen sanalliseen skaalaan? Ainakin hyvin tiheän skaalan käyttäminen lisää erilaisten vastaamistapojen riskiä.

5. Avoin kysymys

Täysin avoin kysymys voi koskea hyvinkin laaja-alaista aihealuetta, kuten suhtautumisen tai toiminnan vapaamuotoisia perusteluja tai jonkin muun asian vapaamuotoista arviointia. Esimerkiksi:

Tutkija voi halutessaan lisätä avoimeen kysymykseen myös erilaisia täsmentäviä vastausohjeita; esim. "arvioi asiaa ... siitä ja siitä ... näkökulmasta". Mikäli avoimeen kysymykseen on odotettavissa paljon erilaisia mainintoja samalta vastaajalta, voi täsmennys koskea lueteltavien asioiden määrää, esimerkiksi "mainitse korkeintaan niin ja niin monta kohtaa". Myös itse kysymyslauseeseen voi liittää erilaisia rajauksia, kuten pyynnön mainita vain tärkein tai tärkeimpiä asioita.

Puoliavoimeen kysymykseen voidaan yhdistää strukturoitu ja avoin osuus. Ensin voidaan esimerkiksi kysyä jotakin vastausvaihtoehdoilla kyllä/ei ja pyytää perustelemaan vastaus avoimella kysymyksellä. Perustelujen tivaaminen vain strukturoidun kysymyksen tiettyyn vastauskategoriaan vastanneilta on kuitenkin usein johdattelevaa. Mikäli lomakkeessa pyydetään esimerkiksi perustelemaan vain kielteisiä vastauksia, ovat kysymykset (ja tutkimuksen tavoitteetkin) herkästi epätasapainoisia. [Ks. kohdan 11 esimerkit]

Avointa kysymyksenasettelua voidaan käyttää myös silloin, kun lomakkeessa ei tilanpuutteen vuoksi ole mahdollista luetella kaikkia vaihtoehtoja (esim. vastaajan asuinkunta). Mikäli vastausvaihtoehtojen listasta voi tehdä liitteen lomakkeeseen, vastaajaa on mahdollista pyytää merkitsemään vastauskenttään oikeaa vaihtoehtoa vastaava numero. Esimerkiksi verkkokyselyihin verrattuna tilaa vievien lisätietojen antaminen on postikyselyissä hankalaa.
[Ks. myös avointen kysymysten koodaus]

6. Vastausohjeet

6a Lomakkeen alun yleinen vastausohje

Kyselyyn vastaamiseen liittyviä yleisiä asioita kuten saatteita käsitellään tietovarannon kohdassa postikyselyn toteuttaminen. Kyselylomakkeen alkuun on syytä aina suotavaa liittää seuraavan esimerkin tapainen yleinen vastausohje.

(Lähde: FSD0115 ISSP 2000: Suomen aineisto.)

6b Sisällölliset ja tekniset täsmennykset

Seuraavassa kysymysluonnoksessa on useita sisällöllisiä ja teknisiä täsmennyksiä. Luottamustehtävissä toimimisen ajankohta ja huomion kiinnittäminen vain varsinaisiin jäsenyyksiin ovat sisällöllisiä täsmennyksiä. Teknisiä vastausohjeita ovat mm. A- ja B-kysymysten erottaminen toisistaan mainitsemalla asteikkojen erot sekä se, että B-kysymykseen vastataan oikeanpuoleisessa sarakkeessa olevilla numeroilla.

Oikean vastauspaikan osoittaminen onnistuu moniosaisen kysymyksen sisällä kysymystekstiin rakennetuin sanallisin täsmennyksin (vrt. edellinen kaksiosainen esimerkkikysymys). Vastaajien siirtäminen kysymysten yli seuraaviin kysymyksiin (eli ns. hypyt) on merkittävä kyselylomakkeeseen riittävän näkyvästi.

Lähtökysymyksessä siirto voidaan merkitä tiettyjen vastausvaihtoehtojen perään...

tai kirjoittaa siirtoa koskeva huomautus kysymyksen jälkeen...

Ennen tulokysymystä voi olla jälleen tarpeellista huomauttaa lomakkeessa siitä, että kaikki vastaavat seuraavaan kysymykseen. Oikean vastauspaikan selkeä osoittaminen on siis erittäin tärkeätä erityisesti kirjekyselyissä, joissa vastaajalla ei yleensä ole käytettävissään muita kuin kirjallisia vastausohjeita. Käyntikyselyissä asia voidaan hoitaa haastattelijan toimesta ja esimerkiksi puhelin- ja verkkokyselyissä hypyt voidaan automatisoida lomakkeeseen.

7. Monivalintakysymys dikotomisin vastausvaihtoehdoin

Dikotomisia eli kahden vastausvaihtoehdon monivalintakysymyksiä käytetään muun muassa selvitettäessä erilaisten toimintojen käyttöä ja tuntemusta, tai valittaessa lukuisista eri ominaisuuksista soveltuvimpia. Koska vastausvaihtoehdoiltaan dikotomisiin monivalintakysymyksiin on suhteellisen nopeaa vastata, niitä käytetään runsaasti myös erilaisten asioiden karkean tärkeysjärjestyksen kartoittamiseen.

Ideana on, että vastaajat arvioivat kutakin yksittäistä asiaa joko kyllä/ei -skaalalla tai merkitsevät esimerkiksi vastausruutuihin kaikki kysymykseen tulevat kohdat. Tuloksia koottaessa useimmin mainitut tulkitaan vastaajille keskimäärin tärkeimmiksi. Esimerkiksi Euroopan unionin komission teettämät eurobarometrit sisältävät runsaasti seuraavan esimerkin kaltaisia monivalintakysymyksiä dikotomisin vastausvaihtoehdoin:

8. Monivalintakysymys rajatuin vastausmäärin

Kaikista monivalintakysymyksen yksittäisistä kohdista ei ole pakko tehdä data-aineistoon omia muuttujia. On myös mahdollista pyytää vastaajia mainitsemaan suurestakin arvioitavien asioiden joukosta korkeintaan tietty määrä asioita. Tällöin vastaukset voidaan tallentaa korkeintaan siihen määrään muuttujia kuin vastaajia on pyydetty nimeämään asioita. Seuraavan esimerkin vastaukset voitaisiin tallentaa kolmeen muuttujaan arvoilla 1-10. (Käytännössä kukin tavoite siis voitaisiin koodata myös omaan muuttujaan, mutta silloin datatiedoston tallentamistyön määrä kasvaisi.)

9. Järjestyslukuasteikolliset monivalintakysymykset

Tutkijan on usein saatava monivalintakysymyksellään dikotomisia vastausvaihtoehtoja tarkempaa tietoa. Silloin vastaajia voi pyytää asettamaan arvioitavia asioita tärkeysjärjestykseen. Kun asioita on paljon, esimerkiksi kymmeniä, on harvoin kuitenkaan järkevää pyytää vastaajaa asettamaan kaikki vastaukset preferenssijärjestykseen. Tavanomaista on tiedustella kolmesta viiteen tärkeintä asiaa ja teknisesti tämän voi toteuttaa monin eri tavoin. Joka tapauksessa vastaamisessa käytettävät merkinnät on ohjeistettava riittävän yksityiskohtaisesti.

Pari esimerkkiluonnosta:

tai

Vertailevassa sosiaalitutkimuksessa on käytetty täydelliseen tärkeysjärjestykseen perustuvaa mittaamistapaa muun muassa kartoitettaessa ihmisten arvostuksia. Yleensä ottaen preferenssikysymysten käyttö on tarkoituksenmukaista silloin kun arvioitavat asiat ovat vastaajille riittävän tuttuja. Näin lienee asian laita ainakin arvostuksiin ja ajankäyttöön liittyvien asioiden kohdalla. Suhtautumista hyvin abstrakteihin asioihin ei kannattane mitata liian tarkoin preferenssimittauksin.

Vastaajien itse täyttämissä lomakkeissa on ongelmana myös se, että vastaajat eivät aina noudata vastausohjeita; merkintöjä tehdään enemmän kuin on pyydetty tai järjestyslukuja ei käytetä kuten on ohjeistettu. Tämä aiheuttaa ongelmia erityisesti lomakkeiden tallennusvaiheessa ja saattaa vääristää tuloksia osioiden alkupäässä mainittujen asioiden hyväksi. Tällaisia ongelmia voidaan vähentää suunnittelemalla lomakkeiden tallennus siten, että virheellisesti täytettyjä lomakkeita kohdellaan eri asiasisältöjen kannalta tasapuolisesti.

10. Toisensa poissulkevat vastausvaihtoehdot

Strukturoituihin kyselylomakkeisiin perustuvien tutkimustulosten reliabiliteetti riippuu huomattavassa määrin siitä, kuinka onnistuneesti kysymykset ja niiden vastausvaihtoehdot kattavat tutkimuskohteet. Vaihtoehtojen onnistuneisuus riippuu erityisesti kahdesta asiasta: siitä kuinka laaja-alaisesti ja tasapainoisesti vastausvaihtoehdot kattavat tutkittavan ilmiön, ja kuinka hyvin ne tukevat perusteiltaan yhtenevää vastaamistapaa. Viimeksi mainittu edellyttää yleensä sitä, että vastausvaihtoehdot eivät sisällä vastauksia muihin kuin kysyttyyn kysymykseen, ja että vaihtoehdot ovat toisensa poissulkevia.

Toisensa poissulkevuuden kriteeri jää noudattamatta tyypillisesti silloin, kun numeerisesti määritellyt vastausvaihtoehdot ovat jääneet päällekkäisiksi. Näin on esimerkissä 10a ja tarkkaan ottaen myös esimerkin 10b asukasmääriin perustuvassa kuntakokoluokituksessa:

Esimerkki 10a:

Esimerkki 10b:

Kysymysten vastausvaihtoehtojen taitekohdat tulisi määritellä yksikäsitteisesti siten, että tasaluvut eivät kuulu kahteen eri luokkaan. Esimerkissä 10a on lisäksi ilmeistä, että mainitun asian mittaaminen päivinä viikossa ei välttämättä ole tarkoituksenmukaisin mittayksikkö, ja että kysymyksen ja vastausvaihtoehtojen välillä on muutakin ristiriitaa. Mikä voisi olla soveltuvampi tapa mitata kotimaisten viihdeohjelmien katselumäärää?

Sanallisesti määriä kuvailevissa luokituksissa ovat usein ongelmana myös taitekohtien katvealueet, ei pelkästään vaihtoehtojen päällekkäisyys. Esimerkissä 10c esiintyy kuitenkin molempia, joskaan kummassakaan tapauksessa puutteet eivät ole suuria. Oletetaan, että tutkija haluaisi selvittää tietyn radiokanavan uutislähetysten keskimääräistä kuuntelemisaktiivisuutta viimeksi kuluneiden 12 kuukauden ajalta, ja että hän laatisi mittaria varten seuraavan vastausskaalan:

Esimerkki 10c:

Vaihtoehtojen 1 ja 2 välillä on toki koko vastausskaalaa ajatellen selvä eroavuus: luultavasti useimmat vastaajat ymmärtäisivät äärivaihtoehdon 'useita kertoja päivässä' siten, että se kuvaa vähintään kahdesti päivässä tapahtuvaa asiaa. 'Päivittäin' -vaihtoehto ei sitä vastoin rajaa asiaa määrällisesti yhtä selvästi, joskin luultavasti useimmat vastaajat ymmärtäisivät sen vaihtoehtojen 1 ja 3 väliin sijoittuvaksi, vain kerran päivässä tapahtuvaksi asiaksi. Pilkuntarkasti tarkasteltuna vaihtoehdoilla 1 ja 2 on näin muotoiltuina päällekkäisyysriski, joten 'päivittäin' voitaisiin korjata esimerkiksi vaihtoehdolla 'kerran päivässä'.

Mittaamisen katvealueet jäävät tässä vastausskaalassa selvimmin vaihtoehtojen 4 ja 5 väliin. Esimerkiksi kolme kertaa kuukaudessa on vähemmän kuin kerran viikossa mutta joidenkin mielestä enemmän kuin pari kertaa kuukaudessa. Pitäisikö vastausvaihtoehdot muuttaa kokonaan numeerisiksi tai yhdistää vahvemmin numeerista ja sanallista kuvailua?

Skaalan muuttaminen kokonaan numeeriseksi voisi olla hankalaa, koska ihmiset ovat tottuneet puhumaan ja ajattelemaan pitkän ajan kuluessa tapahtuvaa toimintaa päiviin, viikkoihin ja kuukausiin väljemmin liittyvillä termeillä. Muistinvaraisia asioita ei pidä myöskään kysyä liian tarkasti, koska silloin vastaaminen käy hankalaksi, ja se voi puolestaan vaikuttaa vastausprosenttiin. Kompromissiratkaisun voisi tarjota seuraava vaihtoehtolista. Tosin siihen ei liene yhtä helppoa vastata kuin edelliseen esimerkkiin.

Esimerkki 10d:

Eksaktin kvantitatiivisesti määriteltyjen vastausvaihtoehtojen mittareissa on yleensä verraten yksinkertaista muodostaa toisensa poissulkevia vastausvaihtoehtoja. Sanallisia vaihtoehtoja käytettäessä sisällöllisesti tarkoituksenmukaisten ja teknisesti toimivien skaalojen rakentaminen on huomattavasti työläämpää. Seuraava esimerkki ilmentää useita asiaan liittyviä tyypillisiä ongelmia silloin, kun lyhyt kysymys ryöstäytyy vaihtoehtojensa kautta aiottua monialaisemmaksi:

Esimerkki 10e:

Oheisen kysymyksen ongelma on siinä, että yhteen ja samaan kysymykseen on ahdettu liian monen kysymyksen eväät. Tällaisessa tapauksessa vaihtoehdot eivät juurikaan voi muodostua toisensa poissulkeviksi, eikä kysymyksellä muutoinkaan saada tasapainoista kuvaa sen sisältämiin asioihin liittyvistä mielipiteistä. Kysymyksessähän ollaan kiinnostuneita ainakin siitä, mitä vastaajat ajattelevat

• keskustan pysäköintitilojen nykyisestä määrästä yleensä (vaihtoehto 1),
• tarpeesta saada tilaa muille toiminnoille keskustassa (vaihtoehto 2),
• keskustan pysäköintitilojen rakentamistarpeesta ja tarkemmasta sijainnista (vaihtoehdot 3, 4 ja 5)
• keskustan maanpäällisten tilojen määrästä (vaihtoehdot 4 ja 5),
• keskustan pysäköintitilojen rakentamistarpeesta maan alle (vaihtoehdot 4 ja 5) sekä
• tarpeesta käsitellä keskustan pysäköintitilojen rakentamista kokonaisuutena, jossa uusien paikkojen rakentaminen voisi vaikuttaa olemassa olevien paikkojen määrään (vaihtoehdot 4 ja 5).

Kysymys tulisikin jakaa osiin ja muodostaa tarvittaessa aihealueita koskevia erillisiä kysymyksiä toimivine vastausvaihtoehtoineen. Tämä neuvo pätee hyvin usein niihin tilanteisiin, joissa kysymyksestä tuntuu olevan vaikeata muodostaa tasapainoista ja vaihtoehdoiltaan toisensa poissulkevaa skaalaa.

11. Johdattelevat ja epätasapainoiset kysymykset

Kyselytutkimuksen tulokset ovat hyvin konkreettisesti sidoksissa kysymyksenasetteluun. Saadakseen tieteellisesti päteviä tuloksia tutkijan tulee suunnitella lomakkeen kysymykset siten, että kysymyslauseet ja vastausvaihtoehdot muodostuvat riittävän kattaviksi ja tasapainoisiksi, unohtamatta kuitenkaan riittävää tiiviyttä ja sanavalintojen yksinkertaisuutta.

Seuraavassa muutama esimerkki tyypillisesti epätasapainoisista kysymyksistä ja niiden vastausvaihtoehdoista:

11a:

11b:

11c:

Sarjan kaikkia kolmea kysymystä yhdistää se, että vastauksen suunta ikään kuin oletetaan ja annetaan jo kysymyslauseessa. Tasapainoinen kysymyksenasettelu keskittyisi käsityksiin talvien keskimääräisestä lämpötilasta, ministerin toimien arvioinnista eroamismahdollisuuden ja työssä jatkamisen näkökulmasta, sekä siihen, missä määrin jäsenkunnan mielipiteet ovat tulleet huomioon otetuiksi järjestön toiminnassa. Vastausvaihtoehtojen tulisi tällöin vaihdella keskimäärää kylmemmästä keskimäärää lämpimämpään, työstä eroamisesta työssä jatkamiseen ja täysin riittävästä huomioon ottamisesta täysin riittämättömään huomioon ottamiseen.

Käytännössäkin valitettavan yleinen johdattelukeino on jättää kysymättä esimerkiksi kyselyn teettäjälle epäedullisia asioita tai painottaa ja täsmentää kysymysten sisältöalueita tarkoitushakuisesti. Paljon yleisempää lienee kuitenkin johdattelevien kysymysten laatiminen tiedostamatta niiden epätasapainoisuutta.

Nyrkkisääntö 1: Asenteita mittaavissa kysymyksissä tasapainoisen vastausasteikon tulee yleensä sisältää kaksi toisilleen vastakohtaista ääripäätä sekä neutraali vastausvaihtoehto.

Nyrkkisääntö 2: Kysymyslauseen tulee yleensä sisältää viittauksia joko molempiin vastausskaalan ääripäihin tai ei kumpaakaan niistä.

Esimerkiksi:

tai