Strukturoituihin kyselylomakkeisiin perustuvien tutkimustulosten reliabiliteetti riippuu huomattavassa määrin siitä, kuinka onnistuneesti kysymykset ja niiden vastausvaihtoehdot kattavat tutkimuskohteet. Vaihtoehtojen onnistuneisuus riippuu erityisesti kahdesta asiasta: siitä kuinka laaja-alaisesti ja tasapainoisesti vastausvaihtoehdot kattavat tutkittavan ilmiön, ja kuinka hyvin ne tukevat perusteiltaan yhtenevää vastaamistapaa. Viimeksi mainittu edellyttää yleensä sitä, että vastausvaihtoehdot eivät sisällä vastauksia muihin kuin kysyttyyn kysymykseen, ja että vaihtoehdot ovat toisensa poissulkevia.
Toisensa poissulkevuuden kriteeri jää noudattamatta tyypillisesti silloin, kun numeerisesti määritellyt vastausvaihtoehdot ovat jääneet päällekkäisiksi. Näin on esimerkissä 10a ja tarkkaan ottaen myös esimerkin 10b asukasmääriin perustuvassa kuntakokoluokituksessa:
Esimerkki 10a:
Kuinka monena päivänä viikossa seuraat
televisiosta kotimaisia viihdesarjoja?
1 Kerran viikossa
2 2-3 krt viikossa
3 3-5 krt viikossa
4 5-7 krt viikossa
Esimerkki 10b:
Mikä on kotikuntanne nykyinen asukasmäärä?
1 - 5000 asukasta
2 5000 - 10000 asukasta
3 10000 - 50000 asukasta
4 50000 - 100000 asukasta
5 100000 asukasta tai enemmän
Kysymysten vastausvaihtoehtojen taitekohdat tulisi määritellä yksikäsitteisesti siten, että tasaluvut eivät kuulu kahteen eri luokkaan. Esimerkissä 10a on lisäksi ilmeistä, että mainitun asian mittaaminen päivinä viikossa ei välttämättä ole tarkoituksenmukaisin mittayksikkö, ja että kysymyksen ja vastausvaihtoehtojen välillä on muutakin ristiriitaa. Mikä voisi olla soveltuvampi tapa mitata kotimaisten viihdeohjelmien katselumäärää?
Sanallisesti määriä kuvailevissa luokituksissa ovat usein ongelmana myös taitekohtien katvealueet, ei pelkästään vaihtoehtojen päällekkäisyys. Esimerkissä 10c esiintyy kuitenkin molempia, joskaan kummassakaan tapauksessa puutteet eivät ole suuria. Oletetaan, että tutkija haluaisi selvittää tietyn radiokanavan uutislähetysten keskimääräistä kuuntelemisaktiivisuutta viimeksi kuluneiden 12 kuukauden ajalta, ja että hän laatisi mittaria varten seuraavan vastausskaalan:
Esimerkki 10c:
1 Useita kertoja päivässä
2 Päivittäin
3 Muutaman kerran viikossa mutta en päivittäin
4 Kerran pari viikossa
5 Kerran pari kuukaudessa
6 Harvemmin tai en koskaan
Vaihtoehtojen 1 ja 2 välillä on toki koko vastausskaalaa ajatellen selvä eroavuus: luultavasti useimmat vastaajat ymmärtäisivät äärivaihtoehdon 'useita kertoja päivässä' siten, että se kuvaa vähintään kahdesti päivässä tapahtuvaa asiaa. 'Päivittäin' -vaihtoehto ei sitä vastoin rajaa asiaa määrällisesti yhtä selvästi, joskin luultavasti useimmat vastaajat ymmärtäisivät sen vaihtoehtojen 1 ja 3 väliin sijoittuvaksi, vain kerran päivässä tapahtuvaksi asiaksi. Pilkuntarkasti tarkasteltuna vaihtoehdoilla 1 ja 2 on näin muotoiltuina päällekkäisyysriski, joten 'päivittäin' voitaisiin korjata esimerkiksi vaihtoehdolla 'kerran päivässä'.
Mittaamisen katvealueet jäävät tässä vastausskaalassa selvimmin vaihtoehtojen 4 ja 5 väliin. Esimerkiksi kolme kertaa kuukaudessa on vähemmän kuin kerran viikossa mutta joidenkin mielestä enemmän kuin pari kertaa kuukaudessa. Pitäisikö vastausvaihtoehdot muuttaa kokonaan numeerisiksi tai yhdistää vahvemmin numeerista ja sanallista kuvailua?
Skaalan muuttaminen kokonaan numeeriseksi voisi olla hankalaa, koska ihmiset ovat tottuneet puhumaan ja ajattelemaan pitkän ajan kuluessa tapahtuvaa toimintaa päiviin, viikkoihin ja kuukausiin väljemmin liittyvillä termeillä. Muistinvaraisia asioita ei pidä myöskään kysyä liian tarkasti, koska silloin vastaaminen käy hankalaksi, ja se voi puolestaan vaikuttaa vastausprosenttiin. Kompromissiratkaisun voisi tarjota seuraava vaihtoehtolista. Tosin siihen ei liene yhtä helppoa vastata kuin edelliseen esimerkkiin.
Esimerkki 10d:
1 Ainakin kahdesti päivässä
2 Noin kerran päivässä
3 Noin 4-6 kertaa viikossa
4 Noin 1-3 kertaa viikossa
5 Noin 1-3 kertaa kuukaudessa
6 Harvemmin tai en koskaan
Eksaktin kvantitatiivisesti määriteltyjen vastausvaihtoehtojen mittareissa on yleensä verraten yksinkertaista muodostaa toisensa poissulkevia vastausvaihtoehtoja. Sanallisia vaihtoehtoja käytettäessä sisällöllisesti tarkoituksenmukaisten ja teknisesti toimivien skaalojen rakentaminen on huomattavasti työläämpää. Seuraava esimerkki ilmentää useita asiaan liittyviä tyypillisiä ongelmia silloin, kun lyhyt kysymys ryöstäytyy vaihtoehtojensa kautta aiottua monialaisemmaksi:
Esimerkki 10e:
Autojen pysäköintitilaa keskustassa
1 On nykyisellään sopivasti
2 On vähennettävä, jotta saadaan
tilaa muille toiminnoille
3 On rakennettava maan päälle
4 Tulee rakentaa maan alle vähentämättä
maanpäällisiä pysäköintipaikkoja
5 Tulee siirtää maan alle siten, että samalla
vähennetään maanpäällisiä pysäköintipaikkoja
Oheisen kysymyksen ongelma on siinä, että yhteen ja samaan kysymykseen on ahdettu liian monen kysymyksen eväät. Tällaisessa tapauksessa vaihtoehdot eivät juurikaan voi muodostua toisensa poissulkeviksi, eikä kysymyksellä muutoinkaan saada tasapainoista kuvaa sen sisältämiin asioihin liittyvistä mielipiteistä. Kysymyksessähän ollaan kiinnostuneita ainakin siitä, mitä vastaajat ajattelevat
Kysymys tulisikin jakaa osiin ja muodostaa tarvittaessa aihealueita koskevia erillisiä kysymyksiä toimivine vastausvaihtoehtoineen. Tämä neuvo pätee hyvin usein niihin tilanteisiin, joissa kysymyksestä tuntuu olevan vaikeata muodostaa tasapainoista ja vaihtoehdoiltaan toisensa poissulkevaa skaalaa.