Valiidsus ja reliaablus

 

Autor: Judit Strömpl

Kuidas hinnata uurimuses kasutatavaid meetodeid ja uurimuse kvaliteedi üldiselt – on küsimus, millega tuleb tegeleda uurimuse käigus pidevalt, aga eriti selle lõppfaasis – aruande esitamisel. Lugejaskonda ja uurimuse hindajaid tuleb veenda, et tegemist on teadusliku tööga, mille käigus saavutati uus ja usaldusväärne teadmine. Peame näitama, et uurimisteema, uurimisprobleem ja eesmärk, meetodivalik ja analüüs on omavahel kooskõlas, loogiliselt ja sihipäraselt seotud. Tuleb näidata, et uurimus kuulub teadusliku tegevuse raamidesse, mida võimaldab teoreetiline raamistik, dialoog teiste sama/sarnase teema uurijatega, metoodika kasutajatega. Uurimisprotsessi tulemused ja järeldused peavad olema tõendatud. Uurimuse kvaliteedi hindamine peab vastama igal juhul eelpool nimetatud kriteeriumidele. Samas realiseerimine võib mingil määral erineda vastavalt teoreetilis-metodoloogilisele paradigmale, milles konkreetne uurimus on teostatud.

Traditsiooniliselt toimub sotsiaalteaduslike uurimuste metoodika kvaliteedi hindamine valiidsuse (tõesus või kehtivus) ja reliaabluse (üldistatavus) hindamise kaudu. Mõlemad mõisted on seotud mõõtmisega ja kuuluvad eelkõige kvantitatiivse uurimisviisi juurde. Valiidsuse ja reliaabluse hindamise eesmärk on hinnata uurimistulemuste vastavust uuritavale objektile/fenomenile. Kas  uurimuses kasutatav metoodika võimaldab saada tõepärast/adekvaatset informatsiooni uuritavast objektist? Kas valitud metoodika vastab uurimiseesmärgile ja lahendab uurimisprobleemi? Kas kasutatud meetodite abil on võimalik vastata uurimisküsimustele või testida hüpoteese? Kas saadud teadmine uuritavast objektist/fenomenist on sõltumatu ajast ja uurijast? Välja arvatud viimast küsimust, kõik eelnevad on asjakohased nii kvalitatiivse kui kvantitatiivse uurimisviisi puhul sõltumata paradigmaatilistest erinevustest. Tõsi, uurimisobjekti määratlemine on erinev eri paradigmades. Positivistlikus paradigmas uurimuse eesmärk on kirjeldada, avastada, seletada objekti sisemiselt omase olemuse, sel ajal kui kõik teised paradigmad on teadlikud sellest, et objekt on uuritav vaid selle representatsioonide kaudu, ehk objekti olemusest pole võimalik otse teada saada, vaid ainult inimeste tõlgenduste kaudu. Nii et erinevus on selles, et kui positivist keskendub uurimismeetodite väljatöötamisel küsimusele, kuidas inimeste hinnangud, tõlgendused kajastavad objektide olemust tõeselt, siis teised paradigmad hindavad inimeste tõlgendusi tõesteks või ebaadekvaatseteks, sest arvavad, et objekti „olemus“ iseenesest sõltub nendest inimestest, kes seda kogevad või (taas)toodavad (rekonstrueerivad).

Kvalitatiivseid meetodeid kasutame sarnaselt kvantitatiivsega eesmärgil tundma õppida uurimiseks valitud objekti/fenomeni ehk saada võimalikult adekvaatset ja tõest teadmist. Iga uurija teeb oma valikut põhjendatult, s.t hindab valikuvõimalused ning valib teadlikult olemasolevate meetodite hulgast kõige sobivamat antud objekti/fenomeni uurimiseks. Näiteks, kui meid huvitavad sihtgrupi kuuluvate inimeste kogemused uuritava fenomeniga, kui meid huvitab subjektiivne perspektiiv – inimeste argielu toimingud, igapäevased suhted ja interaktsioonid, siis õige on valida kvalitatiivsete meetodite hulgast – kvalitatiivne intervjuu, vaatlus, kirjalikud tekstid, osalejate poolt loodud materjalid, k.a fotod, videod jne. Need meetodid võimaldavad saada teadmisi sihtgrupi kuuluvate inimeste subjektiivse perspektiivi kohta, mitte uuritava nähtuse subjektist sõltumata olemuse kohta. Sel juhul oleme teadlikud, et me ei uuri objekti seesmist olemust, vaid selle ühe võimaliku representatsiooni, mida esitab sihtgrupi kuuluvad inimesed. Kogutud materjal – intervjuude transkriptsioonid, vaatlusmärkmed, muud tekstilised ja visuaalsed materjalid – tuleb hinnata nende sobivusest olla tõendiks. Intervjuus antud informatsioon, vaatluse ajal kogetud ja kirja pandud või videona salvestatud materjali käsitletakse tõenditeks.

Valiidsuse hindamisel kvalitatiivse uurimisviisi puhul soovitab Michael Patton (Patton 2002) mõelda järgmistele küsimustele:

• Kas andmed on kogutud korrektselt ehk vastavalt uurimuse eesmärgile?
• Kas andmeid on piisavalt?
• Kas uurimuse käigus kogutud andmed on tõesed?
• Kas osalejad olid pädevad informandid?
• Kas analüüsitud tekstid olid sobivad teema uurimiseks?
• Kas analüüs põhineb andmetel?
• Kas järeldused on tehtud analüüsi alusel?

Reliaablusega seotud nõuded ehk uurimuse korratavus ja sõltumatus uurijast – kutsuvad esile erinevaid reaktsioone kvalitatiivse metoodika kasutajatelt. Reliaabluse kasutamine kvalitatiivses uurimuses muutus ajas ka. Kui 1970ndates, 1980ndates olid uurijad, nt põhistatud teooria arendajad (nt Strauss 1987), arvasid, et sama sihtrühmaga tehtus sama meetodil kogutud andmed või et sama andmestiku korduskodeerimine või erinevate uurijate poolt teostatud kodeerimine peavad andma samu või vähemalt sarnaseid tulemusi. Selline arusaam reliaablusest eeldab, et sotsiaalsed nähtused, mille adekvaatsust sotsiaalteadlased uurivad kordusuuringute kaudu, ühelt poolt ei muutu ajas ning teisalt ei ole mõjutatud sellest teadmisest, mida saavutati eelneva uurimuse käigus. Reliaabluse selline mõistmine ei arvesta olulisi aspekte, mille kohta on tõendid, et sotsiaalsed nähtused muutuvad ajas ning tõlgendused ja teadmised nendest on kõige olulisemad muutuste tekitajad. Kui reliaablust mõista kui andmete usaldusväärsuse hindamist, siis see tähendab, et kontrollime andmekogumise üksikasju. Kuidas andmed olid kogutud ja salvestatud. Intervjuu puhul hindame intervjuukava küsimusi, kuidas nad võimaldavad intervjueeritavatel rääkida uuritavast teemast, kuidas intervjuu küsimused võimaldavad vastata uurimisküsimustele. Intervjuu struktureeritusest,  küsimuste kvaliteedist, vormist (nt kas personaalne, paaris või grupis planeeritakse intervjuu läbiviimist; kas suuliselt või kirjalikult; kas etteantud ajal või võimaldatakse intervjueeritaval endal valida sobivat aega vastates kirjalikult uurija poolt esitatud küsimusetele, jne.) sõltub lõpuks kogutud materjalide sisu. Kõik need põhimõtted peavad olema uurija poolt läbi mõeldud ja kirja pandud, et lugejaskond saaks hinnata uurimisprotsessi ja andmete usaldatavust.

Paljud kvalitatiivsete meetodite kasutajad kvaliteedi hindamisel kasutavad triangulatsiooni mõistet (Creswell 2003, 2007; Flick 2009; Lagerspetz 2017; Laherand 2008). Triangulatsioon on üksteisest sõltumatute vaadete kasutamine samale uurimisobjektile ning erinevate meetmete kasutamine ühes uurimuses selle usaldatavuse tõstmise eesmärgil. Uurijad toovad välja järgmised triangulatsiooni võimalusi.

• Andmete triangulatsioon – analüüsi tehakse erinevate andmete alusel, nt vaatlus, intervjuu, kirjalikud tekstid, toimikud, juhised jne.
• Uurijatriangulatsioon – uurimust viiakse läbi mitmekesi, seejuures tehakse üksteisest sõltumata otsuseid, mida hiljem omavahel arutatakse, põhjendatakse ning lõplikke valikuid tutvustatakse lugejatele.
• Teooriatriangulatsioon – samas uurimuses kasutatakse erinevaid teooriaid, hüpoteeside ja uurimisküsimusi, mis võimaldavad sama fenomeni erinevatest vaatenurkadest käsitleda.
• Metodoloogiline triangulatsioon – eri meetodite kombineerimine. Klassikaliselt kasutatakse triangulatsiooni puhul kvalitatiivsete meetodite kaudu kogutud andmete kvaliteedi testimiseks kvantitatiivseid meetodeid. Kuid võib kasutada ka erinevaid kvalitatiivseid meetodeid, nt vaatluse kõrval intervjuud ja dokumentide analüüsi.

Peale triangulatsiooni on olemas ka teised meetmed, mis võimaldavad tõsta uurimuse usutavust. Uurimistulemusi arutatakse läbi kolleegidega (uurimisseminarid), kaasüliõpilaste ja juhendajaga, kes annavad kriitilist tagasisidet.  

Väga oluliseks kriteeriumiks kvalitatiivse (ja mitte ainult kvalitatiivse) uurimus puhul on nõue, et uurija arutaks läbi oma analüüsi tulemusi ja tõlgendusi uuritavatega enne töö esitamist. Selline tagasipöördumine uuritavate juurde omab mitmeid väärtusi. Esiteks, tõstab uurija eetilist tähelepanelikkust. Kui ta peab uuritavatele näidata uurimistulemusi, analüüsib ta põhjalikumalt eetilisi dilemmasid, mis võisid uurimuse käigus kerkida. Teiseks, uurija käsitleb põhjalikumalt andmeid, püüdes sellest võimalikult adekvaatselt aru saada, mis vähendab liiga vaba tõlgendamist ehk sellist seletamist, mis ei põhine kogutud materjalil. Uurija on täpsem ja teadlikum oma tõlgendamisel. Kolmandaks on hea võtta aega ja korraks distantseeruda analüüsitavatest andmetest, sest kvalitatiivne analüüsi on keeruline ja pingeline tegevus, kus tuleb tähelepanelikult ja süstemaatiliselt tegeleda andmete töötlemise ja tõlgendamisega, mis on ühelt poolt väsitav, teisalt aga kurnav tegevus. Võib tekkida hetk, kus uurijal on raske näha olulisi ja huvitavaid detaile. Sellepärast on kasulik korraks distantseeruda andmetest, n.ö puhuta nendest, et mingi aja möödudes  värske pilguga vaadata andeid uuesti. Selline „puhkus“ andmetest on oluline ka seetõttu, et kvalitatiivsete andmete analüüsi võib olla ka emotsionaalselt kurnav, eriti kui tegemist on tundliku teemaga või haavatava grupi kogemuste uurimisega. Uurija kui sotsiaalne toimija ja empaatiline inimene reeglina tuleb kaasa nendele inimestele ning see kaastunne võib teda ennast ka kurnata. Eriti kriitilise teooria paradigma raames teostatud uuringud, kus uurija tunneb ka poliitilist vastutust sihtgrupi eluolude muutmise osas, on oluline, et uurija võtab aega maha enne kui teeb viimase otsuse enne uurimistulemuste avalikustamist.

Lõpuks kvalitatiivse uurimuse kvaliteedi hindamisel mängivad olulist rolli retsenseerimise, eriti pimeretsenseerimised, kus retsensent ei tea autorit ning selline olukord tõstab tema kriitilisust uurimisaruanne teksti suhtes. Kriitilist retsensiooni läbinud uuringute kvaliteet on kahtlemata kõrgem kui ilma retsenseerimiseta uuringud.

Uurija eneserefleksioon  kvalitatiivse uurimuse usaldatavuse tõstmisel ja kvaliteedi hindamisel

Kui positivistlik paradigma hindab uurimistulemuste sõltumatust uurijast, siis teised paradigmad, eelkõige interpretivism ja konstruktsionism on teadlikud uurija rollist kvalitatiivses ja mitte ainult kvalitatiivses uurimuses. Sellepärast on väga oluline, et uurija annaks piisavalt informatsiooni sellest, mis teda isiklikult uurimisteemaga seob ja mis toimus uurimisprotsessi ajal. Selline uurija eneserefleksioon tõstab oluliselt uurimuse usutavust lugeja silmis. Andes lugejale üksikasjaliku ja selget informatsiooni uurimisprotsessi ja tehtud valikute kohta, keskendub uurija eelkõige järgmistele seletustele:

• Kuidas ja miks just niimoodi toimus andmekogumine?
• Missugused andmetöötlusmeetodid olid kasutatud?
• Kuidas analüüs toimus?
• Mis kaalutlustel olid valitud lõplikud uurijapoolsed tõlgendused?

Kvalitatiivse uurimuse andmed on igat sorti tekstid, mis on materiaalselt fikseeritud ja alati on võimalik kontrollida analüüsi vastavust tekstile. Samas tuleb meeles pidada, et eetilistel kaalutlustel ei ole võimalik esitada aruandes kõik tõendusmaterjalid, kuna sellega võib rikkuda konfidentsiaalsuse ja anonüümsuse nõuet. Kuigi selliste faktiliste andmete esitamine oleks kõige parem viis tõendada andmete ja analüüsi vahelist seost. Siiski tuleb piirduda vaid tsitaatidega ning neid ka esitada konkreetse isikuga seostamata. Seda olulisemask muutub tsitaatide oskuslik kasutamine aruandes.

Uurija refleksiooni kaudu näitab uurija oma teadlikkust ka analüütilisest tegevusest ja mõjust uurimistulemustele. Analüüsib ka iseenda kui uurija tegevust, oma mõtteid, reaktsioone, valikuid, kahtlusi, otsuseid parima andmete tõlgendamise valiku kohta. Nt vastandlikke tõlgenduste puhul toob uurija välja neid kõiki ja põhjendab oma valikut või valikutegemisest loobumist.

Kvalitatiivses uurimuses on uurija refleksioon eriti oluline ka seetõttu, et oluline informatsioon jääb andmestikust välja, nt kuidas toimus osalejate värbamine, missugune oli üldine atmosfäär intervjuude ajal, eriti grupiintervjuude puhul on hea teada, kuidas inimesed ennast tundsid, kui vabalt või pingeliselt nad selles olukorras ennast tundsid). Enamik kvalitatiivsed andmed on loodud interaktsioonides uurija(te) ja uuringus osalejate vahel, sellepärast lisaseletus nende interaktsioonide kohta lisab usutavust analüüsi ja järelduste tegemisel.

Võttes kokku kvalitatiivse uurimuse kvaliteedi hindamise teemat peab ütlema, et siin on palju võimalusi teha põhjendatud hinnangut. Osa uurimistöö hindamise nõuetest on ühised kvantitatiivse uurimisviisi hindamisega, osa hindamisnõuetest on spetsiaalselt välja töötatud kvalitatiivse uurimisviisi hindamiseks. Kõige olulisem erinevus on triangulatsiooni ja uurija refleksiivsuse nõue.

 

LISALUGEMISEKS

Lub, V. (2015). Validity in Qualitative Evaluation: Linking Purposes, Paradigms, and Perspectives. International Journal of Qualitative Methods, 1-8.

 

Kasutatud allikad

• Creswell, J. (2007). Qualitative Inquiry & Research Design. Choosing Among Five Approaches. London, Thousand Oaks, New Delhi: SAGE Publications.
• Flick, U. (2009). An Introduction to Qualitative Research. 4th ed. London, Thousand Oaks, New Delhi: SAGE Publications.
• Lagerspetz, M. (2017). Ühiskonna uurimise meetodid. Sissejuhatus ja väljajuhatus. Gigantum Humeris. Tallinn, TLÜ Kirjastus
• Laherand, M.-L. (2008). Kvalitatiivne uurimisviis. Tallinn: Infotrükk: 347-354.
• Patton, M. Q. (2002). Qualitative Research and Evaluation Methods.3rd  Ed. London, Thousand Oaks, New Delhi: SAGE Publications.
• Staruss, A. (1987). Qualitative Analysis for Social Scientists. Cambridge, New York, New Rochelle, Melburn, Sydney:  Cambridge University Press.