Testide normimine

Normide loomisel oli vaja otsustada, kas arvestada laste sugu, vanust ja keelega kokkupuute kestust. Selleks kasutati lineaarse regressiooni mudeli erijuhtu OLS (ingl Ordinary Least Squares regression), mis on tavaline vähimruutude meetod. Vähimruutude meetod hindab mudelit nii, et regressioonijääkide ruutude summa oleks võimalikult väike. Mudel näitab, kui palju vanus ja eesti keelega kokkupuute pikkus seletavad testiskooride varieeruvust (R² – näitab, kui suur osa testi tulemuse varieeruvusest on seletatav mudelis) ning kontrollib, ega seletajad ei ole omavahel liiga sarnased (VIF – Variance Inflation Factor, näitab, kas seletajad on omavahel liiga korreleeritud ehk kas esineb multikollineaarsust).

Mudeli analüüs KK laste puhul näitas, et:

• Vanus: seletab üldiselt vähe (enamasti ≤5–6%; erandina VLJT 13,5%). Vanusegruppe võib olla üks, sest R² vanuse järgi on madal. See tähendab, et mudel liigitas kõik lapsed ühte vanusegruppi, seega eraldi vanusegruppide loomine ei anna normide koostamisel suurt lisandväärtust. Teisisõnu, vanuse normides arvestamata jätmine on põhjendatud. VLJT puhul võib kaaluda vanuse arvestamist.
• Kokkupuute pikkus: mõju on mõõdukas ELJT ja SVT koondi puhul (7–11%), kuid see seletusjõud on ikkagi suhteliselt madal ja ei õigusta eraldi norme sõltuvalt lapsekokkupuute pikkusest eesti keelega.
• VIF ≈ 1,05 mõlemal seletajal kõigis mudelites: näitab, et vanus ja kokkupuute pikkus pole omavahel sisuliselt korreleeritud, multikollineaarsuse probleem puudub.

Kuigi R² vanuse järgi on väike (∼3‒5% enamikul testidel) ning vanuse järgi eraldi gruppide moodustamine ei pruugi olla õigustatud, olid vanusel siiski KK hulgas statistiliselt olulised korrelatsioonid (vahemikus 0,20‒0,35) kõigi testide tulemustega, ÜK hulgas olid vanusel olulised korrelatsioonid ELJT skooriga(0,22) ja SVT koondskooriga (0,39). Seetõttu kaaluti ka testikomplekti koondtulemuste alusel normide arvutamise lõppvalemis vanuse arvestamist: kaaluti vanuse regressioonipõhist korrektsiooni, mis eemaldaks väikese, ent järjekindla vanuseefekti, ilma et peaks looma vanuserühmi. Sisuliselt tähendab see, et “kohendatakse” iga indiviidi tulemus nii, et vanuse mõju oleks maha arvestatud. Tulemus on vanusest sõltumatu skoor, mis näitab pigem keeleoskust, mitte seda, kas laps on vanem/noorem. Selleks võrreldi nii ÜK kui KK koondvalemi mudelit koos ja ilma vanuseta ning nende mudelite sensitiivsust ja spetsiifilisust. Selgus, et nii vanusega mudeli kui ka ilma vanuseta mudeli AUC on väga kõrge – vanusega 0,98 ja vanuseta 0,97. Ka sensitiivsus ja spetsiifilisus on mõlema mudeli puhul üle 0,90, ilma vanuseta mudeli sensitiivsus aga isegi veidi parem (0,96 vs 0,94). Seega ÜK mudelis ei ole vaja vanust arvestada. Samale tulemusele jõuti KK puhul: vanusega ja ilma vanuseta mudeli mõlema AUC on täpselt sama kõrged ehk 0,99. Ka sensitiivsus ja spetsiifilisus on mõlema mudeli puhul üle 0,90, ilma vanuseta mudeli sensitiivsus aga isegi veidi parem (0,98 vs 0,96).

Normid arvutati igale testile eraldi, samuti arvutati eraldi normid ÜK ja KK laste rühmadele. Selleks kasutati ROC (ingl Receiver Operating Characteristic analysis) kõvera analüüsi: ROC analüüs näitab, kui hästi mudel eristab kahte klassi (antud juhul KP ja EK lapsi). ROC kõver näitab, kuidas muutuvad mudeli sensitiivsus ja spetsiifilisus erinevate mudeli väärtuste puhul. ROC kõvera parimat tasakaalupunkti nimetatakse Youdeni indeksiks. AUC (ROC kõvera alune pindala) on üldine täpsusnäitaja, mis võtab arvesse kõiki võimalikke piirskoore (AUC üle 0,90 peetakse väga heaks, üle 0,80 heaks, alla 0,70 nõrgaks).

Testi sensitiivsus näitab, kui suure osa KP lastest test õigesti määrab. Näide: sensitiivsus 95,9% – umbes 96 last 100-st KP lapsest satuvad testi tulemuste alusel õigesti KP gruppi, ainult ~4 last jäetakse kahe silma vahele ja märgitakse ekslikult EK-ks.

Testi spetsiifilisus näitab, kui suure osa EK lastest testi õigesti määrab. Näide: spetsiifilisus 83,7% – umbes 84 last 100-st EK lapsest määrati õigesti EK gruppi, samal ajal ~16 last märgiti ekslikult KP-ks.

Piirskoor (Cutoff score ≤) – leitakse ROC-analüüsi abil, see on skoori piir, millest väiksem või võrdne tulemus loetakse suuremaks KP riskiks.

AUC (Area Under Curve) – testi üldine eristusvõime (EK vs KP). AUC = 1,0 – ideaalne test (eristab EK ja KP alati õigesti; AUC üle 0,90 peetakse väga heaks, üle 0,80 heaks, alla 0,70 nõrgaks, kuni 0,5 – täiesti juhuslik eristus (test ei tööta) Näide: AUC = 0,96 tähendab, et test eristab 96% juhtudest õigesti EK ja KP lapsi.

Laste tulemused arvutati protsentiilides (vt lisa 5). Protsentiilid arvutatakse vastavalt ÜK või KK rühma EK-laste jaotuse põhjal (normi alus). Iga protsentiil (nt P10, P25, P50 jne) näitab, kui palju EK lastest jääb alla selle piiri. Näide: P10 -> 25 punkti, st 10% EK lastest said ≤25 punkti.

Tabel 8. Normipiirid, sensitiivsuse, spetsiifilisuse ja AUC näitajad

	KK				ÜK
Test	norm	sens	spets	AUC	norm	sens	spets	AUC
SVT nim	36	70,2%	62,4%	0,68	54	89,6%	76,9%	0,90
SVT mõist	46	75,9%	52,2%	0,67	58	70,8%	82,7%	0,83
SVT koond	82	68,4%	61,5%	0,68	113	89,6%	76,9%	0,90
ELJT	14	86,2%	65,2%	0,82	24	91,7%	90,4%	0,96
VLJT	16	94,4%	93,2%	0,98	–	–	–	–
PST	27	86%	69,1%	0,84	28	85,4%	80,8%	0,92
KaLaKe KOOND (koos VLJT-ga)	49	98%	95%	0,99	–	–	–	–
KaLaKe KOOND (ilma VLJT-ta)	50	86%	78%	0,88	73	96%	90%	0,97

Märkus: KaLaKe koondtulemuste puhul skaala 0‒100; SVT nim – maks 60; SVT mõistmine – maks 60; SVT koond maks 120; ELJT – maks 30; VLJT – maks 30; PST – maks 36.

Testide iseloomustused KK laste puhul

SVT nimetamine – nõrga eristusvõimega üksiktest. Kui laps on saanud 36 ja vähem punkti, on tõenäoline KP risk. Test tuvastab 70 KP laste 100st (sensitiivsus) ja 62 EK last 100st (spetsiifilisus). Vt tabelist 8 analoogseid numbrite seletusi.
SVT mõistmine – nõrga eristusvõimega üksiktest.
SVT koondtest – nõrga eristusvõimega test.
ELJT – hea eristusvõimega test
VLJT – väga hea eristusvõimega test
PST – hea eristusvõimega test
KaLaKe testikomplekt tervikuna: väga hea eristusvõimega, juhul kui kasutada ka VLJT; hea eristusvõimega, kui VLJT ei ole kasutatud.

Testide iseloomustused ÜK laste puhul

SVT nimetamine – hea eristusvõimega üksiktest. Kui laps on saanud 54 ja vähem punkti, on tõenäoline KP risk. Test tuvastab 90 KP laste 100st (sensitiivsus) ja 77 EK last 100st (spetsiifilisus). Vt tabelist 8 analoogseid numbrite seletusi.
SVT mõistmine – hea eristusvõimega üksiktest.
SVT koondtest – hea eristusvõimega test.
ELJT – väga hea eristusvõimega test.
PST – väga hea eristusvõimega test.
KaLaKe testikomplekt tervikuna: väga hea eristusvõimega.