10. Proctorio järelevalvega testi korraldamine

Kokkuvõtvalt

  1. Proctoriot saab kasutada testide keskkonnas https://testid.ut.ee.
  2. Tellige aadressil eope@ut.ee testide keskkonnas kursuse põhi, teatades kursuse nime, ainekoodi, õppejõudude nimed ja testi sooritajate arvu.
  3. Proctorio jälgimisega testi sooritamiseks on soovitatav kasutada Microsoft Edge'i või Google Chrome'i veebilehitsejat. Paigaldage veebilehitsejasse Proctorio plugin (Chrome, Edge). Proctorio ühildub ka Opera ja Brave'iga (kasutatav Proctorio Chrome'i pluginaga). Peale Proctorio jälgimisega testi korraldamist on soovitatav veebilehitseja Proctorio plugin veebilehitseja eelistuste Extensions osas välja lülitada või kui on teada, et te Proctoriot enam ei kasuta, siis maha installeerida.
  4. Lisage kursusele Secure Exam Proctor vahend, mis on Proctorioga liidestatud ja vajalikult eelkonfigureeritud.
  5. Looge kursusel test ning seadistage testi seadetes Proctorio kasutamine. Testi viimaseks küsimuseks on soovitatav panna vaba vastusega küsimus, kus õppija saab anda teada testi sooritamisel tekkinud probleemidest. Kuna testi sooritamise eel teostatavate kontrollide aega ei arvestata testi sooritamise aja sisse (testi sooritamise aja sisse arvestatakse vaid ruumi skänneerimise aeg), kuid õppijal võib kontrollide teostamine aega võtta kuni veerand tundi, siis jätke test avatuks testi sooritamiseks ettenähtud ajast vähemalt 15 minutit kauemaks.
  6. Teavitage õppijaid, millised tegevused on testi sooritamise ajal vajalikud ja lubatud ning millised tegevused on keelatud. Pakkuge õppijatele samade seadetega proovitesti sooritamise võimalust. Õppijate teavitamiseks saate kasutada juhist.
  7. Küsige õppijatelt enne testi sooritamist informeeritud nõusolekut testi sooritamisel isikuandmete töötlemiseks. Kui õppija ei ole nõus oma arvutis Proctorioga järelevalvega testi sooritama, siis peab ülikool pakkuma talle võimaluse Proctorio järelevalvega testi sooritamiseks ülikooli arvutis.
  8. Peale testi sooritamist vaadake üle testisoorituste salvestused. Arvestage sellega, et salvestusi hoitakse Proctorio serveris üks kuu ning seejärel kustutatakse automaatselt.

Proctorio jälgimisega testi ülesseadmisel saate abi õppedisaineritelt. Proctorio veebilehitseja plugina paigaldamisel ning tehniliste probleemide korral saavad nii õppejõud kui õppijad abi arvutiabist arvutiabi@ut.ee, tel 7375500. Testi sooritamise ajal saate inglise keeles abi küsida ka Proctorio Live Chat'is, mis töötab 24/7. Live-chat avamiseks klõpsake veebilehitsejas Proctorio plugina ikoonil, seejärel nupul Proctorio ning avaneb aken Live Chati'i avamiseks.

Ülevaade Proctoriost

Proctorio (https://proctorio.com) on elektroonsete testide järelevalvesüsteem, mis aitab tuvastada võimalikke rikkumisi testi sooritamisel ehk akadeemilist petturlust. Testi sooritamise ajal ei jälgita testi tegijat reaalajas, vaid salvestatakse veebikaamera, mikrofoni ning ekraani salvesti abil videopilti testi tegijast ja arvutiekraanil toimuvast.

Proctorio jälgimisega testi sooritamiseks on soovitatav kasutada Microsoft Edge'i või Google Chrome'i veebilehitsejat. Veebilehitsejasse tuleb paigaldada Proctorio plugin (Chrome, Edge). Proctorio ühildub ka Opera ja Brave'iga (kasutatav Proctorio Chrome'i pluginaga). Plugin tuleb installeerida üks kord ning seda uuendatakse automaatselt. Peale Proctorio jälgimisega testi korraldamist või sooritamist on soovitatav veebilehitseja Proctorio plugin veebilehitseja eelistuste Extensions osas välja lülitada või kui on teada, et te Proctoriot enam ei kasuta, siis maha installeerida.

Proctorio jälgimisega testi sooritamiseks tuleb kasutada teatud kindlatele nõuetele vastavaid seadmeid ja internetti: https://proctorio.com/system-requirements.

Testi sooritamiseks peab testitegija veebilehitseja Proctorio plugina abil andma juurdepääsu oma arvutile, lubama veebikaamera pildi, mikrofoni heli ja arvutiekraani salvestamise. Vahetult enne testi alustamist kinnitab testi sooritaja, et on nõus salvestamisega.

Testi sooritamise ajal salvestatud andmed liiguvad krüpteeritud kujul Proctorio teenusepakkuja serverisse ning kustutatakse automaatselt ühe kuu möödumisel. Teenusepakkujaga on sõlmitud Eesti andmekaitseinspektsiooni kooskõlastusega leping ning testi sooritamisel kogutud andmeid töödeldakse vastavalt Euroopa Liidu isikuandmete kaitse üldmäärusele (GDPR).

Litsentsidest

Tartu Ülikool on ostnud 1000 üheaastast kasutajapõhist litsentsi Proctorio tarkvara kasutamiseks. Kasutajapõhise litsentsi hind on 7,5 EUR ning selle litsentsitüübiga saab üks kasutaja Proctorio järelevalvega sooritada ükskõik kui suure arvu teste (proovitestid, kontrolltööde ja eksamite testid erinevate õppeainete raames). Esimesed 1000 litsetsi makstakse kinni tsentraalselt. Kui selgub, et 1000 kasutaja litsentsidest jääb ülikoolile väheseks, siis saame litsentse jooksvalt juurde, kuid lisalitsentside kasutamine tuleb perioodi lõpus struktuuriüksustel ise tasuda vastavalt reaalsele kasutusele struktuuriüksuste õppeainete raames.

Proctoriot saab kasutada testide keskkonnas https://testid.ut.ee

Proctorio on ülikoolis paigaldatud testide keskkonda https://testid.ut.ee, mis on eraldiseisev Moodle’i installatsioon sisseastumis- ja eksamitestide jaoks. Testide keskkonna testi on võimalik lisada samu küsimusetüüpe nagu Moodle’i (https://moodle.ut.ee) testi.

Testide keskkonda sisenemine toimub ülikooli arvutivõrgu kasutajatunnuse ja parooliga (NB! Mitte OpenID-ga nagu Moodle’isse). Kui kasutaja on kasutajakontoga testide keskkonda sisenenud ning andmebaasis on olemas tema ülikooli kesksest isikuregistrist imporditud isikukood, siis edaspidi on võimalik keskkonda siseneda ka ID-kaardi või Smart-ID autentimislahendusega. Kui kasutaja lisab oma profiili andmetesse (Valikuline osas) oma mobiiltelefoninumbri, siis on edaspidi võimalik siseneda ka Mobiil-ID-ga:

mobiiltelefoninumber

Testide keskkond ei ole liidestatud õppeinfosüsteemiga. Kui teil on Proctorio kasutamise soov, siis tuleb sellest teada anda eope@ut.ee.

Palun teatage:

  • kursuse nimi ja ainekood, mille raames soovite Proctorio jälgimisega testi teha,
  • õppejõudude nime(d), kes tuleb sellele kursusele lisada õppejõu rollis (nendel isikutel on vajalik enne testide keskkonda sisse logida, et nende konto oleks keskkonna andmebaasis olemas),
  • testi sooritajate arv, et meil oleks võimalik kasutusel olevate litsentside ning litsentsikulude üle instituutide kaupa arvestust pidada.

Teile luuakse testide keskkonnas kursus, kuhu te saate luua testi. Teil on võimalus Moodle’i kursusel olemasolev test importida Moodle’i XML-vormingus faili alusel testide keskkonna kursusele. Üliõpilasi ei saa testide keskkonna kursusele lisada ÕISi kaudu, vaid kursusel tuleb avada iseregistreerumine (Kasutajad, Registreerimise meetodid) ning testi sooritajatele tuleb saata kursusele iseregistreerumise link koos võtmega, millega iseregistreerumine võimalik on.

Proctorio kasutamise seadistamine

1) Proctorio kasutamiseks tuleb esimese sammuna lisada kursusele Secure Exam Proctor vahend (NB! Täpselt sellise ingliskeelse nimetusega ka eestikeelsel kursusel), mis on eelseadistatud konfiguratsiooniga, sisaldades Proctorio kasutamiseks vajalikke tarbija- ning litsentsivõtmeid.

proct

2) Proctorio kasutamiseks tuleb testis seadistada Proctorioga testi sooritamine. Kui kursusele on lisatud Secure Exam Proctor tööriist, siis ilmub testi seadetesse Proctorio sätete osa, kus saab võimaldada ja seadistada Proctorio kasutamise:

Proctorio

Õppejõud/eksamineerija saab Proctorio kasutamise seadetes ise määrata jälgimise seaded:

  • mida salvestatakse,
  • kas testi alguses ja/või ka vahepeal peab teostama ruumi veebikaameraga skanneerimise,
  • kas testi sooritaja peab läbima lisa isikutuvastuse (nt näitama dokumenti),
  • millised tegevused loetakse rikkumiseks,
  • milliste tegevuste tulemusena ei ole testi enam võimalik edasi sooritada, kuna test sulgub automaatselt.

Testi sooritamise ajal võib kasutada ainult lubatud abivahendeid, näiteks paberit ja pliiatsit.

Testisoorituskatse lõpetatakse automaatselt:
  1. Kui on sunnitud täisekraan ja testi tegija lahkub täisekraani vaatest. Võimalik on valida kolme erineva taseme vahel. Kõige karmima seadega lõpetatakse testi katse kohe kui täisekraanilt lahkutakse. Muudel juhtudel hoiatatakse testi sooritajat ja antakse aeg tagasipöördumiseks.
  2. Kui testi tegija lõpetab ekraani jagamise.
  3. Kui testi sooritaja ei ole enam kaks minutit aktiivne olnud (enamasti tehniliste probleemide korral).
  4. Kui kaamera või mikrofon pole enam ühendatud.

Vaadake Proctorio tehnilist juhendit testi seadistajale.

Seadistage testi seadetes Proctorio kasutamine:

examsettings

NB! Kui testi on sooritanud kasvõi üks isik, siis ei ole Protorio eksami seadeid enam võimalik muuta.

I Määrake salvestamise seaded (Recording Options).

recording

  1. Video salvestamine (Record Video) - testi sooritamise ajal salvestatakse veebikaamera pilti 
  2. Audio salvestamine (Record Audio) - testi sooritamise ajal salvestatakse mikrofoniga ruumi helisid
  3. Ekraani salvestamine (Record Screen) - testi sooritamise ajal salvestatakse testisooritaja arvutiekraanil toimuvat (täpselt seda,  mis on näha ekraanil)
  4. Veebiliikluse salvestamine (Record Web Traffic) - salvestatakse testi sooritamise ajal külastatud veebisaitide ekraanipildid ja URLid.
  5. Ruumi salvestamine (Record Room) – testi sooritajalt nõutakse ruumi näitamist, kus testi sooritaja asub). Võimalik on valida kahe ruumi salvestamise seade vahel:
    1. Alguses skanneerimine (Scan at Start) - testi sooritaja peab testi alguses näitama ruumi, liigutades veebikaamerat nii, et on näha näiteks laual olevad asjad ning seda, kas ruumis on teisi isikuid. Skanneeringu tegemine arvestatakse testi sooritamise aja sisse.
    2. Intelligentne skanneerimine (Intelligent Scan)  - testi sooritaja peab näitama ruumi testi alguses ning lisaks veel teatud tegevuste ajal, mis loetakse kahtlaseks. Skanneeringu tegemine arvestatakse testi sooritamise aja sisse.

II Piirake tegevused (Lock Down Options)

lockdownoptions 

  1. Täisekraani kasutamise sundimine (Force Full Screen).
    1. Full Screen off – Testi sooritajad tohivad testi lehelt lahkuda, et kasutada arvutis teisi materjale.
    2. Lenient (30 s) – Testi sooritajad ei tohi testi lehelt lahkuda, kuid kui nad lahkuvad, siis hoiatatakse neid ja antakse 30 sekundit aega tagasipöördumiseks. Kui õigel ajal tagasi ei jõua pöörduda, siis testikatse lõpetatakse.
    3. Moderate (15 s) - Testi sooritajad ei tohi testi lehelt lahkuda, kuid kui nad lahkuvad, siis hoiatatakse neid ja antakse 15 sekundit aega tagasipöördumiseks. Kui õigel ajal tagasi ei jõua pöörduda, siis testikatse lõpetatakse.
    4. Severe (0 s) - Testi sooritajad ei tohi testi lehelt lahkuda, iga tegevus väljaspool test lehte lõpetab automaatselt testisoorituskatse ja tagasipöördumine ei ole enam võimalik. NB! Kuna täisekraanilt lahkumine toimub selliste klahvikombinatsioonide kasutamisel nagu näiteks PrtScr, Ctrl+F, siis selle seade valimisel peab testi tegijatel täpselt teada olema, millised klahvikombinatsioonid võivad viia täisekraanilt lahkumisele).
  2. Ainult ühe ekraani lubamine (Only one Screen) - seade takistab testi sooritajal teisel ekraanil olevate märkmete või materjalide kasutamist
  3. Uute vahelehtede keelamine (Disable New Tabs) - seade takistab juurdepääsu materjalidele teistel veebilehtedel. Võimalik on vahelehed lubada (Tabs allowed), keelata (No New Tabs) või lubada ainult testist viidatud linkide avamine (In Quiz Links Only).
  4. Avatud vahelehtede sulgemine (Close Open Tabs) - selle seade valimine sulgeb testisoorituskatse alustades kõik teised veebilehitseja vahelehed kui testi sooritaja ei ole neid enne ise sulgenud.
  5. Printimise keelamine (Disable Printing) - seade blokeerib printimise funktsionaalsuse (prinditav lehekülg on tühi ning ei saa teha ka ekraanitõmmiseid)
  6. Lõikepuhvri keelamine (Disable Clipboard) – seade takistab testimaterjalide tõstmist mujale või muu sisu toomist testi (keelatud on kopeeri, lõika ja kleebi funktsioonid).
  7. Allalaadimiste blokeerimine (Block Downloads) – seade takistab testi sooritamise ajal ükskõik mis tüüpi failide allalaadmist ja salvestamist ning lõpetab automaatselt testsoorituskatse (takistab ka testi sees olevate failide allalaadimist).
  8. Vahemälu tühjendamine (Clear Cache) – seade kasutamine kustutab testsooritamise järel veebilehitseja vahemälu (NB! Põhjendamatult ei ole soovitatav kasutada, kuna testisooritaja veebilehitseja vahemälu võib sisaldada talle vajalikku infot).
  9. Parema klõpsu keelamine (Disable Rght Click) – seade keelab juurdepääsu menüüle, mis avaneb parema hiireklõpsuga.
  10. Takista tagasipöördumist (Prevent Re-entry) – seade nõuab, et test sooritatakse korraga ning iga ühenduse katkestus lõpetab testisoorituskatse. Võimalik on valida, et tagasipöördumine on lubatud (Allow Re-entry), et tagasipöördumine on võimalik vaid Proctorio töötaja abil (Re-entry with Agent) või et tagasi pöörduda ei ole lubatud (No Re-entry). Viimasel juhul on testi sooritamise jätkamine võimalik vaid siis, kui õppejõud annab uue katse.

III Määrake, mida testi sooritama asudes kontrollitakse (Verification Options)

verifications

  1. Video kontrollimine (Verify Video) – kontrolltakse, kas veebikaamera on ühendatud, on suunatud õiges suunas ning kas testisooritaja nägu on näha.
  2. Mikrofoni kontrollimine (Verify Audio) – kontrollitakse, kas mikrofon töötab ja kõik helid salvestatakse.
  3. Desktopi kontrollimine (Verify Desktop) – kontrollitakse, kas desktopi salvestamine töötab ning kas salvestatakse õigesti.
  4. Dokumendi kontrollimine (Auto ID Check) – nõutakse, et testi sooritaja näitab enne testi alustamist pildiga dokumenti.
  5. Allkirjaga kinnitamine (Verify Signature) – nõuab testi sooritajalt enne testi alustamist kokkuleppe allkirjastamine.

IV Määrake, milliseid abivahendeid võib kasutada (In-Quiz Tools)

inquiz

  1. Kalkulaator (Calculator) – lubamine annab testi sooritajale võimaluse kasutada ekraanil olevat kalkulaatorit. Valikuteks on, et kalkulaatorit ei lubata kasutada (No Calculator), lubatakse kasutada põhifunktsioonidega kalkulaatorit (Basic) või teaduslikku kalkulaatorit (Scientific).
  2. Valge tahvel (Whiteboard) – lubamine annab testi sooritajale võimaluse kasutada märkmete tegemiseks valget tahvlit.

Proctorio käitumisseadetena (Proctorio Behaviour Settings) on soovitatav kasutada Recommended valikut, mis määrab teksamitesti jaoks kõige tõhusamad käitumisseaded ning kohandab need automaatselt salvestus- ja lukustamisvalikutele vastavaks.

recommended

Testide keskkonna kursusel saate testi tulemused hindetabelist eksportida ning vajadusel importida need Moodle’is oleva kursuse hindetabelisse.

Testide loomisel ja Proctorio kasutamise seadistamisel saate abi küsida oma valdkonna õppedisainerilt.

Õppijate teavitamine ja juhendamine

Teavitage õppijaid, mis on Proctorio, millised on Proctorio järelevalvega testi sooritamise tingimused, millised tegevused on testi sooritamise ajal vajalikud ja lubatud ning millised tegevused on keelatud. Pakkuge õppijatele samade seadetega proovitesti sooritamise võimalust.

Õppijate teavitamiseks saate kasutada üldist juhist, muutes selles infot vastavalt sellele, millised seaded te olete Proctorioga jälgimiseks valinud.
Soovitatavalt küsige õppijatelt enne testi sooritamist informeeritud nõusolekut testi sooritamisel isikuandmete töötlemiseks.

Informeeritud nõusolekut saate küsida näiteks küsitluse vahendiga ning avada test tingmuslikult vaid neile õppijatele, kes on nõusoleku andnud. Kui õppija ei ole nõus oma arvutis Proctorioga järelevalvega testi sooritama, siis peab ülikool pakkuma talle võimaluse Proctorio järelevalvega testi sooritamiseks ülikooli arvutis.

Informeeritud nõusoleku küsimise tekst

Testi sooritamisel kasutatakse Proctorio tarkvara, mis salvestab testi tegemisel teie veebikaamera pilti ning arvutiekraanil toimuvat. Salvestusi hoitakse Euroopa Liidus asuvates serverites ja salvestusi hoitakse 30 päeva, mille järel need automaatselt kustutatakse.

Kinnitan, et olen nõus andma automaatse kontrolli teostamiseks teenusepakkujale juurdepääsu oma arvutile. Luban veebikaamera pildi, mikrofoni heli, asukoha ja arvutiekraani kontrolli ja salvestamise.

Proctorio raporti vaatamine

Proctorio analüüsib salvestisi pärast testi sooritamist, märgib ära rikkumised ning õppejõul/eksamineerijal on võimalik salvestised üle vaadata ja keskenduda nendele kohtadele, kus Proctorio on tuvastanud rikkumised. Otsuse, kas tegemist on akadeemilise petturlusega, teeb õppejõud/eksamineerija.

Salvestisi hoitakse Proctorio serveris üks kuu. Seega peab jõudma raportid üle vaadata ning võimalikud apellatsioonid menetleda ühe kuu jooksul.

Vaadake Proctorio juhendit raporti ülevaatajale. 

Õppejõul/eksamineerijal on võimalik vaadata testi sooritajate raporteid Proctorio hinderaamatust (View Proctorio Gradebook), kus on testisoorituste automaatne lõpetamine ja kahtlased tegevused punaste lipukestega märgitud. Õppejõul on võimalik kahtlaste tegevustega kohtade salvestused üle vaadata ning otsustada, kas on tegemist rikkumistega.

proctoringreport

proctoring2