Test BH

Navigace v testu

Modle ve verzi 2.x přinesl mnoho změn v testování, které si krátce zrekapitulujeme. Zcela zásadní změnu přinesla verze 2.1, která má znovu naprogramované jádro. Příčinou bylo doplnění chování testů o měření jistoty odpovědí. Teorie je popsaná např. v [1]. 

Při vlastním testování přibyl pro uživatele nový navigační blok, který obsahuje kromě informace o počtu úloh, aktuální úloze i signalizaci o otázkách (vlaječky) a po ukončení testu i signalizuje úspěšné odpovědi, částečně úspěšné a neúspěšné odpovědi.

Obr. 1 Navigace a vlaječky u úloh při testu a po ukončení (prohlídka).

Přenastavení testů - skupinová

Skupinová přenastavení testů je velmi užitečná vlastnost podporující rozlišení skupin se speciálními vzdělávacími potřebami. Skupiny mohou mít pro test odlišné podmínky v závislosti na předpokládaných schopnostech nebo jen jiný termín plnění. Diferenciace je možná v

• čase na splnění testů,
  
• počtu opakování testů,
  
• termínu přístupu do testu.
  

Přenastavení testů - uživatelská

Individuální přenastavení testů je použitelná vlastnost pro individuální plnění při nepřítomnosti uživatele při vyučování a podobně. Postup je obdobný jako ve skupinovém přenastavení. Ukazuje se, že obdobné vlastnosti jsou žádané i pro jiné činnosti obdobného charakteru (odevzdání úloh aj.).

Chování testů 

V chování úloh při testování přibyly způsoby hodnocení na základě jistoty respondenta se svou odpovědí. Než popíšeme realizaci takto pojatých testů, projdeme si některé motivace realizace této vlastnosti.

Úvod k testům

Všeobecné požadavky na testy [2]:

• Reliabilita testu ‑ omezení vlivu náhody a hádání.
  
• Diskriminace – schopnost rozlišit úspěšné a neúspěšné respondenty.
  
• Jiné, které jsou mimo naše téma.
  

 

Jedním z formálních postupů „zlepšení“ vlastností testů jsou metody známkování úloh:

• Při tradičním bodování správných odpovědí se do výsledku promítají také uhodnuté odpovědi. Takový test obsahuje část bodů, které neodpovídají skutečné znalosti.
  
• Eliminací štěstí v hádání je zavedení záporného hodnocení za nesprávnou odpověď.
  
• Zavedením hodnocení jistoty odpovědi se posiluje penalizační faktor. Za nesprávné odpovědi lze získat až dvojnásobnou penalizaci proti správné odpovědi. Tento způsob je implementován ve verzi Moodle 2.1 a bude detailně popsán.
  

Záporné body v hodnocení

Zavedení záporného bodování úloh není běžně používáno, má následující vlastnosti:

• Zvětšení rozdílu mezi lepšími a horšími studenty.
  
• Obvykle nezmění pořadí výsledků testu.
  
• Do výsledku se mohou promítnout osobnostní rysy respondenta (dokonce se předpokládají rozdíly mezi studenty a studentkami).
  
• Minimální vyžadovaný počet bodů v testu se liší pro testy bez záporného bodování a se záporným bodováním úloh.
  

Jistota

Dosavadní způsob testování se nezajímal o hodnocení jistoty odpovědi, všechny odpovědi byly hodnoceny stejně. Respondent nemusel uvažovat v případě neznalosti správné odpovědi o tom, že špatná odpověď se negativně promítne ve výsledku. Mohl hádat, vylučovat špatné odpovědi a mohl tím jen získat.

Hodnocení dle jistoty odpovědi se vyhodnocuje dle míry jistoty (či nejistoty) odpovědi, příklad hodnocení je uveden v následující tabulce. Hodnoty byly zvoleny tak, aby se počítalo jen s celými čísly.

Tabulka 1 Tabulka hodnocení dle jistoty.

 

Graf vycházející z této tabulky ukazuje míru penalizace, oblast hádání a procenta jistoty, použité v implementaci testů.

 

Obr. 2 Graf hodnocení odpovědí podle jistoty.

Realizace v Moodle

Realizace testů na měření jistoty odpovědi je obsaženo v nových variantách chování testů:

• Adaptivní režim
  
• Adaptivní režim (bez penalizace)
  
• Odložený výsledek s mírou jistoty
  
• Odložený výsledek
  
• Okamžitý výsledek s mírou jistoty
  
• Okamžitý výsledek
  
• Interaktivní s více pokusy
  
• Interaktivní s více pokusy (se započtením předchozích pokusů)
  
• Ruční známkování
  

Oproti popisu pokusů se jedná o velké rozšíření s přidáním dalšího časového okamžiku pro nastavení možností prohlídky.

 

Při variantách s jistotou je úloha rozšířena o dotaz na jistotu (viz. Obr. 3).

Obr. 3 Ukázka realizace úloh s jistotou odpovědi.

Pokusné testy

Pro ověření základních výsledků, jejich charakteristik jsem realizoval několik pokusných ověřování formou opičích testů. Výsledky nejsou překvapující, spíše dokladují, že realizace randomizace úloh a odpovědí je v Moodle skutečně v pořádku. Počet pokusů byl 4, proto je výsledky nutné brát s přihlédnutím k tomuto počtu.

Použitý postup:

• Pro testy byla vytvořena banka úloh, která obsahovala úlohy výběru z možných odpovědí (jedné odpovědi ze tří možností).
  
• Jeden test byl bez hodnocení jistoty – výsledné hodnocení bylo cca 30%, což odpovídá pravděpodobnosti hádání.
  
• Další test, ve kterém byla uplatněna nízká míra jistoty – výsledné hodnocení bylo -3%, tedy těsně pod nulou.
  
• Posledním testem byly pokusy s vysokou mírou jistoty – výsledné hodnocení bylo -33%. Tady se projevila penalizace chybných odpovědí.
  

Je nutno poznamenat, že do celkového hodnocení známek uživatele se záporný výsledek testu transformuje na nulu. Dokladem je přehled známek testovací skupiny.

 

Obr. 4 Výsledky testovací skupiny.

První závěry

Zatím budu velmi opatrný v závěrech, ale předpokládám, že použití jistoty v testech bude znamenat změnu v testování. Pro použití bude:

• nutné dobře informovat respondenty o změnách ve vyhodnocení testů,
  
• velmi odpovědně posoudit požadované hranice pro stanovení škály hodnocení, inspirace [2],
  
• ne všechny typy úloh budou vhodné pro realizaci testů s použitím jistoty (otevřené otázky?),
  
• u respondentů se více vyplatí neodpovídat než hádat.
  

První pohled na statistiky poskytované v Moodle ukazují, že analýza bude obtížnější, protože dvourozměrné vstupy jsou vlastně přeměněny na jednorozměrnou statistiku. Závislost na hodnotě jistoty odpovědí jsou zakomponovány do hodnot a v analýze se zatím těžko dozvíme, jak si respondenti věřili.

Závěr

První implementace Moodle verze 2.1 jsou příliš čerstvé a nejsou zatím delší zkušenosti s implementací testů s hodnocením jistoty. Budeme se těšit na realizace a zkušenosti z reálného prostředí škol či univerzit.

 

Literatura

1. Gardner-Medwin, A.R. & Curtin, N.A. (2007). Certainty-Based Marking (CBM) For Reflective Learning And Proper Knowledge Assessment. From the REAP International Online Conference on Assessment Design for Learner Responsibility, 29th-31st May, 2007. [cit. 2011-10-01]. Available at http://ewds.strath.ac.uk/REAP07
   
2. Tvorba testů , www.SCIO.cz s.r.o, online 2008 [cit. 2011-10-01]. Dostupné na www: http://www.scio.cz/tvorba_testu/index.asp