Analýza hodnocení
Tato analýza nahlíží na hodnocení provedená na ukázkách, stejně
tak jako na ta provedená během fáze hodnocení úkolu spolužáky.
Pokouší se vybrat lepší hodnocení z tohoto společného vkladu
hodnocení učitelů a žáků. Tato "dobrá" hodnocení jsou poté použita
při výpočtu konečného počtu bodů.
Tuto analýzu je možné nejlépe provést pokud jsou k dispozici
hodnocení učitele. Tato hodnocení mohou sloužit jako měřítko, s
nímž mohou být srovnávána hodnocení studentů. Učitel nemusí
hodnotit každou ukázku a každý odevzdaný úkol, avšak aby analýza
byla smysluplná, je lepší mít více hodnocení od učitele než
průměrný počet hodnocení provedených každým studentem. A čím více
je hodnocení provedených učitelem, tím více může učitel výsledkům
analýzy důvěřovat.
Analýza se obvykle provádí několikrát, pokaždé se přitom jedno
nebo více nastavení změní. Analýza je kontrolována třemi
nastaveními, která se objevují nahoře na stránce.
- Vložení hodnocení učitele nastavuje vážení dané hodnocením
učitele ve srovnání s hodnoceními studenty v průběhu analýzy chyb.
Pokud učitel chce, aby jeho vlastní bodovací strategie převládala
způsobu, jakým bodují odevzdané úkoly studenti, pak by měl být
učitel hodnotitelem s nejmenší průměrnou chybou v"Tabulce Chyb".
Pokud učitel v seznamu není na prvním místě, tak se počet vložených
hodnocení učitele zvyšuje, dokud učitel nemá nejnižší průměrnou
chybu. Toto poté značí, že učitelova hodnocení převládají, a
studenti, kteří bodují stejně jako učitel, jsou v seznamu rovněž
uvedeni v horní části Tabulky chyb. Studenti uvedení v seznamu v
dolní části tabulky bodují způsobem, který se nesrovnává s
hodnoceními učitele (ani s hodnoceními těch, kteří se nacházejí v
horní části tabulky). Čím více hodnocení učitele je k dispozici,
tím je pravděpodobnější, že toto nastavení nebude muset být použito
k tomu, aby učitele dotlačilo do horní části tabulky. Všimněte si,
že toto nastavení není váženým faktorem hodnocení učitele
použitých při výpočtu konečného počtu bodů. V tomto výpočtu mají
hodnocení učitele stejnou váhu jako hodnocení studenty. Pokud je
tak například studentův odevzdaný úkol obodován 41 % učitelem a 45
% a 55 % spolužáky, je konečný počet bodů udělený odevzdanému úkolu
(41% + 45% + 55%) / 3, tedy 47%.
- Váha pro bodování hodnocení se používá při výpočtu konečného
počtu bodů. Jednoduchý vzorec se používá pro výpočet "Bodovacího
výkonu". Jedná se o poměr "dobrých"studenta. Jedná se o poměr
"dobrých" hodnocení, které student provedl a maximálního počtu jemu
přístupných hodnocení. Tak když například úkol žádá, aby studenti
provedli 3 hodnocení ukázkového odevzdaného úkolu a 5 hodnocení
(úkolů) svých spolužáků a student provede 7 hodnocení a 1 z nich je
z analýzy vypuštěno (viz níže), tak je jeho bodovací výkon (7 -
1)/8, tedy 75%. Konečný počet bodů za úkol je vážená kombinace
tohoto bodovacího výkonu a počtu bodů uděleného jeho odevzdanému
úkolu (popř. nejvyššího počtu bodů, pokud odevzdal více než jeden
úkol). Body za odevzdaný úkol mají vždy váhu 1. Nastavení této
volby například na 0,5, tedy znamená to, že se tyto dva body sečtou
v poměru 0,5:1 tj. 33% bodovacího výkonu a 66% počtu bodů z
odevzdaného úkolu.
- Procento hodnocení, které se vypustí určuje počet hodnocení,
která se při výpočtu konečného počtu bodů vyloučí. Tento počet je
možné nastavit jedním ze dvou způsobů.
- Způsobem, jakými se vypočítává Bodovací Výkon, by každý student
mohl, pokud by zhodnotil veškerou jemu přidělenou práci, dosáhnout
plných známek (pro tuto položku), pokud se žádná hodnocení
nevypustí. Pokud chce učitel mít průměrnější počet bodů, pak by
nastavení této volby na 30% vyústilo v průměrný Bodovací Výkon
přibližně 70% (opět pokud by studenti obodovali všechna jim
přístupná hodnocení).
- Eventuálně může být počet hodnocení, která se vypustí, nastaven
takovým způsobem, že zbývající "dobrá" vyústí v to, že Průměrné
chyby budou omezeny na přiměřenou hodnotu. Toto jsou procenta
uvedená ve čtvrtém sloupci Tabulky chyb. Lze se kupříkladu
domnívat, že všechna hodnocení studentů budou (v průměru) ležet v
20% rozptylu. Poté se analýza několikrát zopakuje a přitom se počet
hodnocení vypouštěním upravuje, dokud čísla v tomto sloupci neleží
v určitém rozmezí.
Vedle Tabulky chyb vypisuje analýza body ze všech hodnocení a
konečný počet bodů udělený studentům. S touto tabulkou je třeba se
seznámit, a tak se přesvědčit, zda-li jsou výsledky odpovídající.
Obzvláště pokud je vypuštěno příliš mnoho hodnocení, tak mohou být
některé odevzdané úkoly neohodnoceny a konečný počet bodů studenta
bude příliš nízký. Analýza uvádí počet odevzdaných úkolů na začátku
stránky, a poté rovněž před Bodovací tabulku. Tato dvě čísla by
měla být stejná. Pokud je jeden či více nezhodnocených odevzdaných
úkolů, a učitel nechce snížit počet vypuštěných hodnocení, tak by
tyto odevzdané úkoly měly být zhodnoceny učitelem a analýza by měla
být zopakována. Je důležité, aby všechny odevzdané úkoly byly v
konečném stadiu analýzy, tj. když se vypočítává konečný počet bodů,
zhodnoceny alespoň jednou.
Mezi počtem vypuštěných hodnocení a celkovým konečným počtem
bodů je rovnováha. Čím více hodnocení se vypustí, tím nižší konečný
počet bodů pravděpodobně bude. Pokud však špatná hodnocení
nejsou vypuštěna, tak si studenti mohou stěžovat na kvalitu
hodnocení, které určují body za jejich práci. Za předpokladu, že je
dostatek hodnocení učitele, která tak v převládají převládají bez
přílišného dotlačování, pak se zdá být přiměřené vypustit něco mezi
15% a 30% hodnocení.
Všimněte si, že analýza zabere značné množství času, protože
zahrnuje opakovaný proces. Je třeba očekávat zdlouhavá
zdržování.