KHÍ Nám og kennsla: Inngangur -Námsmat- MÞ/JK 23. október 2007 - MÞ október 2007

Tvenns konar sýn á eðli námsmats: Hvað gerist í „svarta kassanum“ ¿ ¼ Θ Ё ≠      Input Output Skýr markmið og allir settir undir sömu mælistiku: Röklegt, línulegt og mælanlegt Opin markmið: Ófyrirséð, afstætt og þörf á fjölbreytilegu námsmati, einstaklingsviðmið - MÞ október 2007

Leiðarbók með þessum námsþætti Tvenns konar áherslur: Áhersla á samræmd viðmið, mælingar, samræmd próf og samanburðarrannsóknir. Hins vegar á námsmat sem gerist á vettvangi í hita leiksins, þar sem kennarar eru í lykilhlutverki, jafnt við að meta sem og að skapa aðstæður til sjálfsmats, jafningjamats o.s.frv. Það síðarnefnda þykir sérstaklega mikilvægt þegar svonefnt leiðsagnarmat er annars vegar (formative assessment) og einnig þegar beita á námsmati sem lið í námi. Fjallaðu um leiðir kennara gætu gripið til í þeim tilgangi að tryggja vandað, heiðarlegt og réttmætt námsmat í starfi sínu. - MÞ október 2007

NÁMSMAT Nokkur mikilvæg hugtök sbr. F. Parkay Formlegt og óformlegt mat Hefðbundið og óhefðbundið mat Megindlegt (quantitative) og eigindlegt (qualitative) Hlutlægt og huglægt Leiðsagnarmat og lokamat Hópmiðað mat (norm-referenced) og markviðmiðað mat (criterion-referenced) Möppumat (portfolio assessment), sjálfsmat (self-assessment), jafningjamat (peer-assessment), frammistöðumat (performance assessment), rauntengt mat (authentic assessment) Réttmæti og áreiðanleiki - MÞ október 2007

NÁMSMAT – Assessment for/of/as learning Námsmat: Mat á árangri og framvindu náms. Nær bæði til nemenda sjálfra, hegðunar þeirra, hugsunar og frammistöðu og einnig til verka þeirra, til dæmis skriflegra svara á prófum, hugverka eða handverka. D. Rowntree, N. Gronlund, W. Harlen, Ó.Proppé Norman Gronlund: Mikilvægt er að greina að árangur sjálfs námsins annars vegar og hegðunarþætti hins vegar. - MÞ október 2007

Lykilspurningar Er ljóst hver er tilgangur námsmatsins? Er ljóst hvað á að meta? Hvaða aðferðir þessum tilgangi og matsþáttum? Hvaða dæmi um þekkingu, leikni, færni má tilgreina? Hverjir eiga að meta? Hvenær á að meta? Hvernig viðmið eru við hæfi? Hvernig tökum við á álitamálum? Hvernig eigum við að vinna úr niðurstöðum og túlka þær? Hvað svo? Að hvaða marki er hægt að tryggja og gera alla meðvitaða um samræmi milli markmiða og námsmats? Sbr. J. Hearne, R. Stiggins, D. Rowntree o.fl.

Tilgangur námsmats... Langalgengast: Stuðningur við nám og kennslu, leiðsagnarmat (e. formative assessment, assessment for learning). Að gefa upplýsingar (samantekt/uppgjör) um námsárangur við lok námstíma/námsáfanga. yfirlitsmat – lokamat (e. summative assessment, assessment of learning) Einnig: Endurgjöf – styrking, að efla áhugahvöt, greining, mat á stöðu, samanburður/röðun, þáttur í mati á skólastarfi og menntarannsóknum

Hvað er metið? Sbr. MARKMIÐ tengd atferlismarkmiðum Bloom og fél. – þekkingarsvið/vitsmunasvið: Nýmyndun/Skapandi hugsun Mat/Gagnrýnin hugsun Greining Um 80% prófatriða á samræmdu lokapr. í náttúrufræði 2006 Beiting Skilningur Þekking/kunnátta

Hvað ætti að meta? Tveir stórir flokkar til viðbótar hjá Bloom og fél. Svið viðhorfa og tilfinninga (affective domain - feeling, emotions - attitude - 'feel‘) – Hefur að gera með frumkvæði, viðhorf, ábyrgð, áhuga, þátttöku, samygð o.fl. Svið leikni og færni (psychomotor domain - physical skills - 'do') – Hefur að gera með verklega frammistöðu, sköpun, framkvæmd, verklagni, “performance” o.s.frv. Hvað annað gæti verið metið? Eitthvað ófyrirséð í fari nem., sbr. eigindlegt (kvalítatíft) mat.

Hvaða leiðir höfum við til að meta? Matsaðferðir Formlegt mat: Sérstakar, uppstilltar aðstæður Próf: stöðupróf, samræmd próf, yfirlitspróf, stöðluð próf, könnunarpróf, heimapróf, hóppróf, “svindlpróf”, munnleg próf... Óformlegt mat: Námsmat samofið námi og kennslu: Óhefðbundið námsmat: Rauntengt og heildrænt námsmat (e. authentic assessment), oftast við lausn verkefna sem eru tengd raunverulegum aðstæðum og tengjast margþættri kunnáttu og færni. Fleiri leiðir til að meta: Þrautalausnir, sýnismöppur, verkmöppur, gátlistar, marklistar, dagbækur, viðtöl, sjálfsmat, jafningjamat, virkniathuganir, “rubrics”.

Valkostir við gerð hefðbundins skriflegs prófs Valið stendur milli: Fjölvalsprófatriða (Selection-Type Items): krossaspurningar, rétt-rangt spurningar, pörunarspurningar og túlkunarverkefni. Og Innfyllingaratriða (Supply-Type Items): Stutt eyðufyllingasvör, stuttar ritgerðaspurningar, lengri ritgerðaverkefni.

Margs er að gæta við prófsamningu Huga þarf að: Orðalagi svo prófatriðið greini örugglega milli þeirra sem kunna og þeirra sem ekki kunna og nemendur skilji fyrirmæli rétt. Fjölda prófatriða og lengd prófs: Þetta fer eftir aðstæðum, aldri nem., próftíma, tegundum prófatriða, til hvers á að nota niðurstöður. Hversu hás réttmætis er krafist? Hvernig prófatriðum er komið fyrir-raðað upp? Svipuð atriði saman. Erfiðari atriði síðast.

Fjölval: Túlkunarverkefni (Interpretive exercises) Sett er fram einhvers konar kynningarefni, t.d. texti, tafla, graf, kort eða mynd og ýmis færni er metin út frá því með fjölvalsspurningu, t.d. greining, læsi á upplýsingar eða túlkun. Kostir/styrkleikar: Mat auðvelt, auðveldasta leiðin til að meta “læsi” og ýmsa hæfni til að tengja sbr. PISA. Hægt að meta flókin “learning outcomes” Ókostir/veikleikar: Erfitt að semja. Hætta á óáreiðanleika og lágu réttmæti, hætta á vísbendingum, reynir ekki á sköpun og gagnr. hugsun

Dæmi um túlkunarverkefni í PISA rannsókn OECD - MÞ október 2007

Túlkunarverkefni Að hverju þarf að huga við samningu túlkunarverkefna: Velja kynningarefni sem hæfir þeim námsþáttum (learning outcomes) sem á að meta. Velja kynningarefni sem er hæfilega framandi. Hafa efnið hnitmiðað og læsilegt. Ekki hafa spurningar þannig að hægt sé að svara þeim út frá almennri þekkingu, án þess að horfa á kynningarefnið. Fylgja má vinnureglum um fjölvalsverkefnaform.

Fjölval: krossaspurningar Langalgengasta gerðin af prófatriðum Má nota til að meta margvíslegan námsafrakstur (learning outcomes). Eru vönduð prófatriði ef rétt er staðið að samningu og eru jafnan trygging fyrir miklum stöðugleika (áreiðanleika). Veikleikar: Ekki ákjósanleg til að meta “higher-order thinking”. Erfitt að ná háu réttmæti með krossaspurningum einum saman. Erfitt að semja þær. - MÞ október 2007

Meginverkefni námskeiðsins Tveir til fimm vinna saman að þróun námsmats er tengist námi og kennslu í þeirra starfi. Meginfókus á að skilgreina matsþætti og aðferðir: Þ.e. hvað er metið og hvernig er metið? Huga að samhengi milli markmiða og “learning outcomes” (sbr. réttmæti). Hvernig tengist verkefnið heildarstefnu skólans um námsmat? Kynna verkefnið síðar á námskeiðinu og fá umræðu um það

Eðli krossaspurninga Námskeið um námsmat Merki/ Bókstafur Viðfangsefni   Merki/ Bókstafur Viðfangsefni Athuga v/námskeiðs Aldís Guðmundsdóttir Ágústína Jónsdóttir

Að meta þekkingu/minni Hentar mjög vel krossaspurningaforminu Reynir mest á hvort nemendur muna staðreyndir, heiti, reglur o.s.frv. Getur spannað yfir mjög vítt svið: orðaforði, merking hugtaka, flokkun, sértæk þekking, orsakir, afleiðingar o.s.frv.

Dæmi um krossaspurningu sem metur þekkingu – reynir á minni Tveir menn komu mikið við sögu þegar kristni var lögtekin á Íslandi. Þeir voru: ( ) Haraldur lúfa og Þangbrandur ( ) Þorsteinn surtur og Þorgeir Ljósvetningagoði *( ) Hallur á Síðu og og Þorgeir Ljósvetningagoði ( ) Gissur hvíti og Gísli Súrsson

Að meta skilning Krossaspurning: Hentar vel til að fá hugmyndir um hversu vel nemandi skilur meginefnið án þess að láta hann beita skilningi sínum í rituðu máli. Gefur möguleika á að meta merkingu (þýðingu), hvort nem. finnur dæmi um eða spáir fyrir um.

( ) sé nóg af olíu næstu hundrað árin Dæmi um krossaspurningu sem metur skilning Nemandi túlkar merkingu hugmyndar. Sú fullyrðing að Íslendingar geti orðið sjálfum sér nógir um orku í framtíðinni merkir að hér á landi: ( ) sé nóg af olíu næstu hundrað árin *( ) sé næg óbeisluð orka í íslenskri náttúru ( ) sé mikið af ónýttri vatnsorku til stóriðju ( ) verði alltaf hægt að afla orkuríkrar fæðu

Að meta beitingu Slík prófatriði meta skilning en krefjast þess jafnframt að nemendur sýni hvort þeir geti nýtt sér upplýsingar við ákveðnar aðstæður, beitt þeim. Mikilvægt er við gerð krossaspurninga sem meta skilning og beitingu að nemendur hafi ekki lært atriðin áður. Þá er verið að prófa þekkingu (minni), ekki skilning eða beitingu.

Dæmi um krossaspurningu sem metur beitingu Nemandi beitir þekkingu sinni til að lesa rétt af korti Íslandskort í mælikvarðanum 1:5000 000 (1 cm á kortinu jafngildir 50 km) Hver er fjarlægðin milli Borgarness og Blönduóss skv. kortinu? ( ) 70 km *( ) 170 km ( ) 270 km ( ) 370 km

Hvers þarf að gæta við samningu krossaspurninga. Byggt á N Hvers þarf að gæta við samningu krossaspurninga? Byggt á N. Gronlund 2003 (6 glærur) -1 Spurningin (prófverkefnið) meti fyrirfram skilgreindan námsafrakstur (learning outcome). Hefur með réttmæti að gera. Orða þarf stofninn í krossaspurningu það skýrt að meginefni hennar skiljist án þess að þurfa að lesa svarmöguleikana. Hefur með áreiðanleika að gera. Mikilvægt að hafa hnitmiðað og skýrt orðalag í stofni krossaspurningar til að forðast margræðni (ambiguity). Hefur með áreiðanleika að gera.

Krossaspurningar: Hvers þarf að gæta ... -2 Ekki endurtaka sömu orð og orðasambönd í svarmöguleikum, heldur setja það í eitt skipti fyrir öll í stofninn sem á við allt. Jákvætt orðalag í stofni fremur en neikvætt hefur hærra uppeldis- og menntunargildi og er því jafnan ákjósanlegra. Ef nota þarf neitanir í stofni þarf að undirstrika þær eða setja í hástafi svo þær sjáist örugglega. Ekki má orka tvímælis hvert er rétta svarið.

Krossaspurningar: Hvers þarf að gæta...-3 Gæta þarf að því að allir svarmöguleikar séu í jöfnu samræmi við stofninn, ekki bara rétta (réttasta) svarið. Ekki mega leynast vísbendingar í spurningaforminu. Forðast ber orðalag sem hjálpar nemendum að velja rétta svarið eða hafna röngu svari. Æskilegt að gera villusvör (distracters) freistandi svarmöguleika. Hafa breytilega lengd á réttu svörunum til að forðast vísbendingar.

Krossaspurningar: Hvers þarf að gæta...-4 Forðast ber að nota möguleikann “allt ofanritað er rétt” og möguleikinn “Ekkert af þessu er rétt” er varasamur. Hafa breytilega staðsetningu á rétta möguleikanum. Nota handahófskennda aðferð. Stýra má erfiðleika spurningar hvort sem er með efni stofnsins eða svarmöguleikum.

Krossaspurningar: Hvers þarf að gæta... - 5 Gæta að því að prófatriði standi sjálfstæð, innihaldi ekki upplýsingar sem nýtast í öðrum prófatriðum o.s.frv. Forðast ber að nota möguleikann “allt ofanritað er rétt” og möguleikinn “Ekkert af þessu er rétt” er varasamur. Framsetning prófatriða skiptir máli. Valmöguleikar séu í dálki. Skýrara fyrir nemendur, auðveldar yfirferð.

Krossaspurningar: Hvers þarf að gæta... -6 Gætt sé að stafsetningu og greinarmerkjasetningu. Hafa hugfast að krossaspurningar einar og sér duga ekki til að meta allt sem skiptir máli. Það er því ólíklegt að þær tryggi hátt réttmæti, þótt áreiðanleiki (stöðugleiki) sé góður. BRJÓTA MÁ ALLAR FRAMANGREINDAR REGLUR SÉ ÞESS ÞÖRF! N. Gronlund 2003

Fjölval: Annað en krossaspurningar Ef aðeins er um að ræða tvo svarmöguleika er heppilegra að nota rétt-rangt (True-False) spurningu. Ef um er að ræða marga sambærilega þætti getur verið betra að nota pörunarspurningar (Matching exercise). Ef verið er að meta greiningu, túlkun eða aðra flóknari þætti náms getur verið heppilegra að velja túlkunarverkefni (Interpretive exercise).

Rétt-rangt (S/Ó) verkefni Mismunandi útfærslur til: Já/nei, sammála/ósammála, satt/ósatt eða jafnvel staðreynd/skoðun. Stundum er um að ræða safn af skyldum S/Ó spurningum í sama prófverkefni. Hvað af eftirfarandi... Heppilegt að nota S/Ó spurningar og biðja nemendur svo að rökstyðja svarið

Dæmi um Rétt-rangt (S/Ó) verkefni Hver eftirfarandi hugtaka eru notuð yfir myndir orku (orkuform)? Settu hring utan um S ef orðið er notað yfir myndir orku (orkuform),settu annars hring um Ó. S Ó Stöðuorka S Ó Ljósorka S Ó Hraðaorka S Ó Hreyfiorka S Ó Fæðuorka

Rétt-rangt (S/Ó) verkefni Atriði til að hafa í huga við samningu S/Ó spurninga: Mikilvægt að hafa fullyrðingar hnitmiðaðar með einungis einni meginhugmynd. Orðalag skýrt og án vafaatriða. Ekki nota óljóst orðalag Nota neitanir sparlega, einnig tvöfaldar neitanir. Prófar fremur lesskilning heldur en það sem átti að meta. Ekki spyrja um sanngildi skoðana nema þær tengist ákveðnum heimildum, einstaklingum o.s.frv.

Rétt-rangt (S/Ó) verkefni Atriði til að hafa í huga við samningu S/Ó spurninga: Ef um er að ræða mat á sambandi orsakar og afleiðingar, þá þurfa fullyrðingarnar að vera sannar. Varast að nota óþarfa vísbendingar, t.d. “alltaf”, “aldrei”, “aðeins”, “oftast” eða “stundum”.

Pörunarverkefni Í raun afbrigði af krossaspurningaforminu. Heppilegt er að skipta yfir í pörunarspurningar þegar sömu valmöguleikar eru síendurteknir í nokkrum krossaspurningum. Ath. styrkleika og veikleika pörunarspurninga

Pörunarverkefni Að hverju þarf að huga við samningu pörunarverkefna: Hafa prófatriðin einsleit, t.d. öll um vísindamenn og uppgötvanir þeirra. Hafa möguleikana ekki of marga, innan við 10. Hafa fjölda atriða í vinstri (forsendur) og hægri dálki (svör) ekki þann sama. Gefa má kost á fleiri en einni tengingu við sama svarmöguleika.

Dæmi um pörunarspurningu Í dálki I eru fullyrðingar um persónur sem komu við sögu við kristnitökuna á Íslandi. Í dálki II er nöfn nokkurra persóna sem þá komu við sögu. Dálkur I Árni Magnússon __ Hallur á Síðu __ Hjalti Skeggjason __ Snorri Sturluson ___ Þangbrandur __ Þorgeir Ljósvetningagoði __ Dálkur II A Lagðist undir feld til að hugsa B Lögsögumaður kristinna C Kristniboði Noregskonungs D Var heiðinn Lögsögumaður E Var skírður af Þangbrandi

Pörunarverkefni Að hverju þarf að huga við samningu pörunarverkefna: Æskilegt að hafa svörin í stafrófs- eða númeraröð. Tilgreina þarf í fyrirmælum hvað gildir, t.d. að nota megi sama svarmöguleika oftar en einu sinni. Láta pörunarverkefni ekki skiptast milli blaðsíðna í prófi.

Innfyllingaratriði (Supply type): Stutt svör Meta vel hvort nemendur muna og/eða skilja. Algengasta formið að nemendur fylli í eyður eða ljúki við fyllyrðingar. Reynir aðeins meira (öðru vísi) á vitsmunalega hæfileika nemenda en fjölvalsspurningaformið

Innfyllingaratriði (Supply type): Ritgerðir Gefa nemendum töluverðan sveigjanleika í að sýna þekkingu sína, skilning, ritfærni o.s.frv. Bjóða upp á skapandi og gagnrýna (higher order) hugsun. Hér skiptir miklu að hafa á hreinu hvaða “learning outcomes” er verið að meta og setja svo viðmið í mati miðað við það. Fer alveg eftir samhengi hversu skýr og nákvæm viðmið eru viðhöfð við mat. Öllu jöfnu minni áreiðanleiki en í fjölvalsspurningum

Innfyllingaratriði (Supply type): Sveigjanleg, skapandi ritun Val prófatriða er algerlega háð tilgangi, því hvað átti að meta og hversu mikils áreiðanleika er krafist. Tilgangur með skapandi ritunarverkefnum jafnt eins og öðrum skapandi og opnum (open-ended) verkefnum getur þess vegna verið að örva, hvetja og styðja við nám, en síður til að “mæla” árangur! Fjölvalsformið hentar við mælingar, en sveigjanleg og skapandi ritun e.t.v. frekar til að örva og styðja við nám. - MÞ október 2007

Við í hita leiksins: Hvernig metum við nám og námsframvindu? Hlutlægt/huglægt? Formlegt/óformlegt? Með samanburði? Við hvað? Er tilgangurinn að styðja við nám hvers og eins og/eða dæma um árangur? Námsmat: Hver metur? Hvenær? Hvað? Hvernig? Hvað er gert með niðurstöður? - MÞ október 2007

TVEIR MEGINSTRAUMAR: Samræmd „vitpróf” á 20. öld Skilvirknihugmyndin styðst fremur við hópbundna („relatífa“) túlkun niðurstaðna og einkunnagjöf...

TVEIR MEGINSTRAUMAR: Samræmd „vitpróf” á 20. öld ...báðar námskrárbundna/markmiðabundna („absolúta“) túlkun niðurstaðna og einkunnagjöf. Liberal-stefnan hafnar í raun öllu slíku í sinni tærustu mynd. Nefndarálit 1972: ...hallast frekar að þessu af því „obbi seinfærra nemenda á naumast möguleika á öðru en lágum einkunnum“ í hópbundna kerfinu „...og því er líklegt, að kerfið meini þeim námshvatningu, sem önnur kerfi gætu hugsanlega miðlað.“

HVAÐ TÍÐKAST...? Flokkun Blooms og fél... Vitsmunasvið - stigbundið kerfi Nýmyndun – skapandi hugsun Mat – gagnrýnin hugsun Greining Greining Beiting Skilningur Þekking - minni

HVAÐ TÍÐKAST Í SKÓLUM? Flokkun markmiða – áhrif frá atferliskenningu Bloom og fél – þekkingarsvið: Nýmyndun/Skapandi hugsun Mat/Gagnrýnin hugsun Greining Um 80% prófatriða á samræmdu lokapr. í náttúrufræði 2006 Beiting Skilningur Þekking/kunnátta

HVAÐ TÍÐKAST...? Hvað gerist í „svarta kassanum“? (Inside the black box) Input Output Áhrif frá pósitívisma, raunhyggju og atferlishyggju: Nám er röklegt, línulegt og mælanlegt Áhrif frá rökhyggju og hugsmíðihyggju: Nám er flókið, ófyrirséð, afstætt og erfitt að meta - MÞ október 2007

Samræmd „vitpróf” á 20. öld Eitt af aðalhlutverkum skólans er að þaulkynnast hverjum nemanda og uppgötva með öllum hugsanlegum ráðum, til hvers hann er bezt fallinn og hjálpa honum til að velja sér lífsstarf samkvæmt viti hans, hneigð og hæfni. Sérstök bók ætti að fylgja honum frá upphafi. Þar væri skráð ekki aðeins öll skólasaga hans, heldur og upplýsingar að heiman og úr umhverfinu. Þótt vitpróf leysi ekki alla þessa þraut, eru þau einn sá meginþáttur, sem ekki má án vera. Steingrímur Arason 1948 - MÞ október 2007

Framtíð samræmdra „vitprófa“? Rúnar Sigþórsson HA: „Eru samræmd próf barn liðins tíma, ein af lausnum gærdagsins á viðfangsefni morgundagsins?“ Krafan um einstaklingsmiðaða kennsluhætti og skóla fyrir alla hlýtur að teljast ógnun við samræmd „vitpróf“ í þeirri mynd sem við þekkjum þau í dag. EN...krafa hvers einstaklings um að fá sig metinn „með öllum hugsanlegum ráðum, til hvers hann er bezt fallinn … samkvæmt viti hans, hneigð og hæfni. – hlýtur að lifa áfram - MÞ október 2007