KHÍ Nám og kennsla: Inngangur -Námsmat-

Παρουσίαση με θέμα: "KHÍ Nám og kennsla: Inngangur -Námsmat-"— Μεταγράφημα παρουσίασης:

1 KHÍ Nám og kennsla: Inngangur -Námsmat-
MÞ/JK 23. október 2007 - MÞ október 2007

2 Tvenns konar sýn á eðli námsmats: Hvað gerist í „svarta kassanum“
¿ ¼ Θ Ё ≠      Input Output Skýr markmið og allir settir undir sömu mælistiku: Röklegt, línulegt og mælanlegt Opin markmið: Ófyrirséð, afstætt og þörf á fjölbreytilegu námsmati, einstaklingsviðmið - MÞ október 2007

3 Leiðarbók með þessum námsþætti
Tvenns konar áherslur: Áhersla á samræmd viðmið, mælingar, samræmd próf og samanburðarrannsóknir. Hins vegar á námsmat sem gerist á vettvangi í hita leiksins, þar sem kennarar eru í lykilhlutverki, jafnt við að meta sem og að skapa aðstæður til sjálfsmats, jafningjamats o.s.frv. Það síðarnefnda þykir sérstaklega mikilvægt þegar svonefnt leiðsagnarmat er annars vegar (formative assessment) og einnig þegar beita á námsmati sem lið í námi. Fjallaðu um leiðir kennara gætu gripið til í þeim tilgangi að tryggja vandað, heiðarlegt og réttmætt námsmat í starfi sínu. - MÞ október 2007

4 NÁMSMAT Nokkur mikilvæg hugtök sbr. F. Parkay
Formlegt og óformlegt mat Hefðbundið og óhefðbundið mat Megindlegt (quantitative) og eigindlegt (qualitative) Hlutlægt og huglægt Leiðsagnarmat og lokamat Hópmiðað mat (norm-referenced) og markviðmiðað mat (criterion-referenced) Möppumat (portfolio assessment), sjálfsmat (self-assessment), jafningjamat (peer-assessment), frammistöðumat (performance assessment), rauntengt mat (authentic assessment) Réttmæti og áreiðanleiki - MÞ október 2007

5 NÁMSMAT – Assessment for/of/as learning
Námsmat: Mat á árangri og framvindu náms. Nær bæði til nemenda sjálfra, hegðunar þeirra, hugsunar og frammistöðu og einnig til verka þeirra, til dæmis skriflegra svara á prófum, hugverka eða handverka. D. Rowntree, N. Gronlund, W. Harlen, Ó.Proppé Norman Gronlund: Mikilvægt er að greina að árangur sjálfs námsins annars vegar og hegðunarþætti hins vegar. - MÞ október 2007

6 Lykilspurningar Er ljóst hver er tilgangur námsmatsins?
Er ljóst hvað á að meta? Hvaða aðferðir þessum tilgangi og matsþáttum? Hvaða dæmi um þekkingu, leikni, færni má tilgreina? Hverjir eiga að meta? Hvenær á að meta? Hvernig viðmið eru við hæfi? Hvernig tökum við á álitamálum? Hvernig eigum við að vinna úr niðurstöðum og túlka þær? Hvað svo? Að hvaða marki er hægt að tryggja og gera alla meðvitaða um samræmi milli markmiða og námsmats? Sbr. J. Hearne, R. Stiggins, D. Rowntree o.fl.

7 Tilgangur námsmats... Langalgengast:
Stuðningur við nám og kennslu, leiðsagnarmat (e. formative assessment, assessment for learning). Að gefa upplýsingar (samantekt/uppgjör) um námsárangur við lok námstíma/námsáfanga. yfirlitsmat – lokamat (e. summative assessment, assessment of learning) Einnig: Endurgjöf – styrking, að efla áhugahvöt, greining, mat á stöðu, samanburður/röðun, þáttur í mati á skólastarfi og menntarannsóknum

8 Hvað er metið? Sbr. MARKMIÐ tengd atferlismarkmiðum
Bloom og fél. – þekkingarsvið/vitsmunasvið: Nýmyndun/Skapandi hugsun Mat/Gagnrýnin hugsun Greining Um 80% prófatriða á samræmdu lokapr. í náttúrufræði 2006 Beiting Skilningur Þekking/kunnátta

9 Hvað ætti að meta? Tveir stórir flokkar til viðbótar hjá Bloom og fél.
Svið viðhorfa og tilfinninga (affective domain - feeling, emotions - attitude - 'feel‘) – Hefur að gera með frumkvæði, viðhorf, ábyrgð, áhuga, þátttöku, samygð o.fl. Svið leikni og færni (psychomotor domain - physical skills - 'do') – Hefur að gera með verklega frammistöðu, sköpun, framkvæmd, verklagni, “performance” o.s.frv. Hvað annað gæti verið metið? Eitthvað ófyrirséð í fari nem., sbr. eigindlegt (kvalítatíft) mat.

10 Hvaða leiðir höfum við til að meta? Matsaðferðir
Formlegt mat: Sérstakar, uppstilltar aðstæður Próf: stöðupróf, samræmd próf, yfirlitspróf, stöðluð próf, könnunarpróf, heimapróf, hóppróf, “svindlpróf”, munnleg próf... Óformlegt mat: Námsmat samofið námi og kennslu: Óhefðbundið námsmat: Rauntengt og heildrænt námsmat (e. authentic assessment), oftast við lausn verkefna sem eru tengd raunverulegum aðstæðum og tengjast margþættri kunnáttu og færni. Fleiri leiðir til að meta: Þrautalausnir, sýnismöppur, verkmöppur, gátlistar, marklistar, dagbækur, viðtöl, sjálfsmat, jafningjamat, virkniathuganir, “rubrics”.

11 Valkostir við gerð hefðbundins skriflegs prófs
Valið stendur milli: Fjölvalsprófatriða (Selection-Type Items): krossaspurningar, rétt-rangt spurningar, pörunarspurningar og túlkunarverkefni. Og Innfyllingaratriða (Supply-Type Items): Stutt eyðufyllingasvör, stuttar ritgerðaspurningar, lengri ritgerðaverkefni.

12 Margs er að gæta við prófsamningu
Huga þarf að: Orðalagi svo prófatriðið greini örugglega milli þeirra sem kunna og þeirra sem ekki kunna og nemendur skilji fyrirmæli rétt. Fjölda prófatriða og lengd prófs: Þetta fer eftir aðstæðum, aldri nem., próftíma, tegundum prófatriða, til hvers á að nota niðurstöður. Hversu hás réttmætis er krafist? Hvernig prófatriðum er komið fyrir-raðað upp? Svipuð atriði saman. Erfiðari atriði síðast.

13 Fjölval: Túlkunarverkefni (Interpretive exercises)
Sett er fram einhvers konar kynningarefni, t.d. texti, tafla, graf, kort eða mynd og ýmis færni er metin út frá því með fjölvalsspurningu, t.d. greining, læsi á upplýsingar eða túlkun. Kostir/styrkleikar: Mat auðvelt, auðveldasta leiðin til að meta “læsi” og ýmsa hæfni til að tengja sbr. PISA. Hægt að meta flókin “learning outcomes” Ókostir/veikleikar: Erfitt að semja. Hætta á óáreiðanleika og lágu réttmæti, hætta á vísbendingum, reynir ekki á sköpun og gagnr. hugsun

14 Dæmi um túlkunarverkefni í PISA rannsókn OECD
- MÞ október 2007

15 Túlkunarverkefni Að hverju þarf að huga við samningu túlkunarverkefna:
Velja kynningarefni sem hæfir þeim námsþáttum (learning outcomes) sem á að meta. Velja kynningarefni sem er hæfilega framandi. Hafa efnið hnitmiðað og læsilegt. Ekki hafa spurningar þannig að hægt sé að svara þeim út frá almennri þekkingu, án þess að horfa á kynningarefnið. Fylgja má vinnureglum um fjölvalsverkefnaform.

16 Fjölval: krossaspurningar
Langalgengasta gerðin af prófatriðum Má nota til að meta margvíslegan námsafrakstur (learning outcomes). Eru vönduð prófatriði ef rétt er staðið að samningu og eru jafnan trygging fyrir miklum stöðugleika (áreiðanleika). Veikleikar: Ekki ákjósanleg til að meta “higher-order thinking”. Erfitt að ná háu réttmæti með krossaspurningum einum saman. Erfitt að semja þær. - MÞ október 2007

17 Meginverkefni námskeiðsins
Tveir til fimm vinna saman að þróun námsmats er tengist námi og kennslu í þeirra starfi. Meginfókus á að skilgreina matsþætti og aðferðir: Þ.e. hvað er metið og hvernig er metið? Huga að samhengi milli markmiða og “learning outcomes” (sbr. réttmæti). Hvernig tengist verkefnið heildarstefnu skólans um námsmat? Kynna verkefnið síðar á námskeiðinu og fá umræðu um það

18 Eðli krossaspurninga Námskeið um námsmat Merki/ Bókstafur Viðfangsefni
Merki/ Bókstafur Viðfangsefni Athuga v/námskeiðs Aldís Guðmundsdóttir Ágústína Jónsdóttir

19 Að meta þekkingu/minni
Hentar mjög vel krossaspurningaforminu Reynir mest á hvort nemendur muna staðreyndir, heiti, reglur o.s.frv. Getur spannað yfir mjög vítt svið: orðaforði, merking hugtaka, flokkun, sértæk þekking, orsakir, afleiðingar o.s.frv.

20 Dæmi um krossaspurningu sem metur þekkingu – reynir á minni
Tveir menn komu mikið við sögu þegar kristni var lögtekin á Íslandi. Þeir voru: ( ) Haraldur lúfa og Þangbrandur ( ) Þorsteinn surtur og Þorgeir Ljósvetningagoði *( ) Hallur á Síðu og og Þorgeir Ljósvetningagoði ( ) Gissur hvíti og Gísli Súrsson

21 Að meta skilning Krossaspurning:
Hentar vel til að fá hugmyndir um hversu vel nemandi skilur meginefnið án þess að láta hann beita skilningi sínum í rituðu máli. Gefur möguleika á að meta merkingu (þýðingu), hvort nem. finnur dæmi um eða spáir fyrir um.

22 ( ) sé nóg af olíu næstu hundrað árin
Dæmi um krossaspurningu sem metur skilning Nemandi túlkar merkingu hugmyndar. Sú fullyrðing að Íslendingar geti orðið sjálfum sér nógir um orku í framtíðinni merkir að hér á landi: ( ) sé nóg af olíu næstu hundrað árin *( ) sé næg óbeisluð orka í íslenskri náttúru ( ) sé mikið af ónýttri vatnsorku til stóriðju ( ) verði alltaf hægt að afla orkuríkrar fæðu

23 Að meta beitingu Slík prófatriði meta skilning en krefjast þess jafnframt að nemendur sýni hvort þeir geti nýtt sér upplýsingar við ákveðnar aðstæður, beitt þeim. Mikilvægt er við gerð krossaspurninga sem meta skilning og beitingu að nemendur hafi ekki lært atriðin áður. Þá er verið að prófa þekkingu (minni), ekki skilning eða beitingu.

24 Dæmi um krossaspurningu sem metur beitingu Nemandi beitir þekkingu sinni til að lesa rétt af korti
Íslandskort í mælikvarðanum 1: (1 cm á kortinu jafngildir 50 km) Hver er fjarlægðin milli Borgarness og Blönduóss skv. kortinu? ( ) 70 km *( ) 170 km ( ) 270 km ( ) 370 km

25 Hvers þarf að gæta við samningu krossaspurninga. Byggt á N
Hvers þarf að gæta við samningu krossaspurninga? Byggt á N. Gronlund 2003 (6 glærur) -1 Spurningin (prófverkefnið) meti fyrirfram skilgreindan námsafrakstur (learning outcome). Hefur með réttmæti að gera. Orða þarf stofninn í krossaspurningu það skýrt að meginefni hennar skiljist án þess að þurfa að lesa svarmöguleikana. Hefur með áreiðanleika að gera. Mikilvægt að hafa hnitmiðað og skýrt orðalag í stofni krossaspurningar til að forðast margræðni (ambiguity). Hefur með áreiðanleika að gera.

26 Krossaspurningar: Hvers þarf að gæta ... -2
Ekki endurtaka sömu orð og orðasambönd í svarmöguleikum, heldur setja það í eitt skipti fyrir öll í stofninn sem á við allt. Jákvætt orðalag í stofni fremur en neikvætt hefur hærra uppeldis- og menntunargildi og er því jafnan ákjósanlegra. Ef nota þarf neitanir í stofni þarf að undirstrika þær eða setja í hástafi svo þær sjáist örugglega. Ekki má orka tvímælis hvert er rétta svarið.

27 Krossaspurningar: Hvers þarf að gæta...-3
Gæta þarf að því að allir svarmöguleikar séu í jöfnu samræmi við stofninn, ekki bara rétta (réttasta) svarið. Ekki mega leynast vísbendingar í spurningaforminu. Forðast ber orðalag sem hjálpar nemendum að velja rétta svarið eða hafna röngu svari. Æskilegt að gera villusvör (distracters) freistandi svarmöguleika. Hafa breytilega lengd á réttu svörunum til að forðast vísbendingar.

28 Krossaspurningar: Hvers þarf að gæta...-4
Forðast ber að nota möguleikann “allt ofanritað er rétt” og möguleikinn “Ekkert af þessu er rétt” er varasamur. Hafa breytilega staðsetningu á rétta möguleikanum. Nota handahófskennda aðferð. Stýra má erfiðleika spurningar hvort sem er með efni stofnsins eða svarmöguleikum.

29 Krossaspurningar: Hvers þarf að gæta... - 5
Gæta að því að prófatriði standi sjálfstæð, innihaldi ekki upplýsingar sem nýtast í öðrum prófatriðum o.s.frv. Forðast ber að nota möguleikann “allt ofanritað er rétt” og möguleikinn “Ekkert af þessu er rétt” er varasamur. Framsetning prófatriða skiptir máli. Valmöguleikar séu í dálki. Skýrara fyrir nemendur, auðveldar yfirferð.

30 Krossaspurningar: Hvers þarf að gæta... -6
Gætt sé að stafsetningu og greinarmerkjasetningu. Hafa hugfast að krossaspurningar einar og sér duga ekki til að meta allt sem skiptir máli. Það er því ólíklegt að þær tryggi hátt réttmæti, þótt áreiðanleiki (stöðugleiki) sé góður. BRJÓTA MÁ ALLAR FRAMANGREINDAR REGLUR SÉ ÞESS ÞÖRF! N. Gronlund 2003

31 Fjölval: Annað en krossaspurningar
Ef aðeins er um að ræða tvo svarmöguleika er heppilegra að nota rétt-rangt (True-False) spurningu. Ef um er að ræða marga sambærilega þætti getur verið betra að nota pörunarspurningar (Matching exercise). Ef verið er að meta greiningu, túlkun eða aðra flóknari þætti náms getur verið heppilegra að velja túlkunarverkefni (Interpretive exercise).

32 Rétt-rangt (S/Ó) verkefni
Mismunandi útfærslur til: Já/nei, sammála/ósammála, satt/ósatt eða jafnvel staðreynd/skoðun. Stundum er um að ræða safn af skyldum S/Ó spurningum í sama prófverkefni. Hvað af eftirfarandi... Heppilegt að nota S/Ó spurningar og biðja nemendur svo að rökstyðja svarið

33 Dæmi um Rétt-rangt (S/Ó) verkefni
Hver eftirfarandi hugtaka eru notuð yfir myndir orku (orkuform)? Settu hring utan um S ef orðið er notað yfir myndir orku (orkuform),settu annars hring um Ó. S Ó Stöðuorka S Ó Ljósorka S Ó Hraðaorka S Ó Hreyfiorka S Ó Fæðuorka

34 Rétt-rangt (S/Ó) verkefni
Atriði til að hafa í huga við samningu S/Ó spurninga: Mikilvægt að hafa fullyrðingar hnitmiðaðar með einungis einni meginhugmynd. Orðalag skýrt og án vafaatriða. Ekki nota óljóst orðalag Nota neitanir sparlega, einnig tvöfaldar neitanir. Prófar fremur lesskilning heldur en það sem átti að meta. Ekki spyrja um sanngildi skoðana nema þær tengist ákveðnum heimildum, einstaklingum o.s.frv.

35 Rétt-rangt (S/Ó) verkefni
Atriði til að hafa í huga við samningu S/Ó spurninga: Ef um er að ræða mat á sambandi orsakar og afleiðingar, þá þurfa fullyrðingarnar að vera sannar. Varast að nota óþarfa vísbendingar, t.d. “alltaf”, “aldrei”, “aðeins”, “oftast” eða “stundum”.

36 Pörunarverkefni Í raun afbrigði af krossaspurningaforminu.
Heppilegt er að skipta yfir í pörunarspurningar þegar sömu valmöguleikar eru síendurteknir í nokkrum krossaspurningum. Ath. styrkleika og veikleika pörunarspurninga

37 Pörunarverkefni Að hverju þarf að huga við samningu pörunarverkefna:
Hafa prófatriðin einsleit, t.d. öll um vísindamenn og uppgötvanir þeirra. Hafa möguleikana ekki of marga, innan við 10. Hafa fjölda atriða í vinstri (forsendur) og hægri dálki (svör) ekki þann sama. Gefa má kost á fleiri en einni tengingu við sama svarmöguleika.

38 Dæmi um pörunarspurningu
Í dálki I eru fullyrðingar um persónur sem komu við sögu við kristnitökuna á Íslandi. Í dálki II er nöfn nokkurra persóna sem þá komu við sögu. Dálkur I Árni Magnússon __ Hallur á Síðu __ Hjalti Skeggjason __ Snorri Sturluson ___ Þangbrandur __ Þorgeir Ljósvetningagoði __ Dálkur II A Lagðist undir feld til að hugsa B Lögsögumaður kristinna C Kristniboði Noregskonungs D Var heiðinn Lögsögumaður E Var skírður af Þangbrandi

39 Pörunarverkefni Að hverju þarf að huga við samningu pörunarverkefna:
Æskilegt að hafa svörin í stafrófs- eða númeraröð. Tilgreina þarf í fyrirmælum hvað gildir, t.d. að nota megi sama svarmöguleika oftar en einu sinni. Láta pörunarverkefni ekki skiptast milli blaðsíðna í prófi.

40 Innfyllingaratriði (Supply type): Stutt svör
Meta vel hvort nemendur muna og/eða skilja. Algengasta formið að nemendur fylli í eyður eða ljúki við fyllyrðingar. Reynir aðeins meira (öðru vísi) á vitsmunalega hæfileika nemenda en fjölvalsspurningaformið

41 Innfyllingaratriði (Supply type): Ritgerðir
Gefa nemendum töluverðan sveigjanleika í að sýna þekkingu sína, skilning, ritfærni o.s.frv. Bjóða upp á skapandi og gagnrýna (higher order) hugsun. Hér skiptir miklu að hafa á hreinu hvaða “learning outcomes” er verið að meta og setja svo viðmið í mati miðað við það. Fer alveg eftir samhengi hversu skýr og nákvæm viðmið eru viðhöfð við mat. Öllu jöfnu minni áreiðanleiki en í fjölvalsspurningum

42 Innfyllingaratriði (Supply type): Sveigjanleg, skapandi ritun
Val prófatriða er algerlega háð tilgangi, því hvað átti að meta og hversu mikils áreiðanleika er krafist. Tilgangur með skapandi ritunarverkefnum jafnt eins og öðrum skapandi og opnum (open-ended) verkefnum getur þess vegna verið að örva, hvetja og styðja við nám, en síður til að “mæla” árangur! Fjölvalsformið hentar við mælingar, en sveigjanleg og skapandi ritun e.t.v. frekar til að örva og styðja við nám. - MÞ október 2007

43 Við í hita leiksins: Hvernig metum við nám og námsframvindu?
Hlutlægt/huglægt? Formlegt/óformlegt? Með samanburði? Við hvað? Er tilgangurinn að styðja við nám hvers og eins og/eða dæma um árangur? Námsmat: Hver metur? Hvenær? Hvað? Hvernig? Hvað er gert með niðurstöður? - MÞ október 2007

44 TVEIR MEGINSTRAUMAR: Samræmd „vitpróf” á 20. öld
Skilvirknihugmyndin styðst fremur við hópbundna („relatífa“) túlkun niðurstaðna og einkunnagjöf...

45 TVEIR MEGINSTRAUMAR: Samræmd „vitpróf” á 20. öld
...báðar námskrárbundna/markmiðabundna („absolúta“) túlkun niðurstaðna og einkunnagjöf. Liberal-stefnan hafnar í raun öllu slíku í sinni tærustu mynd. Nefndarálit 1972: ...hallast frekar að þessu af því „obbi seinfærra nemenda á naumast möguleika á öðru en lágum einkunnum“ í hópbundna kerfinu „...og því er líklegt, að kerfið meini þeim námshvatningu, sem önnur kerfi gætu hugsanlega miðlað.“

46 HVAÐ TÍÐKAST...? Flokkun Blooms og fél... Vitsmunasvið - stigbundið kerfi
Nýmyndun – skapandi hugsun Mat – gagnrýnin hugsun Greining Greining Beiting Skilningur Þekking - minni

47 HVAÐ TÍÐKAST Í SKÓLUM? Flokkun markmiða – áhrif frá atferliskenningu
Bloom og fél – þekkingarsvið: Nýmyndun/Skapandi hugsun Mat/Gagnrýnin hugsun Greining Um 80% prófatriða á samræmdu lokapr. í náttúrufræði 2006 Beiting Skilningur Þekking/kunnátta

48 HVAÐ TÍÐKAST...? Hvað gerist í „svarta kassanum“? (Inside the black box)
Input Output Áhrif frá pósitívisma, raunhyggju og atferlishyggju: Nám er röklegt, línulegt og mælanlegt Áhrif frá rökhyggju og hugsmíðihyggju: Nám er flókið, ófyrirséð, afstætt og erfitt að meta - MÞ október 2007

49 Samræmd „vitpróf” á 20. öld
Eitt af aðalhlutverkum skólans er að þaulkynnast hverjum nemanda og uppgötva með öllum hugsanlegum ráðum, til hvers hann er bezt fallinn og hjálpa honum til að velja sér lífsstarf samkvæmt viti hans, hneigð og hæfni. Sérstök bók ætti að fylgja honum frá upphafi. Þar væri skráð ekki aðeins öll skólasaga hans, heldur og upplýsingar að heiman og úr umhverfinu. Þótt vitpróf leysi ekki alla þessa þraut, eru þau einn sá meginþáttur, sem ekki má án vera. Steingrímur Arason 1948 - MÞ október 2007

50 Framtíð samræmdra „vitprófa“?
Rúnar Sigþórsson HA: „Eru samræmd próf barn liðins tíma, ein af lausnum gærdagsins á viðfangsefni morgundagsins?“ Krafan um einstaklingsmiðaða kennsluhætti og skóla fyrir alla hlýtur að teljast ógnun við samræmd „vitpróf“ í þeirri mynd sem við þekkjum þau í dag. EN...krafa hvers einstaklings um að fá sig metinn „með öllum hugsanlegum ráðum, til hvers hann er bezt fallinn … samkvæmt viti hans, hneigð og hæfni. – hlýtur að lifa áfram - MÞ október 2007