Stefán Hrafn Jónsson 27-2-2014 Gæði mælinga Stefán Hrafn Jónsson 27-2-2014

http://www.youtube.com/watch?v=pVeTexc4YgE

Mælingar Ferlið að setja tölur eða texta á einingar í úrvinnslu (t.d. einstaklinga) þannig að það endurspegli t.d. magn, styrk, umfang hugtaks. Dæmi: Hversu góð/góður/gott var kvikmyndin (4 ½ stjarna af 5 mögulegum), veitingastaðurinn (vondur matur en fín þjónusta) stefnumótið (algerlega mislukkað).

Lykilhugtök í mati á gæðum mælinga Áreiðanleiki mælinga Hversu stór hluti dreifingar á mæligildi er tilkomin vegna dreifingar í raungildi Hversu nákvæm mælingin er Réttmæti mælinga Hvort og hversu vel við mælum það sem við viljum/ætlum að mæla. Að við séum ekki að mæla eitthvað annað en það sem við ætlum að mæla

Lykilhugtök Líkan/módel (e. model) Dulin breyta (e. latent variable) Mælingamódel Dulin breyta (e. latent variable) Raungildi (sanngildi, e. true score) Mæligildi (e. observed score) Villa mælinga Ókerfisbundin villa Minnkar áreiðanleika og réttmæti Kerfisbundin villa Minnkar réttmæti

Samsettar mælingar Sumar mælingar eru samsettar úr atriðum (spurningum) sem eiga sameiginlega orsök Henta til þáttagreiningar og til að reikna Chronbacks alpha Sumar mælingar eru samsettar úr atriðum (spurningum) sem eiga ekki sameiginlega orsök (t.d. áföll) henta ekki til þáttagreiningar

Dulin breyta og atriði Hugmyndin að baki sambandinu á milli hugtaka, duldra breyta og mælinga er mjög mikilvæg Byggir á classical measurement theory sem mun nýtast mjög vel síðar. Sígilda mælingakenningin Grundvallarhugmynd er að dulin breyta hafi áhrif á hvernig fólk svarar spurningum (atriði). Ef breyta hefur áhrif á atriði má gera ráð fyrir fylgni þar á milli.

Mælingalíkan fyrir scale/index með sameiginlega orsök Dulin breyta Greind D sp1 sp3 sp2 e1 e2 e3 SP1 SP2 og SP3 eru þá þrjú atriði á greindarprófi.

Ókerfisbundin villa Þegar villan er óútskýranleg með öðrum mældum eða ómældum breytum er hún sögð ókerfisbundin Ókerfisbundin skekkja er ýmist + eða – Dæmi: Persóna A er nákvæmlega 65kg. A fer á sömu vigt, 50 sinnum og sér að mælingarnar flökta frá 64,2 til 65,8kg. Villan er ókerfisbundin +/- 0,8kg Ef A fer á vigtina 50 sinnum með bakpoka, fullan af skólabókum og fartölvu, sýnir vigtin 74,2 til 75,8kg Þá hefur bæst við kerfisbundin villa +10kg sem má að fullu skýra með þyngd skólatöskunnar. Auk þess er ókerfisbundna villan uppá +/- 0,8kg enn til staðar.

Ókerfisbundin villa (skekkja) Dæmi um ókerfisbundna villu (flökt í mælitæki) Vog sem er með skekkju. Stundum mælir vogin +1 gramm, stundum -1 gramm, stundum eitthvað þar á milli. Svo lítil skekkja skiptir ekki máli þegar þyngd fólks er mæld en getur skipt verulegu máli í efnafræðirannsóknum Námundun á næsta heila tug, hundruð eða eins og algengt er um verð á bílum, næsta 100.000kr

Kerfisbundin skekkja eða villa Þegar villan er útskýranleg (stærð og stefna) með öðrum mældum eða ómældum breytum er hún sögð kerfisbundin Oft þarf að sætta sig við skekkju, þá er best að skekkjan sé sem minnst. Bakpokinn á fyrri glæru er skýrt dæmi um kerfisbundna skekkju. Bakpokinn bætti alltaf við +10kg kerfisbundinni skekkju við mælinguna hjá þessum einstakling. Næsti nemandi gæti verið með 8kg bakpoka og sá þriðji með 12kg bakpoka.

Erum við að mæla það sem við viljum mæla eða eitthvað annað? Dulin breyta Lestrarkunnátta Dulin breyta Viðhorf T=true score 0,52 0,85 0,85 0,52 X1 Viðhorf Atriði 1 X2 Viðhorf Atriði 2 0,01 0,01 e1 e2 Ókerfisbundin villa atriði 1 Ókerfisbundin Villa atriði 2

Skekkjur og gæði mælinga Ókerfisbundin villa minnkar: Áreiðanleika mælinga og Réttmæti mælinga Kerfisbundin villa minnkar réttmæti mælinga

Mælingamódel Dulin breyta D Mæld breyta e1

Mælingamódel Dulin breyta e1 Mæld breyta X = T + E Observed score True score Error Mæligildi Sanngildi Villa Mæld breyta Dulin breyta Latent variable

Tilraun var framkvæmd 27.2.2014 20 nemandi fær úthlutuðum launum að geðþótta kennara Meðallaun eru 300 þús Nemendur bæta við (eða draga frá) handahófskenndri villu (A) við launin og gefa kennara upp „mæld laun“

Teiknum upp mælingalíkan fyrir laun

Dreifni σ2 = Dreifni = Staðalfrávik*Staðalfrávik σ2 =Variance = (Std.dev)2 Takið eftir að dreifni er mæld fyrri marga einstaklinga. Við erum ekki ennþá komin með margar mælingar (atriði) á sömu duldu breytunni.

Sígilda mælingakenningin Áreiðanleiki X = T + E Með nokkrum forsendum fæst: σ2X = σ2T+ σ2E σ2measure = σ2true+ σ2error σ2total = σ2true+ σ2error Allar þrjár formúlurnar hér að ofan segja það sama σ2 = variance, dreifni

Áreiðanleiki Skilgreinum áreiðanleika mælinga: rxx = áreiðanleiki mælinga (reliability) rxx = σ2true / (σ2true + σ2error) = σ2true / σ2 total rxx = σ2true = σ2true (σ2true + σ2error) σ2total

Áreiðanleiki er sá hluti heildadreifni (total variance) sem er tilkominn vegna dreifni á sanngildi (raungildi) Ef σ2true = 100 Og σ2error = 20 Þá er σ2total=120 rxx = 100/120 = 0,83 Áreiðanleiki er frá 0 til 1,0 Því hærri því betri

Mælingamódel Dulin breyta D 0,7 0,7 sp1 sp3 sp2 0,49 e1 e2 e3 Ef fylgnin á milli sp1 og sp2 er 0,49 og við gefum okkur það að fylgnin á milli D og Sp1 sé jöfn fylgninni á milli D og sp2 þá er fylgnin á milli D og sp1 0,7

Fylgnifylki Hversu margar duldar breytur eru líklegar til að skýra fylgnina á milli þessa atriða?

Fylgni á milli atriða Þáttagreining byggir fylgnitölum á milli atriða og finnur á svipaðan hátt og áður (0,7*0,7=0,49), fylgni á milli þátta og atriða sp1 sp4 sp5 sp2 sp3 0,74 -0,01 0,5 0,6 0,6 0,00 0,6 0,02 0,6 0,02 Takið eftir fylgni milli sp5 og annarra atriða

Mælingalíkan Dulin breyta D2 Dulin breyta D1 sp1 sp4 sp5 sp2 sp3 -0,03 0,006 0,99 0,8 0,8 0,9 0,9 sp1 sp4 sp5 sp2 sp3 0,74 0,5 0,6 0,6 0,6 0,6 Villuþáttum (e1 til e5) sleppt til að einfalda framsetningu líkansins

Mælingalíkan Þáttur (e. Factor, Component) Dulin breyta (e. Latent variable) Vídd Dulin breyta D2 Dulin breyta D1 Þáttahleðsla 0,99 0,8 0,8 0,9 0,9 sp1 sp4 sp5 sp2 sp3 Atriði (e. item) e1 e2 e4 e5 e3