OCENJEVANJE ZANESLJIVOSTI TESTA “V kolikšni meri na testne dosežke vplivajo slučajne napake?” Zanesljivost   Kaj je zanesljivost (2 (+1) koncept zanesljivosti)

X = T + E T = E(X) rTE = 0 Klasična testna teorija (teorija pravega dosežka): X = T + E T = E(X) rTE = 0

Koeficient zanesljivosti

Klasična testna teorija vs. teorija posplošljivosti Kadar hočemo meriti neko spremenljivko (vedenje), imamo po tej teoriji vedno opraviti s celotnim področjem ali univerzumom vedenj. Ker se univerzum vedno nanaša na zelo veliko število obnašanj v neki dejavnosti, se moramo iz čisto praktičnih razlogov odločiti za končni vzorec obnašanj. Končni vzorec vedenj je isto kot izmerjeni dosežek v klasični testni teoriji, tako kot je univerzalni dosežek isto kot pravi dosežek v klasični psihometrični teoriji. Razlika je v tem, da teorija posplošljivosti dopušča možnost različnih alternativnih možnih univerzumov generalizacije, pri katerih vsak vsebuje drugačne vire napake merjenja. Varianca napake je vse, kar sestavlja končni, dobljeni dosežek in ni pravi dosežek.

Varianca napake načeloma lahko “pride od koderkoli”, vendar: (i) Sestavljanje testa (npr. posledica t.i. vzorčenja nalog ali vzorčenja vsebine). (ii) Administriranje testa (vpliv testatorja ali medsebojnega vplivanja med testatorjem in testirancem ter testirančeva pozornost, pazljivost, natančnost, motivacija, fizično in psihično splošno počutje, prespanost, nivo testne anksioznosti, obremenjenost s čustvenimi problemi, trenutna podvrženost vplivu raznih poživljajočih ali pomirjajočih substanc ...; faktorji okolja (sobna temperatura, stopnja osvetlitve, prezračenost, hrup, prostornost in udobnost mesta testiranja za posameznika ...). (iii) Vrednotenje rezultatov ter interpretacija. Bolj ko je test objektiviziran pri postopkih vrednotenja in razlaganja izsledkov, manjša bo napaka merjenja, ki od tod izvira. Napako, ki od tod izvira, je zelo težko kontrolirati.  

Kritika KTT in koeficientov, ki izvirajo iz nje (npr. α) Največ očitkov predpostavki, da gre pri merjenju le za slučajne napake, ki med seboj ne korelirajo in tudi ne korelirajo s pravim dosežkom. Alwin (1989) - komponente, ki vplivajo na varianco izmerjenega dosežka: -       dejanska vrednost, -       lastnosti merskih postopkov, -       napake pri konceptualizaciji in operacionalizaciji, -       slučajne napake in -      napake, ki so sicer slučajne glede na dejanske vrednosti, a korelirajo med seboj pri ponovljenih meritvah. Ocena vseh komponent je praktično nemogoča, vendar lahko ocenimo vsaj nekatere od njih. KTT upošteva le (i) in (iv). Težava KTT – temelji na treh predpostavkah: o kongeneričnosti, o -enakovrednosti, o vzporednosti meritev.

X = T + E

Termini xi…neodvisne merske spremenljivke yi… odvisne merske spremenljivke ξ (Ksi)..eksogeni latentni konstruki η (eta)…endogeni latentni konstrukti γ (gama)…zveze med latentnimi konstrukti Λ (lambda)…zveze med merskimi spremenljivkami in latentnimi konstrukti Φ (fi)…korelacije med eksogenimi latentnimi konstrukti β (beta)…korelacije med endogenimi latentnimi konstrukti δ (delta)…napake merjenja pri odvisnih spremenljivkah ε (epsilon)…napake merjenja pri neodvisnih spremenljivkah ζ (zeta)…rezidualna varianca v strukturi Ψ (psi)…korelacija med rezidualnimi variancami v strukturi G … m x n matrika koeficientov eksogenih spr. x v strukturnem od. B … m x m matika koeficientov endogenih spr. h v strukturnem odnosu (B ima 0 v diagonali)

Merski modeli: odnos med pravimi dosežki na različnih meritvah (postavkah, testih) izbira & interpretacija postopka ocenjevanja zanesljivosti Naslednja težava KTT: temelji na treh predpostavkah: o kongeneričnosti, o -enakovrednosti, o vzporednosti meritev.

1. Kongenerični model: Pravi dosežki pri različnih meritvah so popolnoma korelirani (= testi / postavke merijo isto lastnost), T in X imajo lahko različne M in SD.

Predpostavka o kongeneričnosti

2a. V bistvu (esencialno) t - enakovredni model: Kongenerični model + meritve imajo enake prave variance, meritve imajo lahko različne dejanske M in SD.

2b. t - enakovredni model: Kongenerični model + pravi dosežki (in s tem prave variance) na različnih meritvah so enaki; meritve imajo lahko različne dejanske SD, vendar enake M.

α tudi počiva na teh predpostavkah; zakaj KTT vseeno še v uporabi? Predpostavka o -enakovrednosti α tudi počiva na teh predpostavkah; zakaj KTT vseeno še v uporabi?

Predpostavka o vzporednosti meritev:   KTT računa na popolno koreliranost dejanskih spremenljivk pri prvem in ponovljenem merjenju (predpostavlja, da vsi merski postopki merijo natanko eno in isto in da se dejanske vrednosti dosežka ne spreminjajo v času). rxx' = korelaciji med testom in retestom, pri čemer kovarianca med vzporednima meritvama daje oceno variance dejanske vrednosti odgovora. Vemo pa, da pri merjenju v več t točkah na r med izmerjenimi dosežki vpliva: -         (ne)stabilnost dejanskega dosežka v času, -         specifičnost metode -         mnogi drugi sistematični dejavniki. Zato nižji r med merami ne pomeni nujno tudi majhne zanesljivosti merjenja.

3. Vzporedni model: t - enakovredni model + meritve imajo enake variance napak in zato enake dejanske aritmetične sredine in variance.

Preverjanje predpostavk merskih modelov: pregled aritmetičnih sredin, varianc, kovarianc in korelacij, Predvsem pa: konfirmatorna faktorska analiza.

NAČINI OCENJEVANJA ZANESLJIVOSTI 1. ponovno testiranje, 2. enakovredne oblike, 3. notranja skladnost.

1. PONOVNA MERITEV (RETEST) Test po določenem času ponovno apliciramo. Zanesljivost = korelacija med dosežki na obeh testiranjih. Meritvi morata biti vzporedni (ni vpliva učenja, lastnost se ni spremenila).

2. ENAKOVREDNI OBLIKI Imamo vsaj dve inačici testa. Meritvi morata biti vzporedni (ni sistematičnega vpliva vzorčenja nalog ter vaje oz. učenja). Zanesljivost = korelacija med dosežki na obeh testiranjih.

3. NOTRANJA SKLADNOST (INTERNA KONSISTENTNOST) Test razdelimo na več (od 2 do n) eksperimentalno neodvisnih delov. Če ti deli merijo isto lastnost, so nepopolne korelacije posledica napake merjenja. Zadostuje eno testiranje (dele testa obravnavamo kot ločene meritve).

“Kovariance med postavkami so odraz prave variance postavk.” Cronbachov a koeficient: “Kovariance med postavkami so odraz prave variance postavk.”

Prednosti koeficienta a: enostavno izračunljiv in razumljiv, vzorčni a je nepristranska ocena populacijskega a, znana vzorčna porazdelitev.

Pomanjkljivost koeficienta a: a je enak zanesljivosti le, če so postavke vsaj v bistvu t-enakovredne; sicer je ocena spodnje meje zanesljivosti. Vendar: a je razmeroma dobra ocena zanesljivosti, če test ni izrazito multidimenzionalen.

Poseben primer a za dihotomno točkovane postavke je Kuder-Richardsonov obrazec št. 20

Dihotomne postavke z enakimi težavnostmi: Kuder-Richardsonov obrazec št. 21 Če so M oz. SD postavk različne, je KR21 nižji od KR20.

Zanesljivost časovno omejenih testov: 1. merjenje odgovornih časov ali 2. test razdelimo na več delov in jih ločeno apliciramo.

Spearman-Brownov obrazec: odnos med zanesljivostjo in dolžino testa. Ocena zanesljivosti, če: združimo n vzporednih postavk, test podaljšamo s homogenimi postavkami, iz testa izločimo naključno izbrane postavke.

Spearman-Brownov obrazec = a za standardizirane oz. vzporedne postavke

Razpolovitveni koeficient zanesljivosti: 1. test razdelimo na dva enaka dela (npr. parne in neparne postavke); 2. izračunamo skupni dosežek za vsak del posebej;

3a. Varianci obeh delov približno enaki: Spearman-Brownov obrazec. 3b. Varianci obeh delov različni: Guttmanov razpolovitveni koeficient.

SB obrazec k = koeficient zanesljivosti testa z dolžino k, k’ = test z drugačno dolžino (k’); n = ulomek k’/k oziroma dodano (odvzeto) število nalog

dvosmerna analiza variance: 1. faktor - osebe, 2. faktor - postavke. Hoytov postopek dvosmerna analiza variance: 1. faktor - osebe, 2. faktor - postavke. Notacija: N = št.subjektov n = št.postavk / ocenjevalcev Xs. = povprečni odgovor osebe s X.o = povprečni odgovor na postavki o / povprečna ocena ocenjevalca o, X.. = povprečje vseh odgovorov, Ts., T.o = skupni dosežek, vsota po postavki T.. = skupna vsota

Viri variance: 1. med subjekti: 2. med postavkami / ocenjevalci:

3. interakcija - rezidual: 4. skupna varianca:

Postopek je uporaben tudi pri dihotomnih postavkah, vendar lahko F - test izvedemo le, če so postavke na intervalni lestvici.

Spodnja meja intervala zaupanja za populacijski a: Fa = vrednost F porazdelitve pri N-1 in (N-1)(n-1) stopnjah svobode pri želenem p.

Tabela 6. 1: Podatki za primer analize zanesljivosti (angl Tabela 6.1: Podatki za primer analize zanesljivosti (angl. reliability analysis) Rezultati po nalogah Testni rezultati Oseba 1 2 3 4 5 6 7 8 Skupaj (X) Neparni Parni ... P (pravilno) 0.4 0.3 0.5 0.6 0.7 0.8 Q 0.2 2 0.24 0.21 0.25 0.16 9.60 2.45 2.67

(A) Koeficient alfa: (B) Kuder-Richardsonova formula KR20 - zgolj varianta formule (A) (C) “Split-half” koeficient zanesljivosti:

-         kako zanesljivi so različni testi

Interpretacija koeficienta zanesljivosti (VIRI VARIABILNOSTI različni za različne rxx'): rxx' = 0,82 (???) kaj merimo (inteligentnost, znanje, specifične sposobnosti, veščine, osebnostne lastnosti, temperament, stališča, vrednote ...) kakšen koeficient smo računali  

Od kod pride napaka merjenja? Pozor: irelevantni konstantni dejavniki niso napaka merjenja (npr. testna anksioznost)!

vzporedne testne oblike, različni dnevi (isti test - različni dnevi) Tabela 6.2: Kaj pomeni “napaka” glede na različne postopke preverjanja zanesljivosti Viri variabilnosti, ki zvečujejo dano E, kadar podatke dobimo z različnimi postopki: interna konsistentnost vzporedne testne oblike, isti dan vzporedne testne oblike, različni dnevi test-retest (isti test - različni dnevi) Trenutna nepozornost, sreča pri ugibanju. x Neposrečena izbira določenega niza nalog, ki predstavlja neko področje (lastnost). Zdravje, počutje ali druga trenutna stanja testiranca. Spremembe v motivaciji od trenutka do trenutka. Možnost za učenje, ki v času pri osebah povzroči spremembo stanja.

- vpliv omejenosti obsega na zanesljivost r = .90 Restr. r = .30 Test B Restr. Test A

Vpliv napake merjenja na korelacijo med t. rezultatom in kriterijem

Kako izboljšamo zanesljivost testa? povečati objektivnost testa izločiti najtežje in prelahke naloge in jih nadomestiti s srednje težkimi popraviti testni rezultat za stopnjo možnosti ugibanja (pri nalogah izbirnega tipa) podaljšati test uporabiti sestavljen niz testov

Zanesljivost sestavljenih dosežkov (kadar je zanesljivost komponent večja od korelacije z drugimi komponentami) Standardizirane vrednosti:

Zanesljivost sestavljenih dosežkov

Opomba: N = 1080. Koeficienti lestvice IQ in faktorsko osnovane lestvice so bile izračunane po obrazcu za zanesljivost kompozita (Nunnally, 1978); vrednosti za dodatne podteste (Obseg številk, Labirinti, Iskanje simbolov) niso bile vključene v te izračune. b Povprečni rxx je bil izračunan s pretvorbo v Fisherjeve z vrednosti. d Koeficienti zanesljivosti so računani kot Cronbachovi alfa koeficienti notranje skladnosti. Glede na tabelo 4.3a, v kateri beremo razpolovitvene koeficente notranje skladnosti, so nižji, saj je znano, da se razpolovitveni koeficienti nagibajo k precenjevanju, alfa koeficienti pa k podcenjevanju ocene zanesljivosti.

Zanesljivost Za celotni preizkus je računan indeks zanesljivosti (IZ) kot koeficient notranje skladnosti nalog v preizkusu (Cronbachov ). - število nalog pri izpitu - varianca skupnega relativnega števila točk pri izpitu - varianca relativnih točk pri določeni nalogi Gašper Cankar (RIC) - doktorska teza:   »Standardna napaka ocenjevalnega procesa pri testih dosežka« Izpeljava stand. napake ocenjevalnega procesa (SNOP) kot mere subjektivnosti ocenjevanja. SNOP predstavlja del variance, ki se nanaša na spremenljivost zaradi različnih pogojev ocenj. Cankar, G. (2004). Standardna napaka rezultatov ocenjevalnega procesa preizkusov znanja. Psihološka obzorja/Horizons of Psychology, 13(3), 63-76.

Vzporedni Testi Testne Serije Testne Baterije Testni Profili Vzporedne oblike testa. · dolžina; · vrsta uporabe in formalni kriteriji (čas testiranja, navodila, oblika testnega zvezka in odgovornega lista); · težavnost posameznih nalog v testu, razporeditev po težavnost (krivulja!) kakor tudi težavnost celotnega testa; · zanesljivost in veljavnost (oba testa isto strukturo – pri faktorsko čistih ali večfaktorskih testih).

Lienert in Raatz (1994): enakovrednost v … veljavnosti, zanesljivosti, karakteristikah razpršenosti in lastnostih frekvenčne porazdelitve pri posameznih nalogah in v celotnem testu  

The main idea: Testna serija: testi, ki se razlikujejo v povprečni težavnosti, vse ostale karakteristike testov v seriji pa so enake (Binetarij, Wechslerjeve lestvice) Testna serija WPPSI/WISC/WAIS mora imeti primerljive IQ: (i) za isto osebo skozi različne razvojne stopnje, (ii) za različne osebo na isti razvojni stopnji, (iii) za različne osebo skozi različne razvojne stopnje … 4 do 8 WPPSI WISC 6 do 17 15  WAIS

Testne baterije in testni profili. Bistveno: (i) da je položaj posameznika prikazan relativno glede na “referenčno skupino”, torej da je normiran glede na relevantne oziroma primerljive udeležence in (ii) da so vsi rezultati in podrezultati na isti merski lestvici (z-vrednosti ali Z-vrednosti, ali pa so percentili, T- oziroma C-lestvica.