Množično vrednotenje nepremičnin II Množično vrednotenje nepremičnin II-4 Napredne metode analiz podatkov in oblikovanja modelov.

Παρουσίαση με θέμα: "Množično vrednotenje nepremičnin II Množično vrednotenje nepremičnin II-4 Napredne metode analiz podatkov in oblikovanja modelov."— Μεταγράφημα παρουσίασης:

1 Množično vrednotenje nepremičnin II Množično vrednotenje nepremičnin II-4 Napredne metode analiz podatkov in oblikovanja modelov

2 Rudarjenje podatkov 2 Rudarjenje podatkov označuje skupino različnih metod, ki služijo odkrivanju značilnosti podatkov podatkovne baze ter razvoju matematičnih modelov, ki opredeljujejo te značilnosti: -metode za opisno indukcijo (povezovalna pravila, združevanje v skupine ipd.); -metode za napovedovanje in klasifikacijo (odločitvena drevesa, modelna drevesa, nevronske mreže …). Poljuben pojav, ki se izraža z več lastnostmi, lahko zapišemo z vektorjem X: p …razsežnost vektorja X, Xi …spremenljivke vektorja X.

3 Rudarjenje podatkov 3 Spremenljivke X i predstavljajo različne lastnosti nepremičnin in nepremičninskih transakcij in lahko nastopajo kot: - nominalne spremenljivke (kvalitativne, ki jih ni mogoče urediti po velikosti); - ordinalne spremenljivke (kvalitativne, ki jih je mogoče urediti po velikosti), - intervalne spremenljivke (temeljijo na numerični skali) in - racionalne spremenljivke. Realizacija vektorja X:

4 Metode združevanja v skupine 4 Metode združevanja skupin je tehnika, ki jo uporabljamo za združevanje vzorcev v skupine. Poznamo: -hierarhične metode združevanja v skupine in -nehierarhične metode združevanja v skupine. Združevanje v skupine se opravi na temelju mere podobnosti. Metode hierarhičnega združevanja v skupine se razlikujejo glede na način izračuna mere podobnosti (razdalje) med skupinami: -metoda centroidov – razdalja med centroidoma dveh skupin. -metoda enojne povezanosti – razdalja je enaka najmanjši možni razdalji med pari vzorcev med dvema skupinama; -metoda polne povezanosti – razdalja je definirana z največjo razdaljo med vsemi možnimi pari vzorcev v dveh skupinah; -metoda povprečne povezanosti – razdalja je definirana s povprečno vrednostjo razdalj med vsemi možnimi pari vzorcev v dveh skupinah; -Wardova metoda – skupine formiramo tako, da dosežemo najvišjo stopnjo homogenosti znotraj skupin. Za mero homogenosti vzamemo vsoto kvadratov razlik znotraj skupin.

5 Metode združevanja v skupine 5 Razdalje med možnimi pari vzorcev tvorijo matriko podobnosti D = {d ij }. Za hierarhično združevanje v skupine je značilno, da število skupin ni v naprej znano. Postopek hierarhičnega združevanja v skupine: 1.Izhodišče je n skupin (vzorcev) s pripadajočo matriko podobnosti D, ki vsebuje mere podobnosti med pari obstoječih skupin. 2.Na temelju elementov matrike podobnosti poiščemo najbližji par skupin. 3.Najbližji par skupin združimo v novo skupino in obravnavamo matriko podobnosti D. Razdalje med skupinami lahko izračunamo na različne načine. 4.Drugi in tretji korak ponavljamo toliko časa, dokler ne dobimo ene same skupine z vsemi izhodiščnimi vzorci.

6 Metode združevanja v skupine 6 Dendogram ali drevo združevanja nam služi za grafični prikaz rezultatov hierarhičnega združevanja v skupine. Višina točke združenja v dendogramu ustreza meri podobnosti med združenima izvornima skupinama.

7 Metode povezovalnih pravil 7 Metode povezovalnih pravil spadajo v skupino metod za opisno indukcijo in v tem primeru spremenljivk ne delimo na odvisne in neodvisne. Bazo podatkov predstavlja n realizacij vektorja X, ki jo predstavljamo z matriko podatkov. S povezovalnim pravilom opišemo značilno relacijo med spremenljivkami X i vektorja X. Za vsako povezovalno pravilo definiramo njegovo: -zaupanje (delež vzorcev, za katere je ob izpolnjenem pogoju povezava pravilna glede na vse vzorce) in -podporo (delež vseh vzorcev v bazi, za katerega povezovalno pravilo drži).

8 Metode regresije 8 Če Y predstavlja odvisno spremenljivko, X pa vektor p neodvisnih spremenljivk, potem je: Če so neodvisne spremenljivke kvalitativne, jih v modelu multiple regresije upoštevamo s pomočjo »slamnatih spremenljivk«, to so binarne spremenljivke. Metode regresije omogoča: -modeliranje odvisnosti med neodvisnimi in odvisno spremenljivko in -sklepanje o pomembnosti posameznih neodvisnih spremenljivk v modelu na osnovi statistične značilnosti regresijskih koeficientov. GLEJ MRA!

9 Lokalne metode za napoved 9 Lokalne metode za napoved so posebna skupina metod rudarjenja podatkov, kjer model za napoved sestavljajo vsi vzorci v bazi. Model za napoved je sestavljen iz vseh n parov realiziranih vrednosti neodvisnih in odvisnih spremenljivk: Podatki že sami po sebi tvorijo model za napoved. Ko poznamo množico parov, ki so najbolj podobni vektorju x, z izbrano metodo napovemo vrednost spremenljivke Y. Pri lokalnih metodah napovedi moramo definirati: -mero podobnosti med vzorci in -izračun napovedi spremenljivke Y ter -število podobnih vzorcev - določimo naprej ali avtomatsko.

10 Metode najbližjih sosedov 10 Je najenostavnejša lokalna metoda za napoved. Najprej izberemo število najbolj podobnih vzorcev K za lokalno napoved. V bazi poiščemo najbolj podobne vzorce glede na vektor x ter izračunamo napovedano vrednost odvisne spremenljivke ŷ za dani vektor x: Za mero podobnosti pogosto vzamemo evklidsko razdaljo med vektorjema x in x k : Z utežmi lahko v napoved vključimo tudi različen vpliv vrednosti vzorcev:

11 Drevesne metode 11 Drevesne metode spadajo med tipične metode rudarjenja podatkov, ki jih uporabljamo za napoved vrednosti odvisne spremenljivke Y na osnovi realiziranih vrednosti neodvisnih spremenljivk X: -Drevesni model: vozlišča in listi. -Vozlišča cepijo drevesni model v veje, vsaka veja pa se konča s listom. -Vsako vozlišče ustreza eni neodvisni spremenljivki X i in predstavlja odločitev za nadaljevanje poti.

12 Modelno drevo 12 Modelno drevo je drevesna struktura, katere listi predstavljajo multiple regresijske modele: Postopek izgradnje modela drevesa poteka v dveh korakih: - izgradnja drevesa in - rezanje drevesa.

13 Modelno drevo – izgradnja drevesa 13 Pri izgradnji drevesa razdelimo vzorčni prostor neodvisnih spremenljivk na podmnožice, za katere potem tvorimo liste – pravila za napoved spremenljivke Y. T predstavlja množico vseh tistih vzorčnih parov za izgradnjo drevesa, ki so dosegli vozlišče v drevesu: 1.Z odločitvenim pravilom, ki se nanaša na eno od spremenljivk X 1, …, X p v vozlišču, razdelimo množico T na dve ali več podmnožic T j (minimiziramo napako – analiza standardne deviacije). 2.Za vsako vozlišče neobrezanega drevesa določimo multipli regresijski model. Pri izračunih regresijskega modela za določeno vozlišče ne upoštevamo spremenljivk, ki so nastopale v odločitvenih pravilih predhodnih vozlišč.

14 Modelno drevo – rezanje drevesa 14 Sledi rezanje drevesa, da zmanjšamo vpliv naključnim odstopanjem v podatkih, ki smo jih uporabili za njegovo izgradnjo: 1.Preverimo, kakšna bi bila napaka za množico testnih vzorcev, ki niso sodelovali pri izgradnji drevesa: -izračunamo povprečno napako napovedi za vse vzorce, ki smo jih uporabili za izgradnjo drevesa in ki so dosegli posamezna vozlišča; -napaka za množico testnih vzorcev je navadno večja od te napake, napako za učne vzorce pomnožimo z: J - število vzorcev, ki so dosegli dano vozlišče v - število regresijskih koeficientov pripadajočega regresijskega modela pf - faktor rezanja in se navadno giblje med 1 in 10. Rezanje drevesa začnemo pri vsakem listu in odstranjujemo posamezne veje, dokler ocenjena napaka napovedi za testne vzorce pada, ko se vzpenjamo proti izhodišču drevesa.

15 Modelno drevo 15 Regresijsko drevo je drevesna struktura, kjer vsak njegov list predstavlja konstantno vrednost, ki je povprečje realizacij odvisnih spremenljivk Y za vse vzorce, ki so bili uporabljeni za izgradnjo drevesa in ki so dosegli ta list drevesa: za vsak vzorec j, ki je dosegel list i.

16 Nevronske mreže 16 Nevronske mreže so nabor različnih matematičnih modelov, ki imajo mrežno strukturo in jih lahko uporabljamo za napovedovanje ali razvrščanje. Primer nevronske mreže je večnivojski perceptron, ki je sestavljen iz procesorskih enot – nevronov: 1.Nevroni so razvrščeni v posamezne plasti – ravni (nivoje). 2.Nevroni na posameznih ravneh so med sabo povezani s povezavami (sinapse), ki imajo različne uteži. Nevroni na prvi ravni služijo za vnos vrednosti neodvisnih spremenljivk X i v mrežo, nevroni na zadnji ravni so izhodi iz nevronske mreže. Ravni nevronov, ki se nahajajo med prvim in zadnjim slojem nevronov imenujemo skrite ravni.

17 Nevronske mreže – večnivojski perceptron 17 Večnivojski perceptron – en skrit nivo:

18 Nevronske mreže – večnivojski perceptron 18 Vrednost odvisnih spremenljivk za dane vrednosti spremenljivk x izračunamo, da najprej določimo izhodne vrednosti za nevrone na prvi ravni: z i …realizirane vrednosti neodvisnih spremenljivk x i N i …število vhodov v nevron θ i …prag vzbuditve nevrona Tako izračunane vrednosti z j preko sinaptičnih povezav z utežmi W pripeljemo do vhodov nevronov na naslednjem skritem nivoju. Postopek ponavljamo do izhodnega nevrona. Uteži W predstavljajo proste parametre matematičnega modela nevronske mreže. Vrednost uteži ocenimo na osnovi parov realiziranih vrednosti neodvisnih in odvisnih spremenljivk z algoritmom povratnega širjenja napak. Postopku pravimo učenje nevronske mreže.

19 Postopek množičnega vrednotenja 19 Definicija problema (vrednotenja) Zbiranje podatkov (A) Analiza trga (B) 1)Splošna analiza: gospodarski, družbeni, okoljski, zakonski dejavniki; 2)Posebna analiza: lokacija, lega, dostopnost; 3)Primerjalna analiza: stroški, prodaje, dohodki; Analiza možnih rab (C) Oblikovanje modelov, preverjanje pravil (kalibracija) (D) Preverjanje modela, preverjanje kakovosti, določitev posplošene vrednosti

20 20 Obstajajo različne mere za oceno uspešnosti napovedi ŷ odvisne spremenljivke Y za dane realizacije neodvisnih spremenljivk x n = (x n,1, …, x n,p ). Vse mere temeljijo na odstopanju dejanske vrednosti odvisne spremenljivke y n in njene napovedi ŷ n. METODA RAZMERIJ (ratio study) Za pregled vrednosti koeficientov (posplošena tržna vrednost/ tržno ceno ali neodvisno ocenjeno vrednost) se določi: (1)stopnja (tipična vrednost količnika naj bi bila okoli 1 oz. 100 %). (2)enotnost znotraj skupine in med skupinami, ki jo določimo s primerjavo stopnje vrednotenja (vertikalno in horizontalno).

21 Vprašanja za utrjevanje snovi 21 Kaj je rudarjenje podatkov? Opredeli dve osnovni skupini metod rudarjenja podatkov! Opiši posamezno metodo rudarjenja podatkov: Metoda združevanja v skupine – primer hierarhične metode! Kaj je dendogram? Metode povezovalnih pravil! Metode regresije kot metoda rudarjenja podatkov! Lokalne metode za napoved! Katere so njihove posebnosti v primerjavi z ostalimi metodami rudarjenja podatkov? Drevesne metode! Nevronske mreže! Kako preverjamo modele množičnega vrednotenja nepremičnin?