ΥΠΟΛΟΓΙΣΤΙΚΗ ΝΟΗΜΟΣΥΝΗ ΕΡΓΑΣΤΗΡΙΟ Κάρλος Σταμάτης Phd candidate stkarlos@upatras.gr
Δένδρα Απόφασης Εκτέλεση πειραμάτων στο WEKA Επίδειξη των Δένδρων Απόφασης (Decision Trees – DT) Ορισμός της Εντροπίας Ορισμός του Κέρδους Πληροφορίας
2ο Εργαστήριο-Παραδοτέα Αρχείο (ΑΜ).zip με: EXCEL με μετρήσεις Απεικόνιση δένδρου
Γενικές κατηγορίες classification Πιθανοτικοί εκμαθητές Διαμερισμός του διανυσματικού χώρου των attributes Γραμμικοί Μη-γραμμικοί Δένδρα απόφασης
Decision Trees Εύκολος χειρισμός κατηγορικών μεταβλητών Εύκολος χειρισμός κατηγορικών μεταβλητών Διάταξη σε δενδρική δομή Εύκολη κατανόηση Μείωση του χρόνου αναζήτησης Κίνδυνος υπερταιριάσματος Ηλικία Σπίτι Πιστ. Συμπεριφορά Δάνειο ΝΕΟΣ ΌΧΙ ΔΙΚΑΙΗ ΟΧΙ ΜΕΣΗΛΙΚΑΣ ΝΑΙ ΚΑΚΗ ΚΑΛΗ ΜΕΓΑΛΟΣ ?
Decision Trees j48 Random Tree
Decision Trees Δύο είδη κόμβων: Εσωτερικοί: διαιρεί το χώρο του προβλήματος Τερματικοί: αναθέτει στα στιγμιότυπα την κλάση Πολλά είδη DT: ID3,J48,Random Tree, Cart, NBTree Διαφορετικά χαρακτηριστικά Διαφορετική δομή
Κριτήρια επιλογής βέλτιστων χαρακτηριστικών Εντροπία : μέτρο αβεβαιότητας μίας τυχαίας μεταβλητής 𝐻 𝐷 =− 𝑗=1 𝐶 𝑃 𝑐 𝑗 ∗ log 2 𝑃( 𝑐 𝑗 ) Κέρδος πληροφορίας : μέτρο εκτίμησης της παρεχόμενης πληροφορίας 𝑔𝑎𝑖𝑛 𝐷, 𝐴 𝑖 =𝐻 𝐷 − 𝐻 𝐴 𝑖 [𝐷] Age Home Credit loan Y NO F B O YES G M
Κριτήρια επιλογής βέλτιστων χαρακτηριστικών 𝐻[𝑙𝑜𝑎𝑛]=− 3 7 ∗ log 2 3 7 − 4 7 ∗ log 2 4 7 =0.98 𝐻 𝐴𝑔𝑒 𝑙𝑜𝑎𝑛 =− 3 7 ∗𝐻 𝑌 − 2 7 ∗H O − 2 7 ∗H M =0.28 H[Y]=− 3 3 ∗ log 2 3 3 =0 H[O]= − 2 2 ∗ log 2 2 2 =0 H[M]=− 1 2 ∗ log 2 1 2 − 1 2 ∗ log 2 1 2 =1 𝑔𝑎𝑖𝑛 𝑙𝑜𝑎𝑛,𝐴𝑔𝑒 =𝐻 𝐷 − 𝐻 𝐴 𝑖 𝐷 =0.7 Age Home Credit loan Y NO F B O YES G M
Αρχεία τύπου arff 3 υποχρεωτικά πεδία: Προσοχή στα Nominal attributes: @RELATION @ATTRIBUTE @DATA Προσοχή στα Nominal attributes: @RELATION lab2_stamatis_karlos_train @ATTRIBUTE age {young,middle,old} @ATTRIBUTE house {'yes','no'} @ATTRIBUTE credit_behavior {good,fair,bad} @ATTRIBUTE class {yes,no} @DATA young,'no',fair,no middle,'yes',bad,no middle,'yes',good,yes middle,'no',fair,yes
2ο Εργαστήριο Προσοχή στις εκφωνήσεις των ερωτημάτων. Παραδίδεται ηλεκτρονικά τα αρχεία σας στην πλατφόρμα του open eclass εντός της ώρας του εργαστηρίου.