Εξόρυξη γνώσης Εισαγωγή

1 Γνωριμία

Τρίτη 14:00-16:00 – Γραφείο Καθηγητών Hello! Βασίλης Πουλόπουλος Μηχανικός Η/Υ και Πληροφορικής, MSc, PhD poulop@cs.teikal.gr Ώρες Φοιτητών Τρίτη 14:00-16:00 – Γραφείο Καθηγητών

1 εργασία (ΔΕΝ είναι υποχρεωτική) Διαμόρφωση Μαθήματος 1 εργασία (ΔΕΝ είναι υποχρεωτική) 50% του βαθμού για όσους τις πραγματοποιήσουν Τελική γραπτή εξέταση Θεωρία: Τετάρτη 13:00-15:00 ΑΠ: Τετάρτη 15:00-17:00 eClass Εξόρυξη γνώσης (2016-2017) pass: irv001 Σύγγραμα Data Mining – Εισαγωγικά και Προηγμένα Θέματα Εξόρυξης Γνώσης από Δεδομένα, Margaret H. Dunham

Γιατί είναι αναγκαία η εξόρυξη γνώσης 2 Σκοπός Γιατί είναι αναγκαία η εξόρυξη γνώσης

Σκοπός μαθήματος Γνωριμία με τις εφαρμογές, τις βασικές έννοιες, τις τεχνικές και τα στάδια της Εξόρυξης Γνώσης από Δεδομένα Γνωριμία με τις Αποθήκες Δεδομένων και το OLAP (άμεση αναλυτική επεξεργασία)

Σκοπός μαθήματος Ανάπτυξη ικανότητας εκτίμησης της πολυπλοκότητας της εφαρμογής της Εξόρυξης Δεδομένων για την επίλυση προβλημάτων Απόκτηση γνώσεων και δεξιοτήτων στη μοντελοποίηση προβλημάτων εξόρυξης δεδομένων και την επιλογή / ανάπτυξη τεχνικών για την επίλυσή τους

3 Εισαγωγή Στην εξόρυξη γνώσης

Τα δεδομένα αυξάνονται καθημερινά με ραγδαίο ρυθμό Εισαγωγή Τα δεδομένα αυξάνονται καθημερινά με ραγδαίο ρυθμό Οι χρήστες αναμένουν πιο έξυπνη πληροφορία Αποκάλυψη της «κρυμμένης» πληροφορίας

Εύρεση πληροφοριών που είναι «κρυμμένες» σε μια βάση δεδομένων Εξόρυξη γνώσης Εύρεση πληροφοριών που είναι «κρυμμένες» σε μια βάση δεδομένων Εξερευνητική ανάλυση δεδομένων, ανακάλυψη καθοδηγούμενη από δεδομένα, συμπερασματική μάθηση

ΒΔ Εξόρυξη γνώσης Ερώτημα Σαφώς ορισμένο Δεδομένα Εξόρυξη γνώσης VS ΒΔ ΒΔ Ερώτημα Σαφώς ορισμένο Δεδομένα Από μια καλώς ορισμένη και κανονικοποιημένη ΒΔ Απάντηση Ένα υποσύνολο της ΒΔ Εξόρυξη γνώσης Ερώτημα Μπορεί να μην είναι καλά σχηματισμένη ή σαφώς ορισμένη Δεδομένα Τροποποιημένη ΒΔ Απάντηση Πιθανότατα καμία σχέση με σύνολα ή υποσύνλα της ΒΔ

ΒΔ Εξόρυξη γνώσης Διαφορές ερωτημάτων Βρες όλους τους καταθέτες με επίθετο: Παπαδόπουλος Βρες όλους τους καταθέτες που έχουν χρεώσεις τις κάρτες τους περισσότερο από 1.000 ευρώ τον Οκτώβριο Βρες όλους τους καταθέτες που δεν έχουν πιστωτική κάρτα Εξόρυξη γνώσης Βρες μου όλους τους καταθέτες που δεν έχουν προβλήματα να εκδοθεί κάρτα στο όνομά τους Βρες όλους τους καταθέτες που αγοράζουν παραπλήσια πράγματα Βρες τα αντικείμενα που αγοράζονται συχνότερο από αυτούς που χρησιμοποιούν την πιστωτική τους κάρτα για να πληρώσουν τη βενζίνη για το αυτοκίνητό τους

Μοντέλα εξόρυξης γνώσης 4 Μοντέλα Μοντέλα εξόρυξης γνώσης

Τα μέρη των αλγορίθμων ΕΓ Μοντέλο ...που ταιριάζει με τα δεδομένα Προτίμηση …κριτήρια για να ταιριάξει ένα μοντέλο έναντι άλλου Αναζήτηση …τεχνική αναζήτησης στα δεδομένα

Μοντέλα Εξόρυξη γνώσης Προβλεπτικά μοντέλα Κατηγοριοποίηση Παλινδρόμηση Ανάλυση χρονοσειρών Πρόβλεψη Περιγραφικά μοντέλα Συσταδοποίηση Παρουσίαση συνόψεων Κανόνες συσχετίσεων Ανακάλυψη Ακολουθιών Μοντέλα

Τρόποι εξόρυξης γνώσης από δεδομένα 5 Αλγόριθμοι Τρόποι εξόρυξης γνώσης από δεδομένα

Παράδειγμα αεροδρομίου Κατηγοριοποίηση Η κατηγοριοποίηση απεικονίζει τα δεδομένα σε προκαθορισμένες ομάδες ή κατηγορίες – κλάσεις Παράδειγμα αεροδρομίου

Παλινδρόμηση Χρησιμοποιείται για να απεικονιστεί ένα στοιχειώδες δεδομένα σε μία πραγματική μεταβλητή πρόβλεψης (συνάρτηση) Παράδειγμα σύνταξη

Ανάλυση Χρονοσειρών Με την ανάλυση χρονολογικών σειρών μελετάται η τιμή ενός γνωρίσματος καθώς μεταβάλλεται στο χρόνο. Παράδειγμα: μετοχές

Παράδειγμα: καιρικά φαινόμενα Πρόβλεψη Οι πρακτικές εφαρμογές της εξόρυξης γνώσης μπορούν να θεωρηθούν σαν πρόβλεψη μελλοντικών καταστάσεων με γνώση των προηγούμενων και των σημερινών δεδομένων. Παράδειγμα: καιρικά φαινόμενα

Παράδειγμα: αποστολή καταλόγων Συσταδοποίηση Παραπλήσια με την κατηγοριοποίηση (ένταξη σε κατηγορίες) με τη διαφορά ότι οι κατηγορίες/κλάσεις δεν είναι προκαθορισμένες αλλά τις καθορίζουν τα ίδια τα δεδομένα Παράδειγμα: αποστολή καταλόγων

Παράδειγμα: Κατάλογος πανεπιστημίων Παρουσίαση συνόψεων Η παρουσίαση συνόψεων απεικονίζει τα δεδομένα σε υποσύνολά τους με συνοδευτικές απλές περιγραφές. Η σύνοψη ονομάζεται χαρακτηρισμός ή γενίκευση Παράδειγμα: Κατάλογος πανεπιστημίων

Παράδειγμα: Σούπερ μάρκετ Κανόνες Συσχέτισης Η ανάλυση συνδέσμων που εναλλακτικά αναφέρεται και σαν ανάλυση συγγένειας ή συσχέτιση αναφέρεται στη διαδικασία εκείνη της εξόρυξης γνώσης που αποκαλύπτει συσχετίσεις μεταξύ των δεδομένων Παράδειγμα: Σούπερ μάρκετ

Παράδειγμα: Χάρτης ιστοσελίδας Ανακάλυψη ακολουθιών Η ακολουθιακή ανάλυση ή αλλιώς ανακάλυψη ακολουθιών χρησιμοποιείται για να καθοριστούν σειριακά πρότυπα στα δεδομένα. Παράδειγμα: Χάρτης ιστοσελίδας

Η εξόρυξη στην ανακάλυψη 6 Ανακάλυψη γνώσης Η εξόρυξη στην ανακάλυψη

KDD Knowledge Discovery in Databases – ανακάλυψη γνώσης σε βάσεις δεδομένων Ανακάλυψη γνώσης: είναι η διαδικασία της εύρεσης χρήσιμων πληροφοριών και προτύπων στα δεδομένα Εξόρυξη γνώσης: είναι η χρήση αλγορίθμων για την εξαγωγή πληροφοριών και προτύπων που παράγοντα με τη διαδικασία του KDD

Διαδικασία KDD Γνώση Αρχικά Δεδομένα Επιλογή Στοχευμένα Δεδομένα Προεπεξεργασία Προεπεξεργασμένα Δεδομένα Μετασχηματισμός Μετασχηματισμένα Δεδομένα Εξόρυξη γνώσης Μοντέλο Ερμηνεία Γνώση Διαδικασία KDD

Επιλογή Προεπεξεργασία Μετασχηματισμός Εξόρυξη γνώσης Ερμηνεία KDD - διαδικασία Επιλογή Προεπεξεργασία Μετασχηματισμός Εξόρυξη γνώσης Ερμηνεία …οπτικοποίηση

Συσχετισμοί… Εξόρυξη Γνώσης Ανάκτηση πληροφορίας Βάσεις Δεδομένων Μηχανική Μάθηση Στατιστική Αλγόριθμοι

Προβληματισμοί γύρω από το θέμα 7 Θέματα Εξόρυξης Προβληματισμοί γύρω από το θέμα

Ανθρώπινη αλληλεπίδραση Υπερπροσαρμογή Ακραίες τιμές Θέματα Ανθρώπινη αλληλεπίδραση Υπερπροσαρμογή Ακραίες τιμές Ερμηνεία αποτελεσμάτων Οπτικοποίηση των αποτελεσμάτων Μεγάλα σύνολα δεδομένων Υψηλές διαστάσεις

Δεδομένα πολυμέσων Ελλιπή δεδομένα Άσχετα δεδομένα Δεδομένα με θόρυβο Θέματα…κι άλλα Δεδομένα πολυμέσων Ελλιπή δεδομένα Άσχετα δεδομένα Δεδομένα με θόρυβο Δεδομένα που αλλάζουν Ολοκλήρωση Εφαρμογή

Κλιμάκωση Πραγματικά Δεδομένα Ενημέρωση Ευκολία στη χρήση Εξόρυξη γνώσης και ΒΔ Κλιμάκωση Πραγματικά Δεδομένα Ενημέρωση Ευκολία στη χρήση

Η εξόρυξη γνώσης στην πράξη 8 Ασκήσεις Η εξόρυξη γνώσης στην πράξη