ΑΝΑΠΤΥΞΗ ΛΟΓΙΣΜΙΚΟΥ ΓΙΑ ΤΗΝ ΑΝΑΓΝΩΡΙΣΗ ΟΠΤΙΚΩΝ ΣΗΜΑΤΩΝ ΜΕΣΩ ΒΛΕΦΑΡΙΣΜΑΤΟΣ (BLINK DETECTION) Πτυχιακή εργασία των Αναστασία Αγγελίδου (2519) Θωμαή Τσούκα (2402) Επιβλέπων: Ιωάννης Καλόμοιρος, Επ. Καθηγητής

Σκοπός και στόχος της εργασίας Η παρούσα πτυχιακή εστιάζει στην αλληλεπίδραση του ανθρώπου με τον υπολογιστή σε περιπτώσεις που ο χρήστης πάσχει από αναπηρία. Για το σκοπό αυτό αναπτύχθηκε λογισμικό για την αναγνώριση του βλεφαρίσματος των ματιών από web-camera. Η εργασία υλοποιήθηκε σε γλώσσα προγραμματισμού C++ και με τη χρήση της βιβλιοθήκης OpenCV.

Τεχνητή όραση Αναπαραγωγή της όρασης σε Η/Υ ή ρομπότ. Εύκολη διαδικασία για τον άνθρωπο, δύσκολη για τον Η/Υ. Όραση Υπολογιστή:

Χρήση τεχνητής όρασης Ιατρική απεικόνιση Βιομηχανικοί αυτοματισμοί Ρομποτική Ασφάλεια Μεταφορά

Ανίχνευση προσώπου Δυσκολία ανίχνευσης προσώπου λόγω ποικιλίας μορφολογίας και περιβαλλοντικών συνθηκών. Ανίχνευση, εξαγωγή και επαλήθευση προσώπων και χαρακτηριστικών.

Τεχνικές ανίχνευσης προσώπου Με βάση τα χαρακτηριστικά Μετωπικές εικόνες με απλό φόντο Πληροφορίες για τη γεωμετρία του προσώπου Διφορούμενα αποτελέσματα Ακμές, Snakes, Μοντέλα κατανεμημένων σημείω Με βάση την εικόνα Πολλά πρόσωπα σε πολύπλοκο φόντο Αλγόριθμος σάρωσης παραθύρου Νευρωνικά δίκτυα, Support vector machine, eigenfaces

OpenCV Βιβλιοθήκη ανοιχτού κώδικα Διεπαφές με C, C++, Python και Java Υποστήριξη Windows, Linux, Mac OS, iOS και Android Ανάπτυξη από την Intel Corporation και Willow Garage το 1999 Παροχή υποδομών για εφαρμογές τεχνητής όρασης

Ανίχνευση προσώπου με Haar Προτάθηκε από τους Paul Viola και Michael Jones και αναπτύχθηκε από τον Rainer Lienhart. Τρεις βασικές φάσεις του αλγορίθμου Εξαγωγή χαρακτηριστικών 2. Συναρτήσεις ταξινόμησης 3. Συνδυασμός πολύπλοκων ταξινομητών (καταρράκτης ταξινομητών)

Εξαγωγή χαρακτηριστικών Haar χαρακτηριστικά Ακέραια Εικόνα (Integral Image)

Συναρτήσεις ταξινόμησης Χρήση του αλγορίθμου AdaBoost Συνδυασμός αδύναμων ταξινομητών για το σχηματισμό ενός δυνατού ταξινομητή Εκπαίδευση αλγορίθμου μάθησης για επιλογή ενός μόνο ορθογώνιου χαρακτηριστικού

Καταρράκτης ταξινομητών Εξάλειψη αρνητικών παραδειγμάτων από τους ταξινομητές Σε περίπτωση θετικού αποτελέσματος, αξιολόγηση από κάθε ταξινομητή στον καταρράκτη

Ανάλυση εφαρμογής Λήψη πλαισίου από κάμερα Εντοπισμός προσώπου Εντοπισμός ματιών Λήψη επόμενου πλαισίου και επανάληψη διαδικασίας Σύγκριση περιοχής ματιών Εμφάνιση μηνύματος σε περίπτωση βλεφαρίσματος

Εντοπισμός προσώπου (1) Μετατροπή του πλαισίου σε κλίμακα του γκρι cvtColor(I, I_gray, CV_BGR2GRAY) Εξίσωση ιστογράμματος για μεγαλύτερη αντίθεση equalizeHist( I_gray, I_gray);

Εντοπισμός προσώπου (2) Χρήση του ταξινομητή haarcascade_frontalface_alt.xml Χρήση συνάρτησης detectMultiScale Εύρεση ορθογώνιων περιοχών και επιστροφή ως διάνυσμα ορθογωνίων Σάρωση εικόνας σε διάφορες κλίμακες και εφαρμογή ταξινομητή σε κάθε περιοχή για ύπαρξη ή όχι αντικειμένου face_cascade.detectMultiScale( I_gray, face_obj, 1.1, 2, 0|CV_HAAR_SCALE_IMAGE, Size(20, 20) )

Εντοπισμός ματιών Εντοπισμός ορθογωνίου των ματιών με βάση το ορθογώνιο του προσώπου Υπολογισμός του πάνω αριστερού (πα) και κάτω δεξιού (κδ) σημείου του ορθογωνίου Point pt1(face_obj[i].x + face_obj[i].width*0.18 , face_obj[i].y + face_obj[i].height*0.3) Point pt2(face_obj[i].x + face_obj[i].width*0.84 , face_obj[i].y + face_obj[i].height*0.54) Για το σχηματισμό του ορθογωνίου Rect (πα.x, πα.y, μήκος, πλάτος) Rect myrect3(pt1.x, pt1.y, abs(pt1.x-pt2.x), abs(pt1.y-pt2.y))

Ανίχνευση βλεφαρίσματος Χρήση της μεθόδου αθροίσματος απόλυτων διαφορών absdiff(eyes4,eyes5,difference) Χρήση κατωφλίου για αφαίρεση θορύβου threshold(difference, difference2, 80, 255, CV_THRESH_BINARY);

Τελικό αποτέλεσμα Αν αποτέλεσμα αθροίσματος απόλυτων διαφορών ≠0 τότε ύπαρξη βλεφαρίσματος

Συμπεράσματα Κατάλληλη η χρήση της OpenCV για την εφαρμογή Μη επαρκής τεκμηρίωση Για την καλύτερη απόδοση του συστήματος Κατάλληλος φωτισμός Κοντινή απόσταση από την κάμερα Αποφυγή έντονων κινήσεων Μελλοντικές βελτιώσεις Ανίχνευση ίριδας Ανάπτυξη διαδικτυακής εφαρμογής

Ευχαριστούμε για την προσοχή σας