Εργασίες – Γενικές οδηγίες

Εργασίες – Γενικές οδηγίες
Bonus: Μέχρι 5 (δυνατότητα επέκτασης σε απαλλακτική) Software: Όλα τα ενδιάμεσα στάδια των αλγορίθμων θα πρέπει να μπορούν να εμφανίζονται αν το έχει επιλέξει ο χρήστης. Οι βασικοί παράμετροι που χρησιμοποιούνται στο πρόγραμμα να εμφανίζονται σε ειδική φόρμα (ρυθμίσεις). Το κείμενο που θα συνοδεύει την εργασία θα πρέπει να περιγράφει (α) την μεθοδολογία, (β) το πρόγραμμα, (γ) τα πειραματικά αποτελέσματα, (δ) την ανασκόπηση της σχετικής βιβλιογραφίας (αν απαιτείται).

Εργασία 1. Αποτίμηση μεθόδων δυαδικής μετατροπής Εργασία 2
Εργασία 1. Αποτίμηση μεθόδων δυαδικής μετατροπής Εργασία 2. Αποτίμηση της μεθόδου δυαδικής μετατροπής των Kamel & Zhao Εργασία 3. Απομάκρυνση συμβόλων του υποβάθρου. Εργασία 4. Διόρθωση της στροφής με χρήση του μετασχηματισμού Hough Εργασία 5. Διόρθωση της κλίσης των γραμμάτων Εργασία 6. Εντοπισμός του προσανατολισμού του εγγράφου Εργασία 7. Κατάτμηση σε γραμμές κειμένου και λέξεις με χρήση των προβολών και της εξομάλυνσης Εργασία 8. Ταξινόμηση περιοχών σε κείμενο, εικόνες ή γραφικά

Εργασία 1. Αποτίμηση μεθόδων δυαδικής μετατροπής
Εργασία 1. Αποτίμηση μεθόδων δυαδικής μετατροπής Αποτίμηση των παρακάτω μεθοδολογιών δυαδικής μετατροπής: (1) Εύρεση κορυφών ιστογράμματος (2) Εύρεση κορυφών ιστογράμματος με χρήση των σημείων ακμών (3) Επιλογή μετά από επανάληψη (4) Otsu με χρήση του F-Measure (Recall , Precision based on TP, FP, FN ). Εικόνες από το

Εύρεση κορυφών Δυαδική μετατροπή εγγράφων i1 i2
Βρίσκω i1: Hist(i)=max για i= i1 Βρίσκω i2: Hist(i2)*(i2-i1)2=max για i= i2

Χρήση σημείων ακμών – Weszka
Δυαδική μετατροπή εγγράφων Χρήση σημείων ακμών – Weszka Τα σημεία ακμών είναι σημεία ανάμεσα στο αντικείμενο και στο υπόβαθρο της εικόνας ή μεταξύ δύο αντικειμένων. Το ιστόγραμμα της εικόνας που προκύπτει μόνο από τα σημεία αυτά μας δίνει καλύτερη διαχωρισιμότητα κειμένου-υποβάθρου σε σχέση με το ιστόγραμμα της συνολικής εικόνας. Yπολογίζεται η Laplacian της εικόνας των σταθμών του γκρι. Προσδιορίζεται το ιστόγραμμα της αρχικής εικόνας λαμβάνοντας υπόψη μόνο τα σημεία που έχουν υψηλές Laplacian τιμές. Υπολογίζεται το κατώφλι ανάμεσα στις κορυφές του ιστογράμματος.

Χρήση σημείων ακμών – Weszka
Δυαδική μετατροπή εγγράφων Χρήση σημείων ακμών – Weszka

Επιλογή μετά από επανάληψη – Ridler
Δυαδική μετατροπή εγγράφων Επιλογή μετά από επανάληψη – Ridler Ξεκινάμε από μία αρχική εκτίμηση για την τιμή του κατωφλιού και στη συνέχεια γίνεται διόρθωση αυτής της τιμής λαμβάνοντας υπόψη τις περιοχές κειμένου και υποβάθρου που προκύπτουν κάθε φορά. Η αρχική εκτίμηση του κατωφλιού είναι η μέση τιμή των gray scale τιμών. Υπολογίζεται η μέση τιμή των gray scale τιμών των pixels κάτω από το αρχικό κατώφλι και αποθηκεύεται στην μεταβλητή Tb. Υπολογίζεται η μέση τιμή των gray scale τιμών των pixels πάνω από το αρχικό κατώφλι και αποθηκεύεται στην μεταβλητή Tο. Υπολογίζεται μία νέα προσέγγιση του κατωφλιού στην τιμή (Tb + Tο)/2. Η διαδικασία επαναλαμβάνεται μέχρι να μην υπάρχει αλλαγή στο κατώφλι μεταξύ δύο διαδοχικών επαναλήψεων.

Επιλογή μετά από επανάληψη – Ridler
Δυαδική μετατροπή εγγράφων Επιλογή μετά από επανάληψη – Ridler 1. Τ = 238 2. Τ = 209 4. Τ = 182 3. Τ = 189

Επεξεργασία του ιστογράμματος – Otsu
Δυαδική μετατροπή εγγράφων Επεξεργασία του ιστογράμματος – Otsu Bασίζεται στην επεξεργασία του ιστογράμματος της εικόνας και στον προσδιορισμό του κατωφλιού βάσει του κριτηρίου της μεγιστοποίησης της διαχωρισιμότητας μεταξύ των περιοχών κειμένου και υποβάθρου. Yπολογίζουμε το ολικό τετράγωνο της τυπικής απόκλισης (global variance) των επιπέδων του γκρι της εικόνας: όπου p(i) η πιθανότητα εμφάνισης της i στάθμης της εικόνας, Ν το συνολικό πλήθος των pixels της εικόνας και ut το συνολικό μέσο επίπεδο γκρι της εικόνας:

Επεξεργασία του ιστογράμματος – Otsu
Δυαδική μετατροπή εγγράφων Επεξεργασία του ιστογράμματος – Otsu Για κάθε υποψήφιο κατώφλι t το ιστόγραμμα της εικόνας χωρίζεται σε δύο περιοχές - κλάσεις. Μπορούμε να υπολογίζουμε το τετράγωνο της τυπικής απόκλισης μεταξύ των δύο κλάσεων (between classes variance) το οποίο είναι το τετράγωνο της τυπικής απόκλισης των μέσων τιμών κάθε κλάσης από την συνολική μέση τιμή όλων των pixels: H βέλτιστη τιμή για το κατώφλι t επιτυγχάνεται όταν μεγιστοποιείται ο λόγος του τετραγώνου της τυπικής απόκλισης μεταξύ των δύο κλάσεων (between classes variance) προς το ολικό τετράγωνο της τυπικής απόκλισης (global variance) των επιπέδων του γκρι της εικόνας:

Επέκταση για απαλλακτική:
Δυνατότητα δημιουργίας GT με χρήση συνθετικών εικόνων. Εμπλουτισμός μεθοδολογιών δυαδικής μετατροπής Εμπλουτισμός μετρικών αποτίμησης (PSNR – NRM – MPM)

Εργασία 2. Αποτίμηση της μεθόδου δυαδικής μετατροπής των Kamel & Zhao
Αποτίμηση των παρακάτω μεθοδολογιών δυαδικής μετατροπής: Kamel & Zhao (για διάφορες τιμές των W, T) Εύρεση κορυφών ιστογράμματος με χρήση των σημείων ακμών με χρήση του F-Measure (Recall , Precision based on TP, FP, FN ). Εικόνες από το

Εργασία 2. Αποτίμηση της μεθόδου δυαδικής μετατροπής των Kamel & Zhao
Επιλέγονται τα pixels τα οποία παρουσιάζουν τοπική διαφορά φωτεινότητας και ανήκουν σε χαρακτήρες με γραμμές πλάτους W. ave(Pi) η μέση τιμή των pixels στο παράθυρο WxW στο Pi P2 P3 P1 L(Pi) = ave(Pi)-f(x,y) > T W P0 P4 (x,y) P5 P7 P6

Υλοποίηση και αποτίμηση μεθοδολογίας για αυτόματη επιλογή των W, T

Εργασία 3. Απομάκρυνση συμβόλων του υποβάθρου
Εφαρμογής της μαθηματικής μορφολογία με χρήση κατάλληλου δομικού στοιχείου για την απομάκρυνση συμβόλων του υποβάθρου που επικαλύπτουν τους χαρακτήρες σε εικόνα εγγράφου

Εργασία 3. Απομάκρυνση συμβόλων του υποβάθρου
Χρήση συνθετικών αλλά και πραγματικών εικόνων Αποτίμηση μετά από οπτική παρατήρηση

Μαθηματική μορφολογία – Παράδειγμα 4
Βελτίωση ποιότητας Μαθηματική μορφολογία – Παράδειγμα 4 Εφαρμογής της μαθηματικής μορφολογία με χρήση κατάλληλου δομικού στοιχείου για την απομάκρυνση συμβόλων του υποβάθρου που επικαλύπτουν τους χαρακτήρες σε εικόνα εγγράφου

Βελτίωση ποιότητας Μαθηματική μορφολογία – Παράδειγμα 4 PDH PDV

Βελτίωση ποιότητας Μαθηματική μορφολογία – Παράδειγμα 4

Βελτίωση ποιότητας Μαθηματική μορφολογία – Παράδειγμα 4 X: Αρχική εικόνα Υ: Υπόβαθρο Β1, Β2: 5x5 δομικά στοιχεία

Αυτόματη αποτίμηση Υλοποίηση βελτιωμένης τεχνικής

Εργασία 4. Διόρθωση της στροφής με χρήση του μετασχηματισμού Hough
Aνάπτυξη εφαρμογής για τον εντοπισμό και διόρθωση της στροφής των εγγράφων με χρήση του μετασχηματισμού Hough. Προβολή του πεδίου Hough. Επιτάχυνση με χρήση της “burst image” καθώς και των κάτω οριακών pixels. Μέτρηση της επιτάχυνσης που πραγματοποιείται Αποτίμηση της μεθοδολογίας

Μετασχηματισμός Hough
Διόρθωση στροφής Μετασχηματισμός Hough Aντιστοιχεί τα σημεία μιας ευθείας του επιπέδου x-y σε ένα σημείο (ρ,θ) του επιπέδου των πολικών συντεταγμένων. πολλά σημεία δύο σημεία ένα σημείο

Μετασχηματισμός Hough
Διόρθωση στροφής Μετασχηματισμός Hough Όλα τα εξαγόμενα ζευγάρια τιμών (ρ,θ) αποθηκεύονται σε ένα πίνακα συσσώρευσης ο οποίος δημιουργείται με κατάλληλο βήμα κβάντισης των ρ,θ Το μέγιστο των αθροισμάτων του πίνακα συσσώρευσης ως προς θ αντιστοιχεί στην κλίση του εγγράφου

Επιτάχυνση μετασχηματισμού Hough
Διόρθωση στροφής Επιτάχυνση μετασχηματισμού Hough Burst image Κάτω οριακά pixels των συνδεδεμένων συστατικών

Επιτάχυνση μετασχηματισμού Hough
Διόρθωση στροφής Επιτάχυνση μετασχηματισμού Hough

Υλοποίηση και αποτίμηση νέας μεθόδου που βασίζεται στον Hough Transform.

Εργασία 5. Διόρθωση της κλίσης των γραμμάτων
- Είσοδος γραμμή κειμένου ή λέξη - Διόρθωση της κλίσης των γραμμάτων κάθε περιοχής Απομάκρυνση όλων των οριζόντιων γραμμών που περιέχουν ένα τουλάχιστον τμήμα με διαδοχικα 1 μήκους > th Αφαίρεση και όλων των οριζόντιων τμημάτων με ύψος < h_th Κομμάτια κάθε τμήματος που διαχωρίζονται με κάθετες γραμμές απομονώνονται σε παράθυρα. Για κάθε παράθυρο: τα κέντρα βάρους των πάνω και κάτω τμημάτων υπολογίζονται και συνδέονται. Κλίση θ = μέση τιμή των κλίσεων των συνδεδεμένων γραμμών Διόρθωση κλίσης

- Αποτίμηση μετά από οπτική παρατήρηση Απομάκρυνση όλων των οριζόντιων γραμμών που περιέχουν ένα τουλάχιστον τμήμα με διαδοχικά 1 μήκους > th Αφαίρεση και όλων των οριζόντιων τμημάτων με ύψος < h_th Κομμάτια κάθε τμήματος που διαχωρίζονται με κάθετες γραμμές απομονώνονται σε παράθυρα. Για κάθε παράθυρο: τα κέντρα βάρους των πάνω και κάτω τμημάτων υπολογίζονται και συνδέονται. Κλίση θ = μέση τιμή των κλίσεων των συνδεδεμένων γραμμών Διόρθωση κλίσης

Εικόνες από το

Υλοποίηση και σύγκριση με παρόμοια τεχνική (αυτόματη αποτίμηση).

Εργασία 6. Εύρεση του προσανατολισμού του εγγράφου
- Βιβλιογραφική αναζήτηση μεθοδολογιών εντοπισμού του προσανατολισμού του εγγράφου - Υπολογισμός με χρήση εξομάλυνσης και μέτρησης των εναλλαγών 01 Υπολογισμός με χρήση του φάσματος του εγγράφου Δημιουργία βάσης εγγράφων για την αποτίμηση των μεθοδολογιών

Εντοπισμός προσανατολισμού εγγράφων
Διόρθωση στροφής Εντοπισμός προσανατολισμού εγγράφων Portrait Landscape

Αλγόριθμος εξομάλυνσης διαδοχικών pixels - RLSA
Διόρθωση στροφής Αλγόριθμος εξομάλυνσης διαδοχικών pixels - RLSA Η εικόνα εξετάζεται ως προς την διεύθυνση σάρωσης που έχει οριστεί και τα διαδοχικά pixels υποβάθρου με μήκος μικρότερο από το μέγιστο μήκος διαδοχικών pixels υποβάθρου Tmax μετατρέπονται σε σημεία εικόνας Tmax = 4 Tmax = 5

Διόρθωση στροφής Εντοπισμός προσανατολισμού εγγράφων Vertical smoothing Horizontal smoothing 2 NoH<NoV Portrait 28

Διόρθωση στροφής Εντοπισμός προσανατολισμού εγγράφων Horizontal smoothing 24 Vertical smoothing NoH>NoV Landscape 2

Ανάλυση του φάσματος του εγγράφου - DocStrum
Κατάτμηση Σελίδας Εγγράφου Ανάλυση του φάσματος του εγγράφου - DocStrum Το φάσμα του εγγράφου (Document Spectrum – DocStrum) είναι μια αναπαράσταση της σελίδας του εγγράφου η οποία περιγράφει τα καθολικά δομικά χαρακτηριστικά της σελίδας και μπορεί να χρησιμοποιηθεί για την κατάτμησή της. Η χρήση του φάσματος του εγγράφου είναι μία προσέγγιση «από κάτω προς τα πάνω» (bottom-up) που βασίζεται στην ομαδοποίηση των συνδεδεμένων συστατικών της εικόνας χρησιμοποιώντας του κ-κοντινότερους γείτονες (K–nearest neighbor – KNN) Οι κ-κοντινότεροι γείτονες για κάθε συνδεδεμένο συστατικό i είναι τα κ πλησιέστερα συνδεδεμένα συστατικά. k=5

Ανάλυση του φάσματος του εγγράφου - DocStrum
Κατάτμηση Σελίδας Εγγράφου Ανάλυση του φάσματος του εγγράφου - DocStrum Εντοπισμός προσανατολισμού του εγγράφου Δημιουργούμε ένα ιστόγραμμα με την κατανομή των γωνιών του φάσματος του εγγράφου Η μέγιστη κορυφή του ιστογράμματος αντιστοιχεί στην διεύθυνση προσανατολισμού του εγγράφου

Υλοποίηση και σύγκριση με παρόμοια τεχνική.

Εργασία 7. Κατάτμηση σε γραμμές κειμένου και λέξεις με χρήση των προβολών και της εξομάλυνσης
- Βιβλιογραφική αναζήτηση μεθοδολογιών κατάτμησης σε γραμμές κειμένου και λέξεις (τυπωμένα και χειρόγραφα) - Εντοπισμός γραμμών κειμένου με εντοπισμό των τοπικών ελάχιστων των οριζόντιων προβολών Εφαρμογή κάθετων προβολών σε κάθε γραμμή για τον εντοπισμό λέξεων και γραμμάτων. Εντοπισμός γραμμών και λέξεων με εφαρμογή RLSA Αποτίμηση με χρήση της βάσης

Κατάτμηση Σελίδας Εγγράφου
Χρήση προβολών Επαναληπτική εφαρμογή των οριζόντιων και κάθετων προβολών (Recursive X-Y cuts) Υπολογίζονται οι προβολές (άθροισμα των pixels σε γραμμή ή στήλη της εικόνας του εγγράφου) σε οριζόντια και κάθετη διεύθυνση Στη συνέχεια εντοπίζονται τα διαδοχικά μηδενικά των προβολών τα οποία θεωρούνται και όρια οριζόντιας ή κάθετης τμηματοποίησης όταν είναι πάνω από ένα ελάχιστο μήκος.

Χρήση προβολών Για κάθε τέτοιο όριο, η εικόνα χωρίζεται σε δύο υπο-εικόνες. Για κάθε υπο-εικόνα, η ίδια διαδικασία επαναλαμβάνεται στην άλλη διεύθυνση (αν το πρώτο χώρισμα είναι κάθετο, το επόμενο είναι οριζόντιο) και η όλη διαδικασία επαναλαμβάνεται μέχρι να μην μπορεί να χωριστεί η εικόνα άλλο σε οριζόντια ή κάθετη διεύθυνση. Αν η εικόνα περιέχει θόρυβο, τότε αντι να αναζητούμε μηδενικά στις προβολές, μπορούμε να αναζητούμε μικρό αριθμό pixels, όμως τότε πέφτει η ακρίβεια της μεθόδου.

Ρύθμιση παραμέτρων με χρήση του ύψους του γράμματος
Κατάτμηση Σελίδας Εγγράφου CC heights:

Τεχνική εξομάλυνσης εικόνας
Κατάτμηση Σελίδας Εγγράφου Τεχνική εξομάλυνσης εικόνας Γέμισμα περιοχών του υποβάθρου ώστε να ενωθούν τμήματα της εικόνας που ανήκουν στην ίδια κατηγορία. RLSA (Run Length Smoothing Algorithm – Αλγόριθμος εξομάλυνσης διαδοχικών pixels) Βασικοί παράμετροι: το μέγιστο μήκος διαδοχικών pixels υποβάθρου Tmax και η διεύθυνση σάρωσης Ορισμός: Η εικόνα εξετάζεται ως προς την διεύθυνση σάρωσης που έχει οριστεί και τα διαδοχικά pixels υποβάθρου με μήκος μικρότερο από το μέγιστο μήκος διαδοχικών pixels υποβάθρου Tmax μετατρέπονται σε σημεία εικόνας. Tmax = 4 Tmax = 5

Κατάτμηση Σελίδας Εγγράφου Τεχνική εξομάλυνσης εικόνας Παράμετροι RLSA: Διεύθυνση σάρωσης: Μπορεί να είναι οριζόντια, κάθετη ή διαγώνια. Ο ορισμός της διεύθυνσης είναι υποχρεωτικός για τον ορισμό του RLSA. Όρια μήκους: Tο μέγιστο μήκος διαδοχικών pixels υποβάθρου Tmax και το ελάχιστο μήκος διαδοχικών pixels υποβάθρου Tmin. Η παράμετρος Tmax είναι υποχρεωτική για τον ορισμό του RLSA ενώ η παράμετρος Tmin μπορεί να παραλείπεται (τότε εννοείται Tmin = 0). Αν έχουμε υπολογίσει ότι το μήκος των διαδοχικών σημείων υποβάθρου είναι L, τότε αυτά μετατρέπονται σε σημεία εικόνας εάν ισχύει Tmin < L < Tmax. Tmin = 2 Tmax = 4 Γειτνίαση με το περιθώριο: Μπορούμε να επιλέξουμε εάν θα μετατρέψουμε σε σημεία εικόνας τα διαδοχικά σημεία υποβάθρου που πληρούν την συνθήκη για τα όρια του μήκους και ταυτόχρονα συνορεύουν με τα όρια της εικόνας. Tmax = 4 χωρίς γειτνίαση με το περιθώριο

Κατάτμηση Σελίδας Εγγράφου Τεχνική εξομάλυνσης εικόνας Εντοπισμός λέξεων: L Οριζόντιο RLSA με Tmax = L/2 και κάθετο RLSA με Tmax = L/2

Κατάτμηση Σελίδας Εγγράφου Τεχνική εξομάλυνσης εικόνας Εντοπισμός γραμμών: L Οριζόντιο RLSA με Tmax = 2*L και κάθετο RLSA με Tmax = L/2

Εργασία 8. Ταξινόμηση περιοχών σε κειμένο, εικόνες ή γραφικά
Δημιουργία βάσης με τμήματα εικόνων που ανήκουν στις 3 κατηγορίες (~30 εικόνες ανά κατηγορία) Αυτόματη κατηγοριοποίηση με χρήση του ποσοστού των μαύρων pixels κανονικοποιημένο από 0 μέχρι 1 και της διασυσχέτισης του σήματος Αποτίμηση της μεθόδου

Ταξινόμηση περιοχών Περιοχές κειμένου/εικόνων/γραφικών: Υπολογίζουμε το ποσοστό των μαύρων pixels κανονικοποιημένο από 0 μέχρι 1 : ABP είναι το σύνολο των μαύρων pixels (ABP: Amount of Black Pixels) και Ε το σύνολο των pixels της περιοχής. Υπολογίζουμε την διασυσχέτιση του σήματος (signal cross-correlation): Υπολογίζουμε μία κανονικοποιημένη διασυσχέτιση της πληροφορίας μεταξύ των οριζόντιων γραμμών σε απόσταση y και y+a από το πάνω όριο των περιοχών. I(x,y) η ασπρόμαυρη εικόνα, Μ το πλάτος της περιοχής που εξετάζουμε, a η κατακόρυφη απόσταση μεταξύ των κατακόρυφων γραμμών των οποίων τις πληροφορίες συσχετίζουμε. Η διασυσχέτιση C(a,y) παίρνει τιμές από -1 (οι δύο οριζόντιες γραμμές είναι εντελώς διαφορετικές) μέχρι 1 (οι δύο οριζόντιες γραμμές είναι ίδιες). Η συνολική διασυσχέτιση προκύπτει από την μέση τιμή των τιμών C(a,y) για όλες τις οριζόντιες γραμμές της περιοχής.

Ταξινόμηση περιοχών B C B C

Ταξινόμηση περιοχών B B C

Ταξινόμηση περιοχών

Εργασίες – Γενικές οδηγίες

Παρόμοιες παρουσιάσεις

Παρουσίαση με θέμα: "Εργασίες – Γενικές οδηγίες"— Μεταγράφημα παρουσίασης:

Παρόμοιες παρουσιάσεις

Σχετικά με το έργο

Σχόλια

Είσοδος

Σύνδεση μέσω των κοινωνικών δικτύων:

Εργασίες – Γενικές οδηγίες

Παρόμοιες παρουσιάσεις

Παρουσίαση με θέμα: "Εργασίες – Γενικές οδηγίες"— Μεταγράφημα παρουσίασης:

Παρόμοιες παρουσιάσεις

Σχετικά με το έργο

Σχόλια