Μια προσέγγιση βασισμένη σε κανόνες για τη σημασιολογική επισημείωση πραγματικού χρόνου σε συστήματα με επίγνωση περιβάλλοντος Νικόλαος Η. Κωνσταντίνου 1 Εθνικό Μετσόβιο Πολυτεχνείο Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών Τομέας Επικοινωνιών, Ηλεκτρονικής και Συστημάτων Πληροφορικής

Περιεχόμενα παρουσίασης Εισαγωγή στο πρόβλημα Περιγραφή συστήματος βασισμένου σε μεσισμικό Πειραματικές μετρήσεις Ανακεφαλαίωση, συμπεράσματα και μελλοντική έρευνα 2

Ορισμοί (1/2) Επισημείωση (annotation) ◦ Προσθήκη μεταδεδομένων Σημασιολογική επισημείωση (semantic annotation) ◦ Τα μεταδεδομένα αυτά είναι κοινά αναγνωρίσιμα Δεδομένα  Πληροφορία  Γνώση Συστήματα με επίγνωση περιβάλλοντος (context-aware) ◦ Συστήματα τα οποία μέσω αισθητήρων συγκεντρώνουν και εκμεταλλεύονται πληροφορία σχετική με το περιβάλλον τους 3

Ορισμοί (2/2) Μεσισμικό (middleware) ◦ Παροχή υπηρεσιών προς δυο κατευθύνσεις: εφαρμογές και δίκτυα συλλογής πληροφορίας περιβάλλοντος Επεξεργασία πραγματικού χρόνου ◦ Σύγχρονη επεξεργασία πληροφορίας: λογική συνέπεια στα αποτελέσματα και στον χρόνο παραγωγής τους (timeliness) ◦ Ασύγχρονη επεξεργασία: daemon ◦ Χρόνος απόκρισης (latency): ο χρόνος που μεσολαβεί από την εμφάνιση δεδομένων στο σύστημα μέχρι την ολοκλήρωση της παραγωγής των αντίστοιχων αποτελεσμάτων 4

Κύριοι στόχοι Αναζήτηση σε όγκο πολυμεσικών δεδομένων Συλλογή δεδομένων από πολλαπλές πηγές και ενοποίησή τους Εξαγωγή σημασιολογικών χαρακτηριστικών υψηλού επιπέδου (σε πραγματικό χρόνο) Συσχέτιση των χαρακτηριστικών χαμηλότερου επιπέδου με σημασιολογικά μεταδεδομένα Κατανεμημένη αρχιτεκτονική ώστε να εξασφαλίζεται η επεκτασιμότητα και η κλιμακωσιμότητα του συστήματος 5

Το πρόβλημα Ολοκλήρωση κατανεμημένων πηγών δεδομένων ◦ Σημασιολογική περιγραφή μοντέλου κόσμου Σημασιολογική επισημείωση ◦ χρειάζεται επαρκή γνώση του χώρου ◦ κοστίζει σε πόρους ◦ μπορεί να είναι πλεονάζουσα, μερική ή σε διάφορα formats ◦ δύσκολα επαναχρησιμοποιήσιμη ◦ εύκολα γίνεται ξεπερασμένη Συστήματα με επίγνωση περιβάλλοντος ◦ ραγδαία αύξηση του όγκου πληροφορίας 6

Σημασιολογικός Ιστός (1/2) Γλώσσες περιγραφής ◦ Το σχήμα RDFS: τάξη στα semantics του RDF ◦ OIL  DAML+OIL  OWL  OWL 2 (27/10/2009) Γλώσσες ερωτημάτων ◦ SPARQL: triple pattern, όχι διάσχιση γράφων ◦ Χωρίς stored procedures, triggers, transactions στον επίσημο ορισμό Γλώσσες σύνταξης κανόνων: body  head ◦ RuleML (με XML-only, XML/RDF-combining και RDF-only), SWRL, Jena ◦ Δεν έχει προκύψει ακόμη κάποιο επίσημο πρότυπο 7

Σημασιολογικός Ιστός (2/2) Προγραμματιστικές διεπαφές ◦ Jena: πρακτική επιλογή για Java Υπηρεσίες συλλογιστικής ◦ Κατηγοριοποίηση εννοιών, έλεγχοι σε συνέπεια και ικανοποιησιμότητα, εξαγωγή έμμεσης (implicit) γνώσης ◦ KAON2, Pellet, FaCT++, Racer, RacerPro ◦ DIG διασυνδεσιμότητα: Επικοινωνία της οντολογίας με τον εξυπηρετητή μέσω απλών μηνυμάτων http: αιτήματα ASK και TELL 8

Περιεχόμενα παρουσίασης Εισαγωγή στο πρόβλημα Περιγραφή συστήματος βασισμένου σε μεσισμικό Πειραματικές μετρήσεις Ανακεφαλαίωση, συμπεράσματα και μελλοντική έρευνα 9

Αρχιτεκτονική συστήματος μεσισμικού 10

Αρχιτεκτονική συστήματος μεσισμικού * Τμήματα (modules) ◦ Αισθητήρες (κάμερες, μικρόφωνα) ◦ Ανιχνευτές (trackers, πχ αναγνώριση ομιλίας) ◦ 2 Σύνολα κανόνων (αντιστοίχισης και σημασιολογικών) ◦ Προγραμματιστική διεπαφή (API) μέσω Υπηρεσιών Διαδικτύου με εφαρμογές και με το σύστημα εξαγωγής χαρακτηριστικών ◦ Οντολογία ◦ Υπηρεσίες συλλογιστικής ◦ Πρότυπα μηνυμάτων ◦ Ενέργειες (alerts) ◦ Υποβολή ερωτημάτων σε σημασιολογικό επίπεδο * Η εν λόγω έρευνα διεξήχθη στα πλαίσια του ερευνητικού έργου ΠΡΙΑΜΟΣ (Προσαρμοστικά συστήματα πραγματΙκού χρόνου για εξόρυξη σημασιολογίας και ευφυείς διεπΑφές – επίδειξη σε εφαρΜΟγές ασφάλειαΣ και επικοινωνίας του πολίτη), το οποίο χρηματοδοτήθηκε από τη Γενική Γραμματεία Έρευνας και Τεχνολογίας (ΓΓΕΤ), Επιχειρησιακό Πρόγραμμα “Κοινωνία της Πληροφορίας”, μέτρο 3.3: “Επεξεργασία εικόνων, ήχου και γλώσσας”. 11

Επεξεργασία Μηνυμάτων : Ροή Πληροφορίας Το γεγονός του περιβάλλοντος γίνεται αντιληπτό από τους αισθητήρες, παράγοντας δεδομένα χαμηλού επιπέδου (πολυμεσικά, πχ ροή video ή/και ήχου) Οι αλγόριθμοι εξαγωγής χαρακτηριστικών παράγουν επισημείωση σε XML Η επισημείωση αποστέλλεται μέσω Υπηρεσιών Διαδικτύου στον εξυπηρετητή μεσισμικού Ο εξυπηρετητής εφαρμόζει προκαθορισμένους κανόνες στο εισερχόμενο μήνυμα Στην περίπτωση που η απόδοση του μεσισμικού ξεπερνά συγκεκριμένο κατώφλι εκτελούνται διαδικασίες διαχείρισης της απόδοσης 12

Παράδειγμα μηνύματος Το μήνυμα αποστέλλεται από έναν αισθητήρα προς το μεσισμικό <DataSource id=”3” name=”CeilingCamera” url=” 13

Γλώσσα κανόνων αντιστοίχισης Παράδειγμα κανόνα αντιστοίχισης if, xml element has value, … then, insert individual in class,Professor, named and set datatype property, Θα προστεθούν οι εξής τριάδες στη Βάση Γνώσης default:Professor_John rdf:type default:Professor ; default:hasTime "11:28:34"^^xsd:time. Πλήρης αυτοματοποίηση της διαδικασίας (τετριμμένη) ◦ XML tag ↔ κλάση οντολογίας ◦ XML property ↔ datatype property οντολογίας 14

Γλώσσα σημασιολογικών κανόνων Σύντηξη (fusion) μηνυμάτων Πρότυπο Event-Condition-Action Αν συνθήκη τότε ενέργεια Παράδειγμα if,SPARQL query has results, SELECT ?x ?y WHERE { ?x rdf:type default:Professor. ?x :hasTime ?t1. ?y rdf:type default:Person. ?y hasTime ?t2 FILTER (?t1 = ?t2) } then, alert ("Professor in the room!") 15

Διαδικασίες συντήρησης Παράδειγμα σε SPARQL για μεταφορά του ABox από την προσωρινή στη μόνιμη Βάση Γνώσεως Το construct DELETE δεν περιλαμβάνεται στον επίσημο ορισμό της SPARQL Επίσης, ούτε το construct UPDATE, απαραίτητο για την ανανέωση των ιδιοτήτων των individuals DELETE FROM { ?member ?p ?o } WHERE { GRAPH { ?class a owl:Class. ?member a ?class. ?member ?p ?o. } INSERT INTO { ?member ?p ?o } WHERE { GRAPH { ?class a owl:Class. ?member a ?class. ?member ?p ?o. } 16

Αντιμετώπιση σφαλμάτων και ασυνεπειών Ενσωμάτωση ασάφειας στους κανόνες ◦ Αποδοχή γεγονότων μόνο σε περίπτωση που η βεβαιότητα ξεπερνά κάποιο κατώφλι Δειγματοληψία (sampling) και προσωρινή αποθήκευση (caching) σε περίπτωση μεγάλου φόρτου Απόρριψη μηνυμάτων που εμφανίζουν ασυνέπεια ◦ με σημασιολογικούς κανόνες ◦ με διαδικασίες συντήρησης 17

Παρεχόμενη λειτουργικότητα συγκεκριμένης προσέγγισης Εισαγωγή και επεξεργασία ◦ Οντολογιών ◦ Προτύπων μηνυμάτων ◦ Σημασιολογικών ερωτημάτων ◦ Κανόνων (σημασιολογικών και αντιστοίχισης) ◦ Ενεργειών Λήψη ειδοποιήσεων Εκτέλεση σημασιολογικών ερωτημάτων 18

Εφαρμογή διαχείρισης (1/2) 19

Εφαρμογή διαχείρισης (2/2) 20

Πλεονεκτήματα συγκεκριμένης προσέγγισης Πρακτικά απεριόριστη ελευθερία στην περιγραφή των δεδομένων Ομογενοποίηση αποτελεσμάτων διαφορετικών ανιχνευτών Διασύνδεση με εξωτερικές πηγές δεδομένων και αισθητήρων, μέσω αμοιβαία προκαθορισμένης διεπαφής σύμφωνα με διεθνή πρότυπα Δυνατότητα εκ των υστέρων επεξεργασίας και εκμετάλλευσης της Βάσης Γνώσης που δημιουργείται Υποβολή σημασιολογικών ερωτημάτων υψηλότερου επιπέδου ◦ Πότε έγινε αντιληπτό για τελευταία φορά το άτομο Χ ή κάποιος από τους συναδέλφους του; ◦ Πότε βρέθηκαν στον ίδιο χώρο τα άτομα κατηγορίας Χ και κατηγορίας Υ ταυτόχρονα; ◦ Υπήρξε στο χώρο παρακολούθησης άτομο εκτός ωρών εργασίας χωρίς την επίβλεψη υπεύθυνου; 21

Περιεχόμενα παρουσίασης Εισαγωγή στο πρόβλημα Περιγραφή συστήματος βασισμένου σε μεσισμικό Πειραματικές μετρήσεις Ανακεφαλαίωση, συμπεράσματα και μελλοντική έρευνα 22

Πειραματικό περιβάλλον 1. Stergiou, A., Pnevmatikakis, A., Polymenakos, L.: The AIT Multimodal Person Identication System for CLEAR 2007, In: Multimodal Technologies for Perception of Humans, pp (2007) 2. Karame, G., Stergiou, A., Katsarakis, N., Papageorgiou, P., Pnevmatikakis, A.: 2D and 3D Face Localization for Complex Scenes. In: IEEE Conference on Advanced Video and Signal Based Surveillance (AVSS 2007), pp (2007) Videos από το Smart room του ΑΙΤ στα πλαίσια του έργου Ομαλή λειτουργία συστήματος Offline επεξεργασία μηνυμάτων με τους αλγόριθμους: Viola-Jones 1 για αναγνώριση και Camshift 2 για παρακολούθηση προσώπων 23

Δεδομένα μετρήσεων (1/2) Σε εξωτερικούς χώρους τα αποτελέσματα ήταν απογοητευτικά με τους ανιχνευτές που ήταν διαθέσιμοι Το μη ελεγχόμενο περιβάλλον συμβάλλει σε εσφαλμένα αποτελέσματα 24

25 Δεδομένα μετρήσεων (2/2)

Πειραματικά αποτελέσματα Αντιπαράδειγμα κανόνα ως βάση για τις μετρήσεις: Για κάθε μήνυμα που δέχεσαι εισήγαγε ένα individual στην οντολογία Χρειάζεται προσοχή στη ρύθμιση των κανόνων ώστε να μην αυξάνεται ο όγκος της Βάσης Γνώσης Χωρίς υπηρεσίες συλλογιστικής, ο χρόνος απόκρισης είναι αμελητέος: απλό SQL INSERT ερώτημα 26

Παράγοντες που επηρεάζουν την απόδοση Εξυπηρετητής υπηρεσιών συλλογιστικής ◦ Ο Racer δεν εξετάστηκε λόγω περιορισμών στη μνήμη Σύνολο κανόνων Αριθμός τριάδων στο προσωρινό μοντέλο της οντολογίας 27

Αριθμός τριάδων στην οντολογία Ο χρόνος επεξεργασίας του κάθε μηνύματος είναι ευθέως ανάλογος του αριθμού τριάδων της προσωρινής Βάσης Γνώσεως Υψηλός χρόνος επεξεργασίας ανά τριάδα της προσωρινής Βάσης Γνώσεως για σχετικά μικρές οντολογίες Σταθερός για μεγαλύτερες οντολογίες 28

Σενάριο 1: Παρακολούθηση χώρων Μια κάμερα 2 ανιχνευτές, για αναγνώριση και παρακολούθηση προσώπων Μια οντολογία ◦ default:Professor rdf:type owl:Class ; rdfs:subClassOf default:Staff. ◦ default:hasName rdf:type owl:DatatypeProperty ; rdfs:domain default:Human ; rdfs:range xsd:string. Ένα πρότυπο μηνυμάτων 29

Απόδοση του μεσισμικού στο σενάριο παρακολούθησης χώρων Οι διαδικασίες συντήρησης απόδοσης είναι απαραίτητες Τα δεδομένα που χρησιμοποιήθηκαν είναι με πρώιμες εκδόσεις των ανιχνευτών 30

Σενάριο 2: Εφαρμογή υποστήριξης συνεδριάσεων Πιο σύνθετο σενάριο Περισσότεροι σημασιολογικοί κανόνες 31

Απόδοση του μεσισμικού στο σενάριο υποστήριξης συνεδριάσεων Αντίστοιχα με το σενάριο παρακολούθησης χώρων, το σύστημα γρήγορα καθίσταται μη πρακτικό Οι περισσότεροι κανόνες καθιστούν το σύστημα πιο αργό 32

Περισσότερες πειραματικές μετρήσεις Μεγαλύτερα κατώφλια οδηγούν σε ◦ Πιο αργή απόκριση ◦ Πιο αραιές διαδικασίες συντήρησης 33

Ένας πελάτης Αμελητέα και σταθερή καθυστέρηση Peaks στην απόδοση  καλύτερα οι διαδικασίες συντήρησης να γίνονται με βάση τον αριθμό τριάδων της προσωρινής Βάσης Γνώσης 34

Τρεις πελάτες σε ταυτόχρονη λειτουργία Σε κάθε περίπτωση ο χρόνος απόκρισης για τον κάθε πελάτη εξαρτάται από τον αριθμό των τριάδων της προσωρινής Βάσης Γνώσης 35

Εννέα πελάτες σε ταυτόχρονη λειτουργία Ο χρόνος απόκρισης για τον κάθε πελάτη είναι πολλαπλάσιος του χρόνου επεξεργασίας ενός μηνύματος από τον εξυπηρετητή 36

Περιεχόμενα παρουσίασης Εισαγωγή στο πρόβλημα Περιγραφή συστήματος βασισμένου σε μεσισμικό Πειραματικές μετρήσεις Ανακεφαλαίωση, συμπεράσματα και μελλοντική έρευνα 37

Ανακεφαλαίωση - Συμπεράσματα Η χρήση οντολογιών επιτρέπει τη μοντελοποίηση σεναρίων Δημιουργείται πλούσια Βάση Γνώσης, διαθέσιμη για offline επεξεργασία και αξιοποίηση (πχ ολοκλήρωση με άλλα συστήματα) Αλλά Σε κάθε μήνυμα χρειάζεται να γίνεται ανάγνωση του σημασιολογικού μοντέλου  περιορισμοί στην απόδοση του συστήματος Χρειάζεται προσοχή στο σχεδιασμό των κανόνων ώστε η Βάση Γνώσης να αυξάνει μόνο όταν αυτό είναι απαραίτητο Ο χρόνος επεξεργασίας σε πραγματικό χρόνο είναι της τάξης των μερικών δευτερολέπτων Αν και τα τμήματα του λογισμικού είναι ανεξάρτητα μεταξύ τους, η διαδικασία σχεδιασμού εφαρμογής βασισμένης στο μεσισμικό είναι μη γραμμική 38

Ανοιχτά ζητήματα για το σύστημα μεσισμικού Ασφάλεια (στη μετάδοση, την αποθήκευση και στην πρόσβαση στα δεδομένα) Περαιτέρω βελτίωση απόδοσης σε περίπτωση αυξημένου φόρτου (sampling και caching) Σημασιολογικές Υπηρεσίες Διαδικτύου (WSDL με ενσωματωμένη σημασιολογία, OWL-S ή SWSF) Εφαρμογή πιο διαδεδομένων γλωσσών κανόνων όπως SWRL, ruleML ή Jena rules (δεν υπάρχει πρότυπο) Ιεραρχία στους κανόνες Ενοποίηση με διαφορετικού τύπου αισθητήρες και επικοινωνία με προτυποποιημένες γλώσσες (sensorML) Εφαρμογή σε δίκτυα αισθητήρων

Σχετικές Δημοσιεύσεις 1.N. Konstantinou, E. Solidakis, A. Zafeiropoulos, P. Stathopoulos, N. Mitrou: A Context-aware Middleware for Real-Time Semantic Enrichment of Distributed Multimedia Metadata, In International Journal of Multimedia Tools and Applications, Springer, special issue on Data Semantics for Multimedia Systems, 46(2): 425−461, January A. Zafeiropoulos, N. Konstantinou, S. Arkoulis, D.-E. Spanos, and N. Mitrou. A Semantic-Based Architecture for Sensor Data Fusion. In Second International Conference on Mobile Ubiquitous Computing, Systems, Services and Technologies (UBICOMM’08), Valencia, Spain, October N. Konstantinou, E. Solidakis, S. Zoi, A. Zafeiropoulos, P. Stathopoulos, and N. Mitrou. Priamos: A Middleware Architecture for Real-Time Semantic Annotation of Context Features. In IET International Conference on Intelligent Environments (IE’07), Ulm, Germany, September

Ευχαριστώ πολύ! 41