Τμήμα Μηχανικών Η/Υ, Τηλεπικοινωνιών και Δικτύων Department of Computer & Communication Engineering Multi-touch Gestures for Manipulating 3D Shapes Κινήσεις πολλαπλής αφής για τον χειρισμό 3-Διάστατων αντικειμένων

Abstract Ο σκοπός Η αξιοποίηση της τεχνολογίας συσκευών αφής μέσω της ανάπτυξης μιας εφαρμογής που αλληλεπιδρά με τον χρήστη, για τον χειρισμό 3d αντικειμένων με multi-touch κινήσεις. Η θεωρητική μελέτη κινήσεων touch, που θα δίνουν την αίσθηση χειρισμού ενός φυσικού 3d αντικειμένου και η εφαρμογή τους μέσα σε ένα 3d γραφικό περιβάλλον.

Περιεχόμενα Εισαγωγή Προδιαγραφές και αρχιτεκτονική υλοποίησης Τεχνολογίες που χρησιμοποιήθηκαν Υλοποίηση Σύνοψη & μελλοντικές προοπτικές Αναφορές

Εισαγωγή Multi-touch displays, Όρος: Αφή ή άγγιγμα της οθόνης της συσκευής με ένα δάχτυλο ή χέρι. Οι οθόνες αφής αντικαθιστούν το ποντίκι στα υπολογιστικά συστήματα. Δεκαετία 1980 : μόνο ένα σημείο επαφής.. Η τεχνολογία Multi-touch έχει υλοποιηθεί με πολλούς διαφορετικούς τρόπους (ανάκλαση, πίεση, ηλεκτρικό φορτίο)

Εισαγωγή Smart phones : Αρκετές εταιρίες έχουν ξεκινήσει να αντικαθιστούν τις μέχρι τώρα φορητές συσκευές που χρησιμοποιούσαν πλήκτρα με multi-touch διεπαφές ( iPhone, iPad). iPhone : Tο λογισμικό ανταποκρίνεται τόσο γρήγορα σε κινήσεις των δακτύλων, ώστε να δημιουργηθεί μια τεράστια αγορά για υψηλών προδιαγραφών παιχνίδια. Multi-touch gestures, Προσπάθεια εύρεσης κατάλληλου χειρισμού για 3Δ αντικείμενα πάνω σε 2Δ συσκευές εισόδου. Σημαντικό για τα ανερχόμενα λειτουργικά συστήματα που θα στηρίζονται στην αφή είναι η καθιέρωση «ρεαλιστικών» κινήσεων(gestures).

Προδιαγραφές και Αρχιτεκτονική της υλοποίησης Η Apple inc. παρέχει συσκευές τελευταίας τεχνολογίας, κατέχοντας μεγάλο μερίδιο αγοράς. Απαιτήσεις Χρηστών, Χειρισμός αντικειμένων: εύκολα αντιληπτές, κατανοητές και πλήρως εναρμονισμένες κινήσεις. Ρεαλισμός στην κάθε κίνηση με μοντέλα υψηλής ανάλυσης. Διαχείριση μοντέλων : χρήση «αποθήκης», επισκόπηση, εναλλαγή, διαγραφή μοντέλων.

Προδιαγραφές και Αρχιτεκτονική της υλοποίησης Αρχιτεκτονική του συστήματος, Περιβάλλον διαχείρισης των 3Δ αντικειμένων Περιβάλλον χειρισμού των 3Δ αντικειμένων

Προδιαγραφές και Αρχιτεκτονική της υλοποίησης Διαχείριση βάσης μοντέλων Η εφαρμογή μπορεί να τρέξει σε οποιαδήποτε συσκευή λειτουργεί με IOS iPhone, διαθέτοντας μια προσωπική συλλογή από μοντέλα μέσα στην συσκευή. Πρόσβαση στην κεντρική «αποθήκη» 3D μέσω του ίντερνετ. Αναζήτηση Εποπτεία (XML) Download

Προδιαγραφές και Αρχιτεκτονική της υλοποίησης Περιβάλλον χειρισμού μοντέλων, Υλοποίηση της απεικόνισης Εύρεση τύπου αρχείου μοντέλου που ικανοποιεί τους στόχους του ρεαλισμού, της υψηλής ανάλυσης και της μεταφερσιμότητας αλλά και είναι αρκετά διαδεδομένος σε σχεδιαστές 3d μοντέλων. .OBJ - αναπαράσταση της επιφάνειας του μοντέλου.

Προδιαγραφές και Αρχιτεκτονική της υλοποίησης Περιβάλλον χειρισμού μοντέλων, Multi-touch gestures Εύρεση κατάλληλων κινήσεων για τον χειρισμό του αντικειμένου και ερμηνεία τους πάνω στην οθόνη με multi-touch κινήσεις. Οι βασικές κινήσεις που έχουν υλοποιηθεί: Περιστροφή αντικείμενου (άγγιγμα ενός δαχτύλου, ώθηση) Περιστροφή ως προς τον άξονα ζ (άγγιγμα δυο δαχτύλων, αντίθετη κατεύθυνση, κυκλική τροχιά)

Προδιαγραφές και Αρχιτεκτονική της υλοποίησης Μετακίνηση αντικειμένου (άγγιγμα με δυο ή περισσότερα δάχτυλα και μετακίνηση τους στην οθόνη)

Προδιαγραφές και Αρχιτεκτονική της υλοποίησης Εστίαση (μεγέθυνση, σμίκρυνση) αντικειμένου (χρήση δύο δαχτύλων)

Προδιαγραφές και Αρχιτεκτονική της υλοποίησης Παράδειγμα σύνθετων κινήσεων με χρήση δύο χεριών.

Τεχνολογίες που χρησιμοποιήθηκαν Κατανοώντας τα iPhone gestures Digital physics Το iPhone αφήνει εμάς να αλληλεπιδράσουμε με την ψηφιακή πληροφορία χρησιμοποιώντας τα χέρια μας. Ρεαλισμός , πραγματική αίσθηση αλληλεπίδρασης (είδος αλληλεπίδρασης χωρίς τριβή). Εκμεταλλεύεται τις κινήσεις που χρησιμοποιούμε καθημερινά. Gestures Tap, Double-Tap Drag, Flick Delete Pinch

Τεχνολογίες που χρησιμοποιήθηκαν OpenGL and OpenGL ES Η OpenGL είναι μια χαμηλού επιπέδου, διαδικαστική API, απαιτώντας από τον προγραμματιστή να υπαγορεύσει τα ακριβή βήματα που απαιτούνται για να αναπαραχθεί μια σκηνή. OpenGL ES OpenGL για ενσωματωμένα συστήματα (σχεδιασμένη για φορητές συσκευές ). OpenGL ES 2.x, επιτρέπει πλήρη προγραμματιζόμενα 3D γραφικά, προσφέρει επιτάχυνση, ποιότητα εικόνας και επιδόσεις. Αφαίρεση των glBegin ... glEnd

Τεχνολογίες που χρησιμοποιήθηκαν Objective-C Αντικειμενοστραφής γλώσσα . Βασίζεται στην ανταλλαγή μηνυμάτων (γίνονται κλήσεις μηνυμάτων). Cocoa frameworks Πρότυπο σχεδιασμού Model-View-Controller (MVC). Εξαλείφει την χρήση κώδικα σύνδεσης μεταξύ Controllers και Όψεων.

Τεχνολογίες που χρησιμοποιήθηκαν Core Animation IOS: Αρχή του συστήματος συντεταγμένων είναι στην επάνω αριστερή γωνία και οι θετικές τιμές εκτείνονται προς τα κάτω και στα δεξιά από την αρχή. Κάθε αντικείμενο(layer) διατηρεί το δικό του σύστημα συντεταγμένων. H κλάση CALayer παρέχει τις μεθόδους για να μετατρέψει τιμές από το σύστημα του ενός επιπέδου στο άλλο.

Τεχνολογίες που χρησιμοποιήθηκαν Είναι δυνατή η μετατροπή της γεωμετρίας ενός επιπέδου χρησιμοποιώντας πίνακα μετασχηματισμών. CATransform3D δομή δεδομένων (4Χ4 πίνακα) χρησιμοποιείται για την περιστροφή, την κλιμάκωση, την μετατόπιση, την κλίση και την εφαρμογή μετασχηματισμών προοπτικής σε ένα επίπεδο.

Τεχνολογίες που χρησιμοποιήθηκαν Οι συναρτήσεις μετασχηματισμών που είναι διαθέσιμες από το Core Animation λειτουργούν πάνω στις δομές αυτές. Δίνει έτσι την δυνατότητα κατασκευής απλών η και πολύπλοκων μετασχηματισμών που μπορούν εύκολα να επαναχρησιμοποιηθούν. CATransform3DTranslate CATransform3DScale CATransform3DRotate

Υλοποίηση Συναρτήσεις που έχουν ενδιαφέρον να προσέξουμε Εντοπισμός της απόστασης δυο σημείων Υπολογίζει την απόσταση δυο σημείων που δημιουργούνται από το άγγιγμα της οθόνης (απόσταση μέσω υποτείνουσας). Εντοπισμός κοινής κατεύθυνσης Ελέγχει κατά πόσο και τα δυο δάχτυλα κινούνται προς την ίδια κατεύθυνση. Έναρξη χειρισμών Ελέγχει τον αριθμό των δάχτυλων που αγγίζουν την οθόνη. Ελέγχει επίσης εάν το αντικείμενο βρίσκεται σε κατάσταση κίνησης στέλνοντας σήμα τερματισμού προηγούμενης λειτουργίας και αρχικοποίησης χειρισμού νέων κινήσεων.

Υλοποίηση Υλοποίηση χειρισμών Εντοπισμός Περιστροφής ως προς άξονα ζ Επαναφέρει το αντικείμενο σε κατάσταση κίνησης, αναγνωρίζει και αντιδρά σε πλήθος διαφορετικών κινήσεων(μεταφορά στο χώρο, pinch gesture), ενημερώνει τον πίνακα προβολής με τις νέες τιμές. Εντοπισμός Περιστροφής ως προς άξονα ζ Δημιουργεί ένα gesture recognized που ψάχνει για περιστροφικές κινήσεις των δαχτύλων σε αντίθετη κατεύθυνση. Υπολογισμός γωνίας περιστροφής.

Υλοποίηση Πίνακας προβολής Η δομή CATransform3D που παρέχεται από το Core Animation για τον χειρισμό των CALayers εμφανίζει την ίδια δομή με τον πίνακα προβολής του μοντέλου στην OpenGL ES. Οι αλλαγές(scale, rotate, translate) εκτελούνται στην δομή CATransform3D και στο τέλος γίνεται απλή αντικατάσταση του πίνακα προβολής.

Υλοποίηση Πλατφόρμες και Προγραμματιστικά Εργαλεία Χρησιμοποιήθηκε η σουίτα εργαλείων Χcode 3.2 Χcode IDE Interface Builder iPhone simulator

Σύνοψη & μελλοντικές προοπτικές Κινήσεις που χρησιμοποιούν την ψηφιακή φυσική και αξιοποιούν με τον καλύτερο τρόπο το λογισμικό που είχαμε στην διάθεση μας. Ο συνδυασμός του ξεχωριστού συστήματος εισόδου πολλαπλής αφής των iPhone, iPad και των ενσωματωμένων δυνατοτήτων γραφικών του OpenGL ES 3D δίνουν την αίσθηση του χειρισμού των ίδιων των μοντέλων με τα δάχτυλα των χεριών μας. Η εφαρμογή έχει κατατεθεί στο app store με τίτλο ModelVision3D. Support site: http://itouch3project.wordpress.com/

Σύνοψη & μελλοντικές προοπτικές Ως επέκταση της εργασίας αυτής Αναζήτηση νέων κινήσεων (αναδιαμόρφωση μοντέλου). Accelerometer (πίεση). Γυροσκόπιο. Ενσωμάτωση τύπων 3d αντικειμένων (OFF,3DS,VRML,PLY). Διασύνδεση με «αποθήκες» όπως η Aim@Shape.

Αναφορές http://en.wikipedia.org/wiki/Touchpad http://en.wikipedia.org/wiki/IPad http://www.computerworld.com/s/article/913864 4/How_the_iPhone_works http://en.wikipedia.org/wiki/Multi-touch http://itouch3project.wordpress.com/ http://en.wikipedia.org/wiki/Cocoa_Touch http://developer.apple.com/technologies/mac/co coa.html http://developer.apple.com/library/mac/#docum entation/Cocoa/Conceptual/CoreAnimation_guid e/Articles/Layers.html http://developer.apple.com/library/ios/#docume ntation/Xcode/Conceptual/iphone_development/ 120- Building_and_Running_Applications/building_and _running_applications.html#//apple_ref/doc/uid /TP40007959-CH6-SW2 http://www.stanford.edu/class/cs193p/cgi- bin/drupal/ http://www.mobileorchard.com/getting-started- with-opengl-es-20-on-the-iphone-3gs/ http://www.computerworld.com/ http://www.readwriteweb.com/ Αναφορές http://en.wikipedia.org/wiki/OpenGL http://www.opengl.org/ http://www.iphonedevsdk.com/forum/iphone- sdk-game-development/ http://iphonedevelopment.blogspot.com/ http://www.gamedev.net http://en.wikipedia.org/wiki/Xcode http://developer.apple.com/technologies/tools/xc ode.html http://www.engadget.com/ http://www.appleinsider.com/articles/08/02/21/ mega_apple_filing_details_next_gen_multi_touch_ input_surface.html http://www.iphonebuzz.com/apple-files-patent- for-multi-touch-plus-054630.php http://en.wikipedia.org/wiki/Multi-touch_gestures http://en.wikipedia.org/wiki/IPhone_4#Display http://en.wikipedia.org/wiki/IPod_Touch

Ευχαριστώ πολύ, ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΙΑΣ Τμήμα Μηχανικών Η/Υ, Τηλεπικοινωνιών και Δικτύων Ευχαριστώ πολύ, Αθανάσιος Ψάλτης