Μοντέλα μέτρησης απόδοσης συστήματος (KLM) και εισαγωγή στη στατιστική

Παρουσίαση με θέμα: "Μοντέλα μέτρησης απόδοσης συστήματος (KLM) και εισαγωγή στη στατιστική"— Μεταγράφημα παρουσίασης:

1 Μοντέλα μέτρησης απόδοσης συστήματος (KLM) και εισαγωγή στη στατιστική
Υπεύθυνος Εργαστηρίου: Μάριος Belk Υλικό από HCI Group, Πανεπιστήμιο Πάτρας

2 Διερεύνηση του KLM μοντέλου
KLM = Keystroke Level Model Εμπειρικό μοντέλο ανάλυσης πληκτρολογήσεων για την εκτίμηση της απόδοσης ενός συστήματος Χωρίς συμμετοχή χρηστών Συνήθως κατά την φάση αρχικού σχεδιασμού Στηρίζεται στην παραδοχή ότι ο χρήστης δεν κάνει λάθη Ιδιαίτερα χρήσιμη μέθοδος για συγκριτική μελέτη εναλλακτικών σχεδιασμών ή για λεπτομερή ανάλυση συχνά επαναλαμβανόμενων εργασιών

3 Παράδειγμα ανάλυσης με KLM
ο χρήστης τοποθετεί το χέρι του στη δεικτική συσκευή (ΤH) και προετοιμάζεται νοητικά (ΤM) μεταφέρει τον δρομέα στο μενού File (TP) και ανοίγει το μενού (ΤK) επιλέγει από το μενού (νοητική προετοιμασία, μετακίνηση στην επιλογή Save as, πάτημα πλήκτρου: ΤM+ TP+TK) πληκτρολογεί το όνομα του αρχείου (απόκριση συστήματος, νοητική προετοιμασία, μετακίνηση στο πληκτρολόγιο, πληκτρολόγηση ονόματος αρχείου: ΤR+TM+TH+ 8*TK) πάτημα ΟΚ (μετακίνηση στη δεικτική συσκευή, μεταφορά δρομέα στο ΟΚ και πάτημα πλήκτρου: ΤΗ+TP+ TK)

4 Σειρά σας… Χρησιμοποιήστε το KLM για να εκτιμήσετε τον τυπικό χρόνο (μέτρο απόδοσης) για την εργασία εισαγωγής αριθμών σε μια φόρμα (Web Num Analyzer) με χρήση του κυρίως πληκτρολογίου QWERTY Tk Tp Th Tm Tr 0.6 sec 0.4 sec 1.35 sec 0 sec

5 Μέτρηση χρόνου με πείραμα και σύγκριση απόδοσης συσκευών εισαγωγής κειμένου
Μέτρηση απόδοσης δύο εναλλακτικών τρόπων εισαγωγής κειμένου σε φόρμα (συγκεκριμένα αριθμών) τα αριθμητικά πλήκτρα στο QWERTY (πάνω από τα γράμματα στο κυρίως σώμα του πληκτρολογίου) και το αριθμητικό πληκτρολόγιο ή numpad (στα δεξιά). Σκοπός αυτού του πειράματος είναι η διερεύνηση των διαφορών χρήσης αυτών των δύο εναλλακτικών τρόπων εισαγωγής κειμένου σε φόρμα η επίδραση της εμπειρίας εκτέλεσης της εργασίας στον χρόνο καταχώρησης των δεδομένων Επίσης θα συγκρίνουμε τους χρόνους που μετρήσαμε με το πείραμα με τον «εκτιμώμενο χρόνο» που μας παρέχει το KLM μοντέλο ώστε να βγάλουμε χρήσιμα συμπεράσματα.

6 Διεξαγωγή Πειράματος Εισαγωγής Αριθμών
Χρήση του WebNumAnalyzer για εισαγωγή αριθμών σε φόρμα Δύο εναλλακτικοί τρόποι («συσκευές») εισαγωγής κειμένου QWERTY NUMPAD Δύο προσπάθειες για κάθε συσκευή QWERTY - Try1, QWERTY – Try2 NUMPARD - Try1, NUMPARD – Try2

7 Ανάλυση αποτελεσμάτων
Με βάση τις μετρήσεις όλων των συμμετεχόντων (αρχείο) θα προχωρήσουμε σε μία στατιστική ανάλυση ώστε να μελετήσουμε: εάν η εμπειρία εκτέλεσης της συγκεκριμένης εργασίας επιδρά στον χρόνο καταχώρησης των εάν η χρήση δύο διαφορετικών συσκευών εισαγωγής αριθμών επιδρά στον χρόνο (QWERTYκαι NUMPAD) καταχώρησης των δεδομένων

8 Παραδοτέο 1: Διαδικασία εκτίμησης (σύμφωνα με το KLM) της απόδοσης εισαγωγής αριθμών με χρήση του κυρίως πληκτρολογίου (QWERTY) 2: Πείραμα εισαγωγής κειμένου σε φόρμα Στατιστική ανάλυση των δεδομένων, ανάλυση των αποτελεσμάτων και τα συμπεράσματα σας. Μέσα στην αναφορά συμπεριλάβατε μία ή δύο προτάσεις που θα χρησιμοποιούσατε για να παρουσιάσετε τα αποτελέσματα και τα συμπεράσματα του πειράματος.

9 Εισαγωγή στην Στατιστική
Παράρτημα Εισαγωγή στην Στατιστική

10 Επιστημονική Έρευνα & Στατιστική
Επιστημονική έρευνα σχετίζεται με έναν γενικό προβληματισμό ή μια συγκεκριμένη ερώτηση που αφορά ομάδες ατόμων, αντικειμένων ή άλλων οντοτήτων βασίζεται στην παρατήρηση φαινομένων και στην συλλογή πληροφοριών (δεδομένα) Στατιστική = σύνολο από τεχνικές που επιτρέπουν Το σχεδιασμό της διαδικασίας συλλογής δεδομένων (Σχεδιασμός Πειραμάτων - Experimental Design) Τη συνοπτική και αποτελεσματική παρουσίαση δεδομένων (Περιγραφική Στατιστική – Descriptive Statistics) Την ανάλυση των δεδομένων και την εξαγωγή χρήσιμων/γενικεύσιμων συμπερασμάτων (Επαγωγική Στατιστική – Inferential Statistics)

11 Στατιστική – Βασικές Έννοιες
Πληθυσμός = σύνολο των υπό μελέτη ατόμων, αντικειμένων ή άλλων οντοτήτων Δείγμα = υποσύνολο του πληθυσμού που έχει επιλεγεί κατάλληλα ώστε να τον αντιπροσωπεύει Γιατί: μελέτη ολόκληρου του πληθυσμού δεν είναι πρακτικά δυνατή Σφάλμα δειγματοληψίας = ποσοστό λάθους/ασυμφωνία ανάμεσα στην παράμετρο ενός πληθυσμού και στον μετρούμενο στατιστικό δείκτη του δείγματος

12 Κατηγορίες Δεδομένων Οι επιστημονικές μελέτες απαιτούν συλλογή δεδομένων Ποιοτικά (δεν υπάρχει κλίμακα μέτρησης) Ονομαστικές κατηγορίες (nominal data): π.χ. φύλο, χρώμα ματιών Ταξινομημένες κατηγορίες (ordinal data): π.χ. κατάταξη μεταλλίων Ποσοτικά (υπάρχει κλίμακα μέτρησης) Συνεχή (continuous): χρόνος, βάρος, ύψος Διακριτά (discrete): αριθμός παιδιών μιας οικογένειας

13 Περιγραφική Στατιστική
Κατανομές Συχνότητας: Παρουσιάζουν δεδομένα με εύληπτο τρόπο Μέτρα Κεντρικής Τάσης: Στατιστικό μέγεθος το οποίο μπορεί να χρησιμοποιηθεί για να αντιπροσωπεύσει ένα σύνολο δεδομένων Μέτρα Διασποράς: Δίνουν μία εικόνα σχετικά με το πόσο συγκεντρωμένες είναι οι παρατηρήσεις σε ένα σύνολο δεδομένων Ιστόγραμμα Ραβδόγραμμα

14 Μέτρα κεντρικής τάσης (1/2)
Μέση τιμή (mean): Τι είναι: Ο αριθμητικός μέσος Πως υπολογίζεται: Πότε χρησιμοποιείται: Ποσοτικά δεδομένα Διάμεσος (median): Τι είναι: Τιμή για την οποία το 50% των παρατηρήσεων έχει τιμή ίση ή μικρότερη. Περιττό πλήθος = Μεσαία τιμή σε αύξουσα διάταξη 3, 5, 7, 12, 13, 14, 21, 23, 29, 39, 40 Άρτιο πλήθος = Ημι-άθροισμα μεσαίων τιμών σε αύξουσα διάταξη 3, 5, 7, 12, 13, 14, 21, 23, 29, 39, 40, 56 => ( ) /2 = 17.5 Πότε χρησιμοποιείται: Ποσοτικά δεδομένα όταν υπάρχουν outliers Ταξινομημένες κατηγορίες

15 Μέτρα κεντρικής τάσης (2/2)
Επικρατούσα τιμή (mode): Τι είναι: Τιμή με την μεγαλύτερη συχνότητα Πως υπολογίζεται: Ισούται με την τιμή με την μεγαλύτερη συχνότητα Πότε χρησιμοποιείται: Ονομαστικές Κατηγορίες (π.χ. χρώμα ματιών)

16 Μέτρα διασποράς (1/2) Εύρος (range)
Τι είναι/Πως υπολογίζεται: Διαφορά μεγαλύτερης τιμής από την μικρότερη Πότε χρησιμοποιείται: Πρόχειρο μέτρο διασποράς αφού επηρεάζεται σημαντικά από το μέγεθος του δείγματος καθώς κάθε νέα παρατήρηση μπορεί να αλλάξει την τιμή της μικρότερης ή της μεγαλύτερης παρατήρησης στο δείγμα. Ήμι-ενδοτεταρτομοριακό εύρος (semi-interquartile range) Τι είναι/Πως υπολογίζεται: μισό του εύρους που καλύπτει το κεντρικό 50% της κατανομής παρατηρήσεων Πότε χρησιμοποιείται: Σε συνδυασμό με την διάμεσο. Επηρεάζεται λιγότερο από ακραίες παρατηρήσεις.

17 Μέτρα διασποράς (2/2) Τυπική απόκλιση (standard deviation)/ Διακύμανση (variance) Τι είναι/Πως υπολογίζεται: Διακύμανση: Τυπική Απόκλιση: Πότε χρησιμοποιείται: Η διακύμανση και η τυπική απόκλιση αποτελούν το πιο αξιόπιστο και το πιο συνηθισμένο μέτρο διασποράς. Συνδυάζονται συνήθως με την μέση τιμή και λαμβάνουν υπόψη την απόσταση όλων των παρατηρήσεων από αυτήν.

18 Επαγωγική στατιστική Συνήθως ο στόχος μιας έρευνας είναι να διερευνηθεί η επίδραση μιας μεταβλητής σε μία (η περισσότερες) άλλη μεταβλητή Σχεδιασμός πειραμάτων όπου ο ερευνητής ελέγχει την μία μεταβλητή και παρατηρεί τις τιμές της άλλης μεταβλητής χωρίς να επιδρούν άλλες μεταβλητές. εξαρτημένη μεταβλητή = αυτή/αυτές που ελέγχω ανεξάρτητη μεταβλητή = αυτή/αυτές που παρατηρώ Το ζητούμενο είναι να χρησιμοποιηθούν τα δεδομένα από τα δείγματα ώστε να προκύψουν χρήσιμα συμπεράσματα για ολόκληρο τον υπό εξέταση πληθυσμό.

19 Έλεγχος Υποθέσεων (1/3) Διαδικασία που χρησιμοποιεί δεδομένα από δείγματα ώστε να εκτιμήσει την αντίστοιχη παράμετρο του πληθυσμού. Πολλές παραλλαγές ανάλογα με τις διαθέσιμες πληροφορίες Η λογική του συνοψίζεται σε 4 βήματα: Διατύπωση υποθέσεων Διαμόρφωση κριτηρίων Συλλογή δεδομένων Αξιολόγηση μηδενικής υπόθεσης

20 Έλεγχος Υποθέσεων (2/3) Διατύπωση υποθέσεων Διαμόρφωση κριτηρίων
Μηδενική Υπόθεση (Ho) = η αλλαγή της εξαρτημένης μεταβλητής δεν επιδρά στην ανεξάρτητη Εναλλακτική Υπόθεση (Η1) = αλλαγή της εξαρτημένης μεταβλητής επιδρά στην ανεξάρτητη Διαμόρφωση κριτηρίων Ο ερευνητής τελικά θα συλλέξει κάποια δεδομένα από δείγματα για να αξιολογήσει την αξιοπιστία της μηδενικής υπόθεσης Προκύπτει το ερώτημα: «Η διαφορά ανάμεσα στην τιμή του στατιστικού δείκτη και στην τιμή που προβλέπει η Ηο για την παράμετρο του πληθυσμού οφείλεται πραγματικά στην επίδραση της ανεξάρτητης μεταβλητής ή απλά σε σφάλματα δειγματοληψίας;» Επίπεδο σημαντικότητας ή επίπεδο α = μέγιστη πιθανότητα το αποτέλεσμα να οφείλεται σε σφάλματα ή τυχαίους παράγοντες Συλλογή δεδομένων Το δείγμα πρέπει να είναι αντιπροσωπευτικό (τυχαία δειγματοληψία)

21 Έλεγχος Υποθέσεων (3/3) Αξιολόγηση της Ho
Χρήση κάποιου στατιστικού δείκτη ελέγχου (π.χ t-test, z-test κλπ) Στατιστικός δείκτης ελέγχου > 1 Πιθανότητα λήψης των αποτελεσμάτων μεγαλύτερη από το να είναι τυχαία Εγώ θέλω να αποδείξω ότι είναι σημαντικά μεγαλύτερη Μικρότερο αποδεκτό α = 0,05 (5% να οφείλονται στην τύχη)

22 Παράδειγμα – Περιγραφή Στόχου Έρευνας
Ένας ερευνητής πιστεύει ότι η χρήση μία ειδικής μεθόδου διδασκαλίας ανάγνωσης σε παιδιά δημοτικού θα βελτιώσει την ικανότητα τους στην ανάγνωση σε βάθους χρόνου 4 μηνών. Για να μετρήσει την ικανότητα των μαθητών στην ανάγνωση χρησιμοποιεί ένα ειδικό τεστ με 20 ερωτήσεις Επιλέγει με την μέθοδο της τυχαίας δειγματοληψίας ένα δείγμα από 7 παιδιά (γενικά το δείγμα πρέπει να είναι >30, εδώ είναι μικρό για ακαδημαϊκούς λόγους) Δημιουργεί μία τάξη και εφαρμόζει για 4 μήνες την τυπική διαδικασία διδασκαλίας ανάγνωσης και για 4 μήνες την ειδική. Έχει στην διάθεση του τον αριθμό των σωστών απαντήσεων που έδωσαν οι μαθητές στο τεστ μετά από την κάθε περίοδο 4 μηνών. Υποθέστε ότι ο ερευνητής θέλει να είναι 95% σίγουρος για τα συμπεράσματα του.

23 Παράδειγμα – Έλεγχος Υποθέσεων (1/2)
Δεδομένα Υποθέσεις Ηο = Η χρήση της ειδικής μεθόδου διδασκαλίας δεν έχει καμία επίδραση στην ικανότητα ανάγνωσης των παιδιών  Ηο : μ1 – μ2 = 0 Η1 = Η χρήση της ειδικής μεθόδου διδασκαλίας επιδρά στην ικανότητα ανάγνωσης των παιδιών  Η1 : μ1 – μ2 ≠ 0

24 Παράδειγμα – Έλεγχος Υποθέσεων (2/2)
Χρήση του στατιστικού πακέτου ανάλυσης του Excel Εξετάζουμε την δίπλευρη περίπτωση, η μονόπλευρη αναφέρεται σε μία διαφορετική τεχνική ελέγχου υποθέσεων γνωστής και ως κατευθυνόμενος έλεγχος υποθέσεων. Αξιολόγηση / Συμπεράσματα Εφόσον η τιμή του t (στατιστικός δείκτης ελέγχου) είναι μικρότερη (κατά απόλυτη τιμή) από την κρίσιμη τιμή δεν μπορούμε να απορρίψουμε την Η0 Το συμπέρασμα μας είναι ότι η για αυτή την μελέτη τα δεδομένα μας δεν παρέχουν επαρκείς αποδείξεις που να στηρίζουν την άποψη ότι η ειδική διδασκαλία επιδρά στην ικανότητα ανάγνωσης των παιδιών.