Αξιολόγηση.

Παρουσίαση με θέμα: "Αξιολόγηση."— Μεταγράφημα παρουσίασης:

1 Αξιολόγηση

2 Βασικές ερωτήσεις Τι είναι η αξιολόγηση; Γιατί γίνεται; Πότε γίνεται;
Ποιος την κάνει; Πως γίνεται; Πού γίνεται; (περιβάλλον αξιολόγησης: φυσικό, πειραματικό)

3 Διαστάσεις… Πείραμα Ποσοτικές Ποιοτικές Παρατήρηση

4 Διάσταση1η: Πείραμα - Παρατήρηση
Διάσταση1η: Πείραμα - Παρατήρηση Τι είναι το πείραμα; Τι είναι η παρατήρηση; Πως διαφέρουν τα δύο;

5 Διάσταση 2η – Ποιοτικές – Ποσοτικές μέθοδοι
Τι είναι οι ποσοτικές; Τι είναι οι ποιοτικές; Πως διαφέρουν μεταξύ τους;

6 Αξιολόγηση της υλοποίησης
Εμπειρικές μέθοδοι: πειραματική αξιολόγηση Υποκείμενα του πειράματος Μεταβλητές ανεξάρτητες – ελεγχόμενες από τον αξιολογητή εξαρτημένες – οι μεταβλητές που μετράμε Υπόθεση Σχεδιασμός πειράματος Στατιστικές μετρήσεις

7 Σχεδιασμός πειράματος
Καθορισμός ανεξάρτητων - εξαρτημένων μεταβλητών μεταξύ ομάδων κάθε ομάδα σε διαφορετικό σενάριο μεγαλύτερος αριθμός υποκειμένων, διαφορές ανάμεσα στις ομάδες και άτομα μεταξύ ατόμων (μέσα σε ομάδες) κάθε άτομο δοκιμάζεται σ’ όλες τις συνθήκες

8 Τεχνικές παρατήρησης Think aloud Καταγραφή κινήσεων χρήστη
χαρτί και μολύβι ταινία ήχου ταινία βίντεο από υπολογιστή σημειωματάρια χρήστη

9 Τεχνικές ερωτήσεων Συνεντεύξεις Ερωτηματολόγια Τύποι ερωτήσεων γενικές
ανοικτές κλιμακωτές πολλαπλών απαντήσεων ιεράρχησης/ διετεταγμένες

10 Τύποι μεθόδων αξιολόγησης ευχρηστίας
Δοκιμή Επιθεώρηση ή Έλεγχος Έρευνα Αναλυτικά Μοντέλα Προσομοίωση

11 Δοκιμή - Testing Μέθοδος Καθοδήγησης • Μάθηση Συνεργατικής Ανακάλυψης • Μέτρηση Απόδοσης • Πειραματική Αξιολόγηση στο Εργαστήριο • Πρωτόκολλο Ερωτήσεων • Απομακρυσμένη Δοκιμή • Αναδρομική Δοκιμή • Μέθοδος Σκίασης • Μέθοδος Διδασκαλίας • Πρωτόκολλο Ομιλίας • Ανάλυση Αρχείων Χρήσης Περιγραφή Επιθεώρηση ή Έλεγχος - Inspection Γνωσιακός Περίπατος • Επιθεώρηση Χαρακτηριστικών • Ευρεστική Αξιολόγηση • Πλουραλιστικός Περίπατος • Επιθεώρηση Προοπτικών • Επιθεώρηση Οδηγιών • Τυπική εξέταση της χρηστικότητας • Επιθεώρηση Συνέπειας • Επιθεώρηση Προτύπων Έρευνα – Inquiry Τεχνικές παρατήρησης στο χώρο του χρήστη • Ομάδες Εστίασης • Τεχνικές (επ)ερωτήσεων • Καταγραφή Πραγματικής Χρήσης • Προορατική Μελέτη Πεδίου • Ερωτηματολόγια, Τεχνικές (επ)ερωτήσεων • Αξιολόγηση Βασισμένη στη Μελέτη Άλλων Αξιολογήσεων • Έρευνα πλαισίων εργασιών • Γενική Έρευνα • Στιγμιότυπα οθόνης • Σχόλια Χρηστών Αναλυτικά Μοντέλα Αξιολόγηση Βασισμένη σε Μοντέλα • Ανάλυση UIDE • Γνωσιακή Ανάλυση Εργασιών • Περιβαλλοντική Ανάλυση • Ανάλυση Απόκτησης Γνώσης • Ανάλυση Σχεδιασμού • Προγραμματιστικά μοντέλα χρήστη Προσομοίωση Μοντέλα επεξεργασίας πληροφορίας • Μοντέλα Petri net • Μοντέλα Γενετικών Αλγορίθμων • Μοντέλα πλοήγησης

12 Δοκιμή - Testing Μέθοδος Καθοδήγησης- Coaching Method
Οι χρήστες ρωτούν τις απορίες τους σε κάποιον που γνωρίζει καλά το σύστημα. Καταγράφονται οι ερωτήσεις, για να προσδιοριστούν οι ανάγκες πληροφόρησης του χρήστη και να υποστηριχθούν Μάθηση Συνεργατικής Ανακάλυψης - Co-discovery Learning Δύο χρήστες ανακαλύπτουν μαζί τον τρόπο λειτουργίας της εφαρμογής. Μέτρηση Απόδοσης, Πειραματική Αξιολόγηση στο Εργαστήριο - Performance Measurement Συλλογή ποσοτικών δεδομένων Πρωτόκολλο Ερωτήσεων - Question-asking Protocol Μία σειρά ερωτήσεων προς το χρήστη, ενώ δοκιμάζει την εφαρμογή Απομακρυσμένη Δοκιμή - Remote Testing Ο ειδικός δεν είναι μαζί με το χρήστη την ώρα της δοκιμής. Αναλύει τα δεδομένα από απόσταση. Αναδρομική Δοκιμή - Retrospective Testing Μία ανάλυση της καταγραφής των εργασιών του χρήστη. Μέθοδος Σκίασης - Shadowing Method Ειδικός εξηγεί τις ενέργειες. Μέθοδος Διδασκαλίας - Teaching Method Έμπειρος χρήστης διδάσκει αρχάριο. Πρωτόκολλο Ομιλίας - Thinking Aloud Protocol Ο χρήστης μιλάει και εξηγεί τις ενέργειές του κατά τη διάρκεια της δοκιμής. Ανάλυση Αρχείων Χρήσης - Log file analysis Αναλύονται δεδομένα χρήσης.

13 Επιθεώρηση ή Έλεγχος - Inspection
Γνωσιακός Περίπατος - Cognitive Walkthroughs Ειδικός κάνει εργασίες και αξιολογεί τη διεπαφή. Επιθεώρηση Χαρακτηριστικών - Feature Inspection Ειδικός αξιολογεί τα χαρακτηριστικά του προϊόντος. Ευρεστική Αξιολόγηση - Heuristic Evaluation Αξιολόγηση με χρήση εμπειρικών κανόνων ευχρηστίας Πλουραλιστικός Περίπατος - Pluralistic Walkthrough Πολλοί χρήστες και ειδικοί συζητούν τις ενέργειές τους. Επιθεώρηση Προοπτικών - Perspective-based Inspection Αξιολόγηση από τρεις προοπτικές: του αρχάριου, του έμπειρου και του διαχείρισης λαθών. Επιθεώρηση Οδηγιών - Guideline Review Συμβατότητα με οδηγίες. Τυπική εξέταση της χρηστικότητας - Formal usability inspection Έλεγχος τυπικών κανόνων ευχρηστίας. Επιθεώρηση Συνέπειας - Consistency inspection Έλεγχος συνέπειας προϊόντος. Επιθεώρηση Προτύπων - Standards inspection Έλεγχος συμφωνίας του προϊόντος με πρότυπα.

14 Έρευνα – Inquiry Τεχνικές παρατήρησης στο χώρο του χρήστη - Field Observation Παρατήρησης των ενεργειών του χρήστη. Ομάδες Εστίασης - Focus Groups Πολλαπλοί χρήστες συμμετέχουν σε συζήτηση. Συνεντεύξεις, Τεχνικές (επ)ερωτήσεων - Interviews Προσωπική συνέντευξη χρηστών. Καταγραφή Πραγματικής Χρήσης - Logging Actual Use Καταγραφή χρήσης διεπαφής. Προορατική Μελέτη Πεδίου - Proactive Field Study Καταγραφή των αναγκών του χρήστη, κυρίως στο στάδιο ανάλυσης απαιτήσεων. Ερωτηματολόγια, Τεχνικές (επ)ερωτήσεων - Questionnaires Απάντηση συγκεκριμένων γραπτών ερωτήσεων. Αξιολόγηση Βασισμένη στη Μελέτη Άλλων Αξιολογήσεων - Meta-evaluations Μελέτη προηγούμενων εφαρμογών και καταγραφή θετικών και αρνητικών χαρακτηριστικών. Έρευνα πλαισίων εργασιών - Contextual inquiry Τύπος συνέντευξης του χρήστη στο χώρο εργασίας του. Γενική Έρευνα - surveys Έρευνα με τη χρήση συγκεκριμένων προφορικών ερωτήσεων. Στιγμιότυπα οθόνης - Screen snapshots Ανάλυση στιγμιότυπων οθονών χρήσης. Σχόλια Χρηστών - User feedback Ο χρήστης παρέχει σχόλια.

15 Αναλυτικά Μοντέλα – Analytic models
Αξιολόγηση Βασισμένη σε Μοντέλα - Model Based Evaluation, GOMS analysis Πρόβλεψη χρόνου μάθησης συστήματος και ολοκλήρωσης εργασιών. Ανάλυση UIDE - UIDE Analysis Χρήση UIDE (User Interface Design Environment), εργαλείο για σχεδιασμό διεπαφών βασισμένο σε μοντέλα. Γνωσιακή Ανάλυση Εργασιών - Cognitive task analysis Πρόβλεψη προβλημάτων ευχρηστίας. Περιβαλλοντική Ανάλυση - Task-environmental analysis Χαρτογράφηση των ενεργειών και στόχων του χρήστη. Ανάλυση Απόκτησης Γνώσης - Knowledge analysis Πρόβλεψη ικανότητας μάθησης. Ανάλυση Σχεδιασμού - Design analysis Ανάλυση πολυπλοκότητας διεπαφής. Προγραμματιστικά μοντέλα χρήστη - Programmable user models Χρήση προγράμματος που μιμείται τις ενέργειες του χρήστη.

16 Προσομοίωση - Simulations
Μοντέλα επεξεργασίας πληροφορίας - Information proc. modeling Προσομοίωση διάδρασης χρήστη. Μοντέλα Petri net - Petri net modeling Προσομοίωση διάδρασης χρήστη με βάση αρχεία πραγματικής χρήσης. Μοντέλα Γενετικών Αλγορίθμων - Genetic algorithm modeling Μίμηση διάδρασης αρχαρίων. Μοντέλα πλοήγησης - Information scent modeling Μίμηση πλοήγησης στο διαδίκτυο.

17 Επιλέγοντας μέθοδο αξιολόγησης
Σχεδιασμός ή υλοποίηση Εργαστήριο ή επί τόπου Υποκειμενικές ή αντικειμενικές Ποσοτικές ή ποιοτικές Παρεχόμενη πληροφορία για τον αξιολογητή Αμεσότητα απάντησης Επίπεδο παρενόχλησης / εισβολής Πόροι

18 Μερικές σχετικές διευθύνσεις
TOG on Interface, Tognazzini, Addison-Wesley

19 Μερικά παραδείγματα http://www.baboulas.gr/ http://www.kairatos.com.gr

20

21

22

23 Αν έχεις αυτοπεποίθηση…

24 …και το συμπέρασμα είναι…

25

26

27 2η ομαδική άσκηση Διαλέξτε την κατάλληλη μέθοδο για την αξιολόγηση του Αιτιολογείστε την απόφασή σας. Δώστε τα βασικά συμπεράσματα της αξιολόγησής σας.