Σύγχρονα συστήματα προβλέψεων και μοντελοποίησης

Παρουσίαση με θέμα: "Σύγχρονα συστήματα προβλέψεων και μοντελοποίησης"— Μεταγράφημα παρουσίασης:

1 Σύγχρονα συστήματα προβλέψεων και μοντελοποίησης
Δημήτρης Λέκκας Τμήμα Στατιστικής και Αναλογιστικών Χρηματοοικονομικών Μαθηματικών

2 Περιγραφή Πρόγνωση Μέθοδοι Πρόγνωση με Συναρτήσεις Μεταφοράς
Πρόγνωση με Τεχνητά Νευρωνικά δίκτυα (ΤΝΔ) Artificial Neural Networks (ANN) Διόρθωση πρόγνωσης

3 Γιατί να κάνουμε πρόγνωση με ΤΝΔ?
Pattern or Noise? Δεδομένα επιβατών αεροπορικής εταιρίας Εποχικότητα, Τάση Πολλαπλασιαστική επίδραση της εποχικότητας Ή προσθετική επίδραση της εποχικότητας Πωλήσεις νωπών προϊόντων σε supermarket Εποχικότητα, Παλμοί, Θόρυβος Άγνωστο μοντέλο

4 Γιατί να κάνουμε πρόγνωση με ΤΝΔ?
Pattern or Noise? TAR(p) Threshold Autoregressive model Random Walk model

5 Γιατί Τεχνητά Νευρωνικά Δίκτυα? – μη γραμμικότητα
Διαθέσιμα δεδομένα – άγνωστες διεργασίες Πολλές εξαρτημένες σχέσεις στο χώρο των επιχειρήσεων και της αγοράς είναι μη-γραμμικές ΤΝΔ μπορούν να προσεγγίσουν οποιαδήποτε γραμμική και μη-γραμμική σχέση με ακρίβεια Μπορούν να μάθουν (learn) Μπορούν να προεκτείνουν (extrapolate)  generalisation (ικανότητα γενίκευσης) Μπορούν να εξάγουν πληροφορία από τα δεδομένα Ευέλικτα εργαλεία για προσομοίωση και πρόγνωση

6 “An ANN is a nonlinear mathematical structure which is capable of representing arbitrary complex nonlinear processes that relate the inputs and the outputs of any system” (Hsu et al., 1995). Ανήκουν στην ομάδα των data-driven μεθόδων όπως τα μοντέλα Συνάρτησης Μεταφοράς, σε αντίθεση με τις μεθόδους που βασίζονται στην περιγραφή των διεργασιών / σχέσεων (process-driven). Ένα ΤΝΔ μπορεί να παράγει μελλοντικές τιμές μιας χρονοσειράς με πολλές μεταβλητές που πιθανόν περιέχει θόρυβο, βασισμένο σε παλιότερες παρατηρήσεις.

7 Γιατί Τεχνητά Νευρωνικά Δίκτυα? – ευέλικτη μοντελοποίηση
Άγνωστες διεργασίες που περιγράφονται από τα δεδομένα – απαιτούν την δημιουργία υποψήφιων μοντέλων Ευελιξία στις μεταβλητές εισόδου – κωδικοποίησης Δυαδικό - Binary scale [0;1], [-1;1] Δεκαδικό - Nominal/ordinal scale (0,1,2,…,10) Μετρικό - Metric scale (0,235 7, ,0 …) Ευελιξία στις μεταβλητές εξόδου Αριθμός μεταβλητών εισόδου Αριθμός μεταβλητών εξόδου

8 Γιατί Τεχνητά Νευρωνικά Δίκτυα? – ευέλικτη μοντελοποίηση
Μια αρχιτεκτονική δικτύου  πολλές εφαρμογές

9 Εφαρμογή των ΤΝΔ σε διαφορετικά πεδία έρευνας και εφαρμογής
2500+ επιστημονικές δημοσιεύσεις σε πρόγνωση με ΤΝΔ Νευροφυσιολογία – προσομοίωση και ανάλυση λειτουργίας εγκεφάλου Πληροφορική & URL filtering VirusScan (Symmantec Norton Antivirus) Speech recognition & Optical Character Recognition Μηχανική Έλεγχος και διαχείριση συστημάτων Αυτόματη αναγνώριση στόχου Ανίχνευση εκρηκτικών σε αεροδρόμια Εκκίνηση και προσγείωση αεροπλάνων και πυραύλων (NASA) Κλήμα και καιρικά φαινόμενα Πρόγνωση βροχόπτωσης Επιδράσεις φαινομένων όπως ElNino

10 Εφαρμογή των ΤΝΔ σε διαφορετικά πεδία έρευνας και εφαρμογής
Επιχειρήσεις Έλεγχος και ανίχνευση απάτης με πιστωτικές κάρτες Μέθοδοι προσομοίωσης και πρόγνωσης Παραγωγή ηλεκτρικής ενέργειας / ζήτηση Πωλήσεις Οικονομικός τομέας Προγνώσεις μετοχών, δεικτών κλπ.

11 Τι είναι τα Τεχνητά Νευρωνικά Δίκτυα?
Μια μηχανή που έχει σχεδιαστεί για να προσομοιώσει τον τρόπο που λειτουργεί το ανθρώπινο μυαλό - το δίκτυο ‘περιγράφεται’ σε κώδικα για να λειτουργεί σε Η/Υ. Μια τάξη στατιστικών μεθόδων για την διαχείριση πληροφορίας που αποτελείται από έναν αριθμό (μεγάλο?) απλών δομών (νευρώνια - neurons) που ανταλλάσσουν πληροφορίες μέσω οργανωμένων συνδέσεων. Είσοδος Διεργασία Έξοδος Black Box Παρατηρήσεις χρονοσειρών Μεταβλητές Δεδομένα εικόνας (pixel/bits) Δακτυλικά αποτυπώματα Χημικές αναλύσεις ... Πρόγνωση χρονοσειρών Εξαρτημένες μεταβλητές Ομαδοποίηση Πιθανότητες Κύριο συστατικό ...

12 Παράδειγμα

13 Τεχνητά Νευρωνικά Δίκτυα (Τ.Ν.Δ.)
Τι είναι τα Τ.Ν.Δ. Δομή Εκπαίδευση Τ.Ν.Δ. Εφαρμογές Τ.Ν.Δ. Υπολογιστικό σύστημα που εκτελεί ορισμένες χαρακτηριστικές λειτουργίες. Νευρώνες / Στρώματα / Σύνδεση Ενδυνάμωση / αποδυνάμωση βαρών μέχρι να λάβουν κατάλληλες τιμές Στρατηγική ασφαλίσεων Τραπεζικό σύστημα και οικονομία Πρόβλεψη Οικονομικών Μεγεθών Εκμετάλλευση πετρελαίου και παραγώγων του

14 Δομή Τεχνητών Νευρωνικών Δικτύων
ΤΕΧΝΗΤΟΣ ΝΕΥΡΩΝΑΣ Βάρη Αθροιστής Συναρτήσεις μεταφοράς ΔΟΜΗ ΔΙΚΤΥΟΥ Αριθμός Στρωμάτων Πλήθος Νευρώνων Είδος σύνδεσης Σ Σχηματική Αναπαράσταση ενός Τεχνητού Νευρώνα Παράδειγμα δομής ενός Τεχνητού Νευρωνικού Δικτύου

15 Νευρώνια - Απλές δομές Κάθε νευρώνιο δέχεται ένα άθροισμα από εισόδους (με διαφορετικά βάρη) – έξοδος από νευρώνια της προηγούμενης στοιβάδας (layer). Το εισερχόμενο σήμα προωθείται (propagates) μέσω μια μη-γραμμικής συνάρτησης ενεργοποίησης (activation function) στα νευρώνια της επόμενης στοιβάδας. Το κάθε νευρώνιο έχει διπλό ρόλο: Α) ενοποίηση της πληροφορίας που προέρχεται από εξωτερικές πηγές ή νευρώνια (συνήθως μέσω μιας γραμμικής συνάρτησης) Β) παραγωγή του σήματος εξόδου βάση μιας προκαθορισμένης συνάρτησης ενεργοποίησης (sigmoid, linear, the cubic polynomial κλπ) Η μετατροπή αυτή των εισόδων σε εξόδους σε ένα νευρώνιο είναι σχετικά απλή, η πολυπλοκότητα και η ισχύς των ΤΝΔ επιτυγχάνεται με την αλληλεπίδραση ενός αριθμού νευρωνίων.

16 Αρχικές ιδέες, κίνητρο και εφαρμογή ΤΝΔ

17 Επεξεργασία πληροφορίας σε βιολογικά νευρώνια
Προσομοίωση βιολογικών λειτουργιών σε νευρώνια δις Νευρώνια με συνδέσεις στον εγκέφαλο Είσοδος (αισθήσεις), Επεξεργασία (εσωτερικά) & Έξοδος (κινητική) Γενική ιδέα: η επεξεργασία των πληροφοριών γίνεται στα νευρώνια!

18 Επεξεργασία της πληροφορίας στα νευρώνια ΤΝΔ

19 Συναρτήσεις Εισόδου – γραμμική (άθροισμα)
Εξόδου – γραμμικές, μη-γραμμικές

20 Επεξεργασία της πληροφορίας σε νευρώνιο
Νευρώνιο  δυαδικό κατώφλι

21

22 Γραφική παρουσίαση Απλή γραμμική παλινδρόμηση... Με τη μορφή εξίσωσης
Απλή γραμμική παλινδρόμηση... Με τη μορφή σχήματος

23 Απλή εξίσωση ΤΝΔ χωρίς ανατροφοδότηση (feedback)
Επίσης  Απλοποίηση για πολύπλοκα μοντέλα

24 Συνδυασμός νευρωνίων Απλή διεργασία σε κάθε νευρώνιο
Συνδυασμός απλών νευρωνίων δημιουργεί σύνθετη συμπεριφορά ...

25 Αρχιτεκτονική δικτύων - στοιβάδες (layers)
Όλα τα ΤΝΔ είναι οργανωμένα σε στοιβάδες. Τρεις τύποι - διαφορετικές λειτουργίες: Στοιβάδα εισόδου (input layer) Κρυφές στοιβάδες (hidden layers) Στοιβάδα εξόδου (output layer) Κάθε στοιβάδα αποτελείται από ένα αριθμό νευρωνίων και οι στοιβάδες συνδέονται μεταξύ τους με κάποια βάρη (correlation weights).

26 Αρχιτεκτονική ΤΝΔ πολλαπλών στοιβάδων
Νευρώνια un οργανωμένα σε στοιβάδες Συνδέσεις μεταξύ στοιβάδων με βάρη wi,j Δεδομένα εισόδου xi Δεδομένα εξόδου ok

27 Ορολογία Τεχνητά Νευρωνικά Δίκτυα Στατιστική
Είσοδος σε νευρώνια εισόδου Ανεξάρτητες μεταβλητές / με υστέρηση (lagged) Έξοδος από νευρώνια εξόδου Εξαρτημένες μεταβλητές Εκπαίδευση/ Εκμάθηση- Training/ learning Προσδιορισμός παραμέτρων Parameterization Βάρη - Weights Παράμετροι ...

28 Αρχιτεκτονική ΤΝΔ Ο τρόπος σύνδεσης των στοιβάδων, ο αριθμός των κρυφών στοιβάδων και ο αριθμός των νευρωνίων σε κάθε στοιβάδα – η αρχιτεκτονική του δικτύου – καθορίζει τον τρόπο που θα γίνει ο υπολογισμός Σε μερικές περιπτώσεις η αρχιτεκτονική μπορεί να καθοριστεί κατά τη διαδικασία εκπαίδευσης του δικτύου (cascade correlation (Imrie et al., 2000) & Linear Least Square Simplex (Hsu et al., 1995). Η αρχιτεκτονική ή ο τύπος του δικτύου καθορίζεται από την εφαρμογή.

29 Τύποι δικτύων fully connected - , όλα τα νευρώνια είναι συνδεδεμένα μεταξύ τους με διάφορους τύπους συνδεσμολογίας (forward, backward or no-connection (zero weight) layered, δεν υπάρχουν συνδέσεις από ανώτερες στοιβάδες σε κατώτερες στοιβάδες acyclic, δεν υπάρχουν συνδέσεις μεταξύ νευρωνίων ίδιας στοιβάδας. Δίκτυα που δεν είναι acyclic αναφέρονται ως recurrent. Feed forward δίκτυα ανήκουν στα acyclic networks. modular networks - η αρχιτεκτονική τους αποτελείται από ξεχωριστά στοιχεία που όταν συνδεθούν δημιουργούν ένα δίκτυο

30 Τύποι δικτύων Μulti-layered feed forward neural networks (FFNN) (Rumelhart et al., 1986), self-organising feature maps (Kohonen, 1982) Hopfield networks (Hopfield, 1987). Από αυτούς τους τύπους τα FFNN έχει παρατηρηθεί να έχουν την καλύτερη απόδοση για την περιγραφή σχέσεις όπου υπάρχουν δεδομένα εισόδου και εξόδου.

31 Τύποι δικτύων - εκπαίδευση
Πριν από την εφαρμογή ενός ΤΝΔ πρέπει να ορισθούν Ο αριθμός των στοιβάδων Ο αριθμός των νευρωνίων και οι συνδέσεις μεταξύ τους Οι τιμές των παράμετροι (weights and biases) Η διαδικασία προσδιορισμού των παραμέτρων (weights and biases) αναφέρεται ως εκπαίδευση ή εκμάθηση (learning or training).

32 Δεδομένα εκπαίδευσης και ελέγχου

33 Παράδειγμα

34 Τύποι εκπαίδευσης Η διαδικασία προσδιορισμού των παραμέτρων (learning) μπορεί να χωριστεί σε δυο κατηγορίες supervised και unsupervised. supervised : μια ομάδα δεδομένων (calibration ή training set) που περιέχει παρατηρήσεις από τις μεταβλητές του συστήματος, είναι διαθέσιμα για να προσδιοριστεί η απόδοση του συστήματος unsupervised : δεν υπάρχουν διαθέσιμα δεδομένα (calibration ή training set) για να υποδείξουν τα σφάλματα του συστήματος και να βοηθήσουν στον προσδιορισμό των παραμέτρων. Η διαδικασία βασίζεται στην αναγνώριση διαφορών στα δεδομένα ή στο περιβάλλον με κανόνες. πχ supervised learning  classification unsupervised learning  clustering

35 Η ισχύς του ΤΝΔ & ακρίβια πρόγνωσης επηρεάζονται από
Επιλογή συνάρτησης ενεργοποίησης ΤΝΔ με γραμμικές παραμέτρους  ευκολότερος προσδιορισμός παραμέτρων Περίοδος και μέθοδος εκπαίδευσης Ποσότητα διαθέσιμων δεδομένων – επιλογή μεθόδου Περιορισμοί λόγω προβλημάτων στην πρόγνωση μεγάλων τιμών. Υπάρχουν μέθοδοι για την κατασκευή ΤΝΔ που να μπορούν να κάνουν πρόγνωση τιμών που να είναι μεγαλύτερες από τις τιμές στα δεδομένα εκμάθησης.

36 - - - - - Εκπαίδευση Τ.Ν.Δ. Υπερεκπαίδευση Γενίκευση Τ.Ν.Δ. Tn Xn Xn-1
Διαδικασία (1 εποχή) Είσοδος Έξοδος Σύγκριση με στόχο Τροποποίηση βαρών Υπερεκπαίδευση Γενίκευση Τ.Ν.Δ. - Tn Xn Xn-1 Tn-1 Xn-2 Tn-2 X1 T1 X2 T2 Υ1 Υ1 Υ2 ● Υn-1 Υn - Υ2 - Υn-2 - Υn-1 Αυτοματοποίηση: Δεδομένα εκπαίδευσης Αλγόριθμος εκπαίδευσης Τερματισμός εκπαίδευσης - Υn

37 Σφάλμα κατά την εκπαίδευση

38 Αποτελέσματα Τιμή Στιγμιαίου Ναύλου μεταφοράς Σιδήρου
(Βραζιλία - ΒΔ. Ευρώπη / dwt)

39 Αποτελέσματα Τιμή Στιγμιαίου Ναύλου μεταφοράς Σιδήρου
(Βραζιλία - ΒΔ. Ευρώπη / dwt) ANN+1 ANN+3 ANN+6 ANN+9 ANN+12

40 Worldscale VLCC Ras Tanura-Rotterdam
Αποτελέσματα Worldscale VLCC Ras Tanura-Rotterdam ΤΝΔ+3

41 Worldscale VLCC Ras Tanura-Rotterdam
Αποτελέσματα Worldscale VLCC Ras Tanura-Rotterdam ΤΝΔ+9

42 Αποτελέσματα

43 Αποτελέσματα

44 Αξιολόγηση Μεθόδου

45 Υστέρηση στα δεδομένα Εισαγωγή υστέρησης στα δεδομένα πριν την προώθηση στις κρυφές στοιβάδες. Χρήση - tapped delay line (TDL) Η έξοδος είναι ένας πίνακας η-διαστάσεων που αποτελείται από τα δεδομένα εισόδου σε προηγούμενες χρονικές περιόδους. Κάθε στοιχείο του πίνακα μπορεί να έχει διαφορετική παράμετρο ενώ προωθείται στην επόμενη κρυφή στοιβάδα. Λειτουργεί ως μνήμη που αποθηκεύει παλαιότερες τιμές των δεδομένων εισόδου

46 Feed-forward neural networks (FFNN)
Κάθε μονάδα επεξεργασίας πληροφορίας (νευρώνιο) είναι συνδεδεμένο με όλα νευρώνια της επόμενης στοιβάδας με βάρη (παραμέτρους) που πρέπει να προσδιοριστού. Η πληροφορία που παρουσιάζεται στην στοιβάδα εισόδου (i) προωθείται προς τα μπρος μέσα στο δίκτυο και τις κρυφές (h) στοιβάδες στην στοιβάδα εξόδου (o).

47 Οι δείκτες στα βάρη είναι με αντίστροφη σειρά
π.χ. wh,i αντιστοιχεί στη σύνδεση μιας εισόδου σε ένα νευρώνιο στη κρυφή στοιβάδα. Η είσοδος σε κάθε νευρώνιο στη κρυφή στοιβάδα n: είναι ο αριθμός των νευρωνίων στην προηγούμενη στοιβάδα, b: το βάρος μιας σταθερής εισόδου ίσης με τη μονάδα

48 g(h) είναι η έξοδος ενός νευρωνίου στη κρυφή στοιβάδα, fh είναι η συνάρτηση ενεργοποίησης στη κρυφή στοιβάδα. Αντίστοιχα η έξοδος ενός νευρωνίου στη στοιβάδα εξόδου g(t) μπορεί να προσδιοριστεί από:

49 Συναρτήσεις Γραμμική Σιγμοειδής Υπερβολική εφαπτομένη

50 Ένα FFNN πολλαπλών στοιβάδων είναι ένα αρκετά ισχυρό μοντέλο προσομοίωσης
Πχ ένα δυο-στοιβάδων δίκτυο (1 input – 1 hidden – 1 output) με σιγμοειδή συνάρτηση στην κρυφή στοιβάδα και γραμμική στην εξωτερική μπορεί να εκπαιδευτεί και να προσομοιώνει σχεδόν κάθε συνάρτηση (με πεπερασμένο αριθμό ασυνεχειών) Όπως παρουσιάζεται από τους Hsu et al. (1995) ένα δυο-στοιβάδων δίκτυο με πεπερασμένο αριθμό νευρωνίων στην κρυφή στοιβάδα ικανοποιεί τις απαιτήσεις ώστε να θεωρηθεί universal function, ικανό να προσεγγίζει κάθε λειτουργία με περισσότερες από μια μεταβλητές. Το γεγονός αυτό αναφέρεται και σαν “Kolmogorov’s mapping neural network existence theorem” (Hsu et al., 1995).

51 Recurrent Networks Ενδιαφέρον λόγω της χρήσης προηγούμενων τιμών για την πρόγνωση. Elman recurrent network (Elman, 1988) δυο-στοιβάδων δίκτυο (1 input – 1 hidden – 1 output) Ανατροφοδότηση. Επιπλέον σύνδεση από την έξοδο της κρυφής στοιβάδας στην είσοδο. Δίνει τη δυνατότητα να μάθει, να αναγνωρίσει, να γενικεύσει και να προσομοιώσει χρονικά μεταβαλλόμενα συστήματα.

52 Το Elman ΤΝΔ έχει Υπερβολική εφαπτομένη συνάρτηση ενεργοποίησης στην κρυφή στοιβάδα (recurrent) και γραμμική συνάρτηση στην στοιβάδα εξόδου. Περισσότερα νευρώνια στην κρυφή στοιβάδα από FFNN. Ανάλογα την εφαρμογή τα recurrent ΤΝΔ υπερτερούν των FFNN ακόμα και σε περιπτώσεις με δεδομένα με θόρυβο. Δεν αναπαράγουν τα ίδια αποτελέσματα με ίδια δεδομένα εισόδου. Μπορεί να γίνουν ασταθή (moving target problem)

53 Εκπαίδευση Για τα Feed-forward ΤΝΔ συνήθως χρησιμοποιείται o back propagation αλγόριθμος εκπαίδευσης (Rumelhart et. al., 1986) Παραλλαγή της μεθόδου κλίσης καθόδου (gradient descent optimisation) που χρησιμοποιείται για την ελαχιστοποίηση του σφάλματος μεταξύ της εκτιμώμενης και παρατηρούμενης τιμής εξόδου. Τα σφάλματα προωθούνται προς τα πίσω μέσα στο δίκτυο και χρησιμοποιούνται για τον υπολογισμό των διαφορικά της συνάρτησης σφάλματος ως προς τα βάρη (παραμέτρους) που πρέπει να προσδιοριστούν. Τα βάρη προσαρμόζονται με το πέρας κάθε παρατήρησης (adaptive training) ή μετά το πέρας όλων των διαθέσιμων δεδομένων εκπαίδευσης π.χ. epoch (batch training).

54 Εκπαίδευση ΤΝΔ

55 Εκπαίδευση ΤΝΔ – ελαχιστοποίηση σφάλματος
Ελαχιστοποίηση του σφάλματος αλλάζοντας ένα βάρος wj

56 Error backpropagation = 3D+gradient decent
Αναζήτηση σε πολυδιάστατη επιφάνεια σφαλμάτων Στόχος: προσδιορισμός της πιο βαθεία κοιλάδας Τοπική αναζήτηση Σταθερό βήμα Ακολουθεί τη μέγιστη κλίση Τοπικό ελάχιστο - κάθε κοιλάδα Συνολικό (Global) ελάχιστο – η πιο βαθεία κοιλάδα Μεταβάλλεται με την επιφάνεια σφαλμάτων

57 Βack propagation learning algorithm
Η εκτιμώμενη έξοδος του δικτύου συγκρίνεται με τις παρατηρήσεις και υπολογίζεται το άθροισμα των τετραγώνων των σφαλμάτων (SSE) ή το μέσο τετραγωνικό σφάλμα (MSE). Σε κάθε επανάληψη το σφάλμα μεταφέρεται προς τα πίσω (στις στοιβάδες) και υπολογίζεται η μεταβολή στα βάρη τις κάθε στοιβάδας l: learning rate

58 Συντελεστές αλγόριθμου εκπαίδευσης
Η σύγκλιση και η αποτελεσματικότητας του αλγόριθμου εκπαίδευσης εξαρτάται από μια ομάδα συντελεστών. Learning rate (l) – κάθε ΤΝΔ υπάρχει ένας βέλτιστος ρυθμός εκμάθησης Ξεκινώντας από μεγάλο Ξεκινώντας από μικρό Momentum term (α) Ρυθμός προσαρμογής παραμέτρων Initial weights (Αρχικές τιμές ) – επανεκκίνηση πολλές φορές Επιτάχυνση του ρυθμού εκμάθησης Αριθμητικοί μέθοδοι quasi- Newton Levenberg-Marquardt

59 Αρχικές τιμές Ακόμα και στην περίπτωση δυο παραμέτρων είναι πιθανόν να υπάρχουν δυο ελάχιστα. Επανεκκίνηση (ανάλογα με το μέγεθος του δικτύου φορές)

60 Προσαρμοζόμενα ΤΝΔ πολλαπλών στοιβάδων
Μικρά δίκτυα Λιγότερες παράμετροι Εκπαιδεύονται καλύτερα Δίκτυα που πιθανόν να γενικεύσουν καλύτερα σε νέα δεδομένα Για τον προσδιορισμό του κατάλληλου μεγέθους και αρχιτεκτονικής οι ακόλουθες προσεγγίσεις μπορούν να χρησιμοποιηθούν Ξεκινώντας από ένα μεγάλο δίκτυο και απενεργοποιώντας νευρώνια και συνδέσεις που θεωρούνται ασήμαντοι (pruning algorithms) (Maier and Dandy, 2000). Ξεκινώντας από ένα μικρό δίκτυο του οποίου το μέγεθος αυξάνει (νευρώνια και στοιβάδες) μέχρι να έχει ικανοποιητική επίδοση (cascade correlation).

61 Γενίκευση - Generalisation

62 Τεχνητά Νευρωνικά Δίκτυα (ANN)
Αρχιτεκτονική over-parameterisation initialisation Ικανότητα Γενίκευσης Generalisability Εκπαίδευση - Training (over-training)

63 Πρόγνωση με ΤΝΔ

64 Πρόγνωση με ΤΝΔ

65 Επιλογές στα ΤΝΔ

66 Αξιολόγηση της επίδοσης των ΤΝΔ

67 Αξιολόγηση με ανταγωνισμό

68 Διαθέσιμα λογισμικά για ΤΝΔ
Matlab toolbox

69 Πλεονεκτήματα - Μειονεκτήματα
Πλεονεκτήματα - Μειονεκτήματα Πρόγνωση σε κάθε χρονικό βήμα Χωρίς προεπεξεργασία Δεν απαιτείται επιλογή μοντέλου Ελευθερία στη μοντελοποίηση Με ένα μοντέλο Πολλές επιλογές Γραμμικά Μη-γραμμικά Πολυπαραμετρικά Πρόγνωση πολλαπλών βημάτων

70 Σημαντικά χαρακτηριστικά των ΤΝΔ
Είναι universal approximators συναρτήσεων και των διαφορικών τους. Είναι μη-γραμμικά, μπορούν να προσομοιώσουν πολύπλοκες διεργασίες πολύ καλύτερα από άλλες γραμμικές μεθόδους. Έχουν παράλληλη δομή, περιέχουν πολλές όμοιες ανεξάρτητες μονάδες που μπορούν να λειτουργούν ταυτόχρονα που συχνά τα κάνει ταχύτερα από εναλλακτικές μεθόδους. Μπορούν να εξάγουν πληροφορίες από τα δεδομένα χωρίς παλαιότερη γνώση των δεδομένων ή του συστήματος που αναλύεται. Μπορούν να μεταβάλουν τη συμπεριφορά τους ανάλογα με τις αλλαγές του συστήματος, μπορούν να μάθουν / να αυτο-προσαρμοστούν για να παράγουν σταθερή απόκριση όταν εκπαιδεύονται χρησιμοποιώντας δεδομένα εξόδου. Μπορούν να χωρίσουν το χώρο των διαθέσιμων δεδομένων και να δημιουργήσουν διαφορετικές σχέσεις για διαφορετικά τμήματα του χώρου των δεδομένων. Μπορούν να οργανώσουν τμηματικά μη-γραμμικά μοντέλα που να συμπεριλαμβάνουν ασυνέχειες. Μπορούν να γενικεύσουν σε νέες τιμές δεδομένων εφόσον έχουν οργανωθεί και εκπαιδευτεί κατάλληλα. Η ικανότητα γενίκευσης είναι σημαντική ιδικά σε περιπτώσεις που τα δεδομένα περιέχουν θόρυβο, σφάλματα ή είναι κατεστραμμένα. Μπορούν να εντοπίσουν σημαντικά χαρακτηριστικά στα δεδομένα εισόδου και να τα ιεραρχήσουν.

71 Μειονεκτήματα Μπορεί να αποτύχουν να αναπαράγουν το επιθυμητό αποτέλεσμα λόγω: Αδυναμία κατά την εκπαίδευσης να προσδιοριστούν τα κατάλληλα βάρη Ακατάλληλο μέγεθος/αρχιτεκτονική (Τα ΤΝΔ επιλέγονται/οργανώνονται ανάλογα με την εφαρμογή και τα διαθέσιμα δεδομένα – πολυπλοκότητα που υποστηρίζεται από τα δεδομένα) Η επιλογή του βέλτιστου δικτύου (αρχιτεκτονική και παράμετροι) σχετίζεται με την εφαρμογή και πρέπει να γίνεται μέσω διαδικασίας trial-and-error όταν αυτοματοποιημένες μέθοδοι όπως cascade correlation δεν μπορούν να χρησιμοποιηθούν. Δεν είναι ικανά να ανταποκριθούν σε πολύ μεγάλες μεταβολές του συστήματος που προσπαθούν να προσομοιώσουν καθώς έχουν εκπαιδευτεί σε ιστορικά δεδομένα. Μπορούν όμως να παράγουν τύπους ή ρυθμούς ανάλογους των δεδομένων που έχουν εκπαιδευτεί χρησιμοποιώντας νέα δεδομένα. Όπως σε όλες τις μεθόδους που βασίζονται σε δεδομένα, όταν υπάρχουν σημαντικές μεταβολές στο σύστημα πρέπει να προσδιοριστούν και να εκπαιδευτούν ξανά, They do not provide/allow for clear understanding of the response of the ANN's components (number of neurons / layers, weights), when compared with other hydrological models.