Network: ucywifi Username: wr316266@ucy.ac.cy Password: hhL4Cu!2 This research was funded by the research grant ΑΝΘΡΩΠΙΣΤΙΚΕΣ/ΑΝΘΡΩ/0311(ΒΕ)/19 from the Republic of Cyprus through the  Cyprus research promotion foundation. The research was also supported by the University of Cyprus.

Υπολογιστικές μέθοδοι Ανάλυσης της Παραδοσιακής μουσικής Αντρέας Νεοκλέους Πανεπιστήμιο Κύπρου University of Groningen 10.03.15 http://www.cs.ucy.ac.cy/folk/ This research was funded by the research grant ΑΝΘΡΩΠΙΣΤΙΚΕΣ/ΑΝΘΡΩ/0311(ΒΕ)/19 from the Republic of Cyprus through the  Cyprus research promotion foundation. The research was also supported by the University of Cyprus.

Συχνότητες και νότες Ανάλυση ακουστικού σήματος Τονικές καμπύλες Ιστογράμματα Μοντελοποίηση μελωδίας Note segmentation Ornamentation detection Software

Συχνότητες και νότες

570 – 495 π.Χ. ff ff Νότες και συχνότητες Συχνότητες και νότες

ff ff Συχνότητες και νότες Νότες και συχνότητες

ff ff Συχνότητες και νότες Νότες και συχνότητες

ff ff Συχνότητες και νότες Νότες και συχνότητες

= 2Hz Ένας κύκλος ταλάντωσης: T = 0.5 sec. Ένα Hz: Πόσοι κύκλοι χωρούν σε 1 sec. ff ff Συχνότητες και νότες Νότες και συχνότητες

L σ ff ff Νότες και συχνότητες Συχνότητες και νότες

Το μονόχορδο του Πυθαγόρα ff ff Νότες και συχνότητες Συχνότητες και νότες

Το μονόχορδο του Πυθαγόρα f = 220 Hz f = 440 Hz f = 880 Hz f = 1760 Hz A3 A4 A5 A6 220 Hz 440 Hz 880 Hz 1760 Hz ff ff Συχνότητες και νότες Νότες και συχνότητες

Η οκτάβα χωρίζεται σε 12 ίσα μέρη Αριστοξένης – 335 π.Χ. Η οκτάβα χωρίζεται σε 12 ίσα μέρη A3 A4 A5 A6 220 Hz 440 Hz 880 Hz 1760 Hz ff ff Νότες και συχνότητες Συχνότητες και νότες – Δύση

Λογάριθμος Συχνότητες και νότες Νότες και συχνότητες A3 A4 A5 A6 A3 A4 ff ff Συχνότητες και νότες Νότες και συχνότητες

Συχνότητες και νότες – Δύση Αριστοξένης – 335 π.Χ. Major scale T – T – H – T – T – T - H A3 A4 A5 A6 220 Hz 440 Hz 880 Hz 1760 Hz ff ff Νότες και συχνότητες Συχνότητες και νότες – Δύση

Η οκτάβα χωρίζεται σε 53 ίσα μέρη Arel Huseyin – 1880 – 1925 Η οκτάβα χωρίζεται σε 53 ίσα μέρη Hicaz: 5 17 22 31 35 39 44 53 1 5 17 22 31 35 39 44 53 220 Hz 440 Hz ff ff Νότες και συχνότητες Συχνότητες και νότες – Τουρκία

Συχνότητες και νότες – Τουρκία Νότες και συχνότητες Arel Huseyin – 1880 – 1925 (5 Χ 9) + (2 X 4) = 53 [1] Gedik C., A., and Bozkurt B., Evaluation of the Makam Scale Theory of Arel for Music Information Retrieval on Traditional Turkish Art Music, Journal of New Music Research, 38:2, 103-116, 2009 ff ff Συχνότητες και νότες – Τουρκία Νότες και συχνότητες

Συχνότητες και νότες – Τουρκία Νότες και συχνότητες ff ff Συχνότητες και νότες – Τουρκία Νότες και συχνότητες

Συχνότητες και νότες – Τουρκία Νότες και συχνότητες ff ff Συχνότητες και νότες – Τουρκία Νότες και συχνότητες

Chrysanthine theory – Η οκτάβα χωρίζεται σε 72 ίσα μέρη ἦχος πρῶτος ἦχος δεύτερος ἦχος τρίτος ἦχος τέταρτος ἦχος πλάγιος τοῦ πρώτου ἦχος πλάγιος τοῦ δευτέρου ἦχος βαρύς ἦχος πλάγιος τοῦ τετάρτου [2] Panteli M., and Purwins H., A Quantitative Comparison of Chrysan- thine Theory and Performance Practice of Scale Tuning, Steps, and Prominence of the Octoechos in Byzantine Chant, Journal of New Music Research, 42 (3), 2013, pp. 205-221. ff ff Συχνότητες και νότες – Βυζάντιο Νότες και συχνότητες

Ανάλυση ακουστικού σήματος

Ανάλυση ακουστικού σήματος – Τι είναι το σήμα; ff Ανάλυση ακουστικού σήματος – Τι είναι το σήμα;

Ανάλυση ακουστικού σήματος – Τι είναι το σήμα; ff Ανάλυση ακουστικού σήματος – Τι είναι το σήμα;

Ανάλυση ακουστικού σήματος – Τι είναι το σήμα; ff Ανάλυση ακουστικού σήματος – Τι είναι το σήμα;

Ανάλυση ακουστικού σήματος – Χρονική ανάλυση Παράθυρο ανάλυσης ff Ανάλυση ακουστικού σήματος – Χρονική ανάλυση

Ανάλυση ακουστικού σήματος – Χρονική ανάλυση ff Ανάλυση ακουστικού σήματος – Χρονική ανάλυση

Ανάλυση ακουστικού σήματος – Εξαγωγή χαρακτηριστικών Συχνότητα Ενέργεια Χ 1 Χ 2 ff Ανάλυση ακουστικού σήματος – Εξαγωγή χαρακτηριστικών

Ανάλυση ακουστικού σήματος – Εξαγωγή χαρακτηριστικών 368 Note: D2 295 442 147 220 515 589 73 ff Ανάλυση ακουστικού σήματος – Εξαγωγή χαρακτηριστικών

Ανάλυση ακουστικού σήματος – Εξαγωγή χαρακτηριστικών 368 73+73=146 73+73+73=219 73+73+73+73=292 73+73+73+73+73=365 295 442 147 220 515 589 73 ff Ανάλυση ακουστικού σήματος – Εξαγωγή χαρακτηριστικών

Ανάλυση ακουστικού σήματος – Φασματογράφημα t = 1 t = 2 t = 3 t = n Φασμα 1 Φασμα 2 Φασμα 3 Φασμα n ff Ανάλυση ακουστικού σήματος – Φασματογράφημα

Ανάλυση ακουστικού σήματος – Φασματογράφημα ff Ανάλυση ακουστικού σήματος – Φασματογράφημα

Ανάλυση ακουστικού σήματος – Φασματογράφημα ff Ανάλυση ακουστικού σήματος – Φασματογράφημα

Ανάλυση ακουστικού σήματος – Φασματογράφημα ff Ανάλυση ακουστικού σήματος – Φασματογράφημα

Τονικές καμπύλες

Ανάλυση ακουστικού σήματος – Τονικές καμπύλες Fo(1) Fo(2) Fo(3) Fo(n) ff Ανάλυση ακουστικού σήματος – Τονικές καμπύλες

Ανάλυση ακουστικού σήματος – Τονικές καμπύλες Octave error ff Ανάλυση ακουστικού σήματος – Τονικές καμπύλες

Ανάλυση ακουστικού σήματος – Τονικές καμπύλες ff Ανάλυση ακουστικού σήματος – Τονικές καμπύλες

Ανάλυση ακουστικού σήματος – Τονικές καμπύλες ff Ανάλυση ακουστικού σήματος – Τονικές καμπύλες

Ανάλυση ακουστικού σήματος – Τονικές καμπύλες ff Ανάλυση ακουστικού σήματος – Τονικές καμπύλες

Ανάλυση ακουστικού σήματος – Τονικές καμπύλες ff Ανάλυση ακουστικού σήματος – Τονικές καμπύλες

Ιστογράμματα

Ανάλυση ακουστικού σήματος – Ιστογράμματα ff Ανάλυση ακουστικού σήματος – Ιστογράμματα

Ανάλυση ακουστικού σήματος – Ιστογράμματα ff Ανάλυση ακουστικού σήματος – Ιστογράμματα

Ανάλυση ακουστικού σήματος – Ιστογράμματα ff Ανάλυση ακουστικού σήματος – Ιστογράμματα

Ανάλυση ακουστικού σήματος – Ιστογράμματα ff Ανάλυση ακουστικού σήματος – Ιστογράμματα

Ανάλυση ακουστικού σήματος – Ιστογράμματα ff Ανάλυση ακουστικού σήματος – Ιστογράμματα

Ανάλυση ακουστικού σήματος – Ιστογράμματα Correlation = 0.001 ff Ανάλυση ακουστικού σήματος – Ιστογράμματα

Ανάλυση ακουστικού σήματος – Ιστογράμματα Correlation = 0.8 ff Ανάλυση ακουστικού σήματος – Ιστογράμματα

20 Cypriot folk songs – Pithkiavli 53 Western songs Fute, Bassoon, Clarinet, Oboe, Saxophone 53 Turkish songs – Ney Hicaz, Huseyni, Huzzam, Nihavend, Saba, Ussak 20 Cypriot folk songs – Pithkiavli - Recordings (Ανδρέας Γρίστακκος) Συλλογή “Στ’ αγνάρκα των τζιαιρών” (Μιχάλης Ττερλικκάς) - Συλλογή Πελλοπονησιακού ιδρύματος ff Ανάλυση ακουστικού σήματος – Ιστογράμματα

(Correlation coefficients) Similarity measure (Correlation coefficients) <0.4 >0.5 >0.7 Dissimilar Similar Very similar Cypriot - western Cypriot - Turkish 9.4% 2.3% Dissimilar ---- Dissimilar ---- Similar ------- 80% Similar ------- 55% Very similar -- 2.4% Very similar -- 15.6% ff Ανάλυση ακουστικού σήματος – Ιστογράμματα

Ανάλυση ακουστικού σήματος – Ιστογράμματα [3] Neocleous A., Panteli M., Petkov N., Schizas C., “Identification of Similarities between the Turkish Makam Scales and the Cypriot Folk Music”, HELINA's (Hellenic Institute of Acoustics) 5th National conference, Corfu, Greece, 2012. http://conferences.ionio.gr/acoustics2012/en/ ff Ανάλυση ακουστικού σήματος – Ιστογράμματα

Μοντελοποίηση

Person A: ff Μοντελοποίηση

Person B: ff Μοντελοποίηση

Person A: 20 10 30 Person B: 10 20 40 ff Μοντελοποίηση

Μοντελοποίηση Person A: Person B: Person C: Person D: Person E: . . . 20 10 30 Person B: 10 20 40 Person C: 22 7 28 Person D: 24 9 32 Person E: 7 28 47 . . . Person F: 5 24 38 ff Μοντελοποίηση

? Μοντελοποίηση Person A: Person B: Person C: Person D: Person E: 20 10 30 B Person B: 10 20 40 Person C: 22 7 28 Person D: 24 9 32 Person E: ? 7 28 47 . . . Person F: 5 24 38 ff Μοντελοποίηση

? A: Young B: Old Μοντελοποίηση Person A: Person B: Person C: 20 10 30 B Person B: 10 20 40 Person C: 22 7 28 Person D: 24 9 32 Person E: ? 7 28 47 A: Young . . . B: Old Person F: 5 24 38 ff Μοντελοποίηση

? A: Unemployed B: Employed Μοντελοποίηση Person A: Person B: 20 10 30 B Person B: 10 20 40 Person C: 22 7 28 Person D: 24 9 32 Person E: ? 7 28 47 A: Unemployed . . . B: Employed Person F: 5 24 38 ff Μοντελοποίηση

? A: Lazy B: Stressed Μοντελοποίηση Person A: Person B: Person C: 20 10 30 B Person B: 10 20 40 Person C: 22 7 28 Person D: 24 9 32 Person E: ? 7 28 47 A: Lazy . . . B: Stressed Person F: 5 24 38 ff Μοντελοποίηση

A B Employed A: Young B: Old Stressed ff Μοντελοποίηση

[4] Neocleous A. , Petkov N. , Schizas C [4] Neocleous A., Petkov N., Schizas C., “Automated Segmentation of Folk Songs Using Artificial Neural Networks”, 6th international conference in neural computation theory and applications, Rome 2014.

Goal: Find the vocal/instrumental positions

Monophonic - Polyphonic Results: Monophonic - Polyphonic   Precision Recall ANN 0.88 0.78 SVM 0.85 0.81 Bayesian 0.71 0.69 Vocal - Instrumental   Precision Recall ANN 85 83 SVM 86 82 Bayesian 76 72

[5] Neocleous A. , Panteli M. , Petkov N. , Schizas C [5] Neocleous A., Panteli M., Petkov N., Schizas C., Timbre and tonal similarities between the Turkish, Western and Cypriot monophonic songs using machine learning techniques”, 3rd international workshop on Folk Music Analysis, Amsterdam, Netherlands, 2013. http://www.elab-oralculture.nl/fma2013/

[6] Neocleous A. , Panteli M. , Ioannou R. , Petkov N. , Schizas C [6] Neocleous A., Panteli M., Ioannou R., Petkov N., Schizas C., “A machine learning approach for clustering western and non-western folk music using low-level and mid-level features”, 6th International Workshop on Machine Learning and Music, Prague, Czech Republic 2013. https://sites.google.com/site/musicmachinelearning13/

Μοντελοποίηση μελωδίας

Μοντελοποίηση μελωδίας 1770 - 1827 ff Μοντελοποίηση μελωδίας

Μοντελοποίηση μελωδίας Composer Theme Mood Instruments Scale Time signature Volume Date ff Μοντελοποίηση μελωδίας

Μοντελοποίηση μελωδίας E E E C D D D B 0.5 0.5 0.5 2 0.5 0.5 0.5 4 E E E C D D D B 0.5 0.5 0.5 2 0.5 0.5 0.5 4 ff Μοντελοποίηση μελωδίας

TRAINING E E E C D D D B 3 3 3 1 2 2 2 7 0 0 -2 1 0 0 0 1 3 2 4 1 5 0.5 0.5 0.5 2 0.5 0.5 0.5 4 Symbolic Sequence Difference Narmour structure Note duration ff Μοντελοποίηση μελωδίας

Νote segmentation

ff Νote segmentation

ff Νote segmentation

ff Νote segmentation

ff Νote segmentation

ff Νote segmentation

ff Νote segmentation

ff Νote segmentation

ff Νote segmentation

ff Νote segmentation

[7] Neocleous A. , Azzopardi G. , Schizas C. , Petkov N [7] Neocleous A., Azzopardi G., Schizas C., Petkov N. Filter-based Approach for Ornamentation Detection in Singing Folk Music. 16th International Conference on Computer Analysis of Images and Patterns. 2015.

Software

References [1] Gedik C., A., and Bozkurt B., Evaluation of the Makam Scale Theory of Arel for Music Information Retrieval on Traditional Turkish Art Music, Journal of New Music Research, 38:2, 103-116, 2009 [2] Panteli M., and Purwins H., A Quantitative Comparison of Chrysan- thine Theory and Performance Practice of Scale Tuning, Steps, and Prominence of the Octoechos in Byzantine Chant, Journal of New Music Research, 42 (3), 2013, pp. 205-221. [3] Neocleous A., Panteli M., Petkov N., Schizas C., “Identification of Similarities between the Turkish Makam Scales and the Cypriot Folk Music”, HELINA's (Hellenic Institute of Acoustics) 5th National conference, Corfu, Greece, 2012. http://conferences.ionio.gr/acoustics2012/en/ [4] Neocleous A., Petkov N., Schizas C., “Automated Segmentation of Folk Songs Using Artificial Neural Networks”, 6th international conference in neural computation theory and applications, Rome 2014. [5] Neocleous A., Panteli M., Petkov N., Schizas C., Tonal similarities between the Turkish, Western and Cypriot monophonic songs using machine learning techniques”, 3rd international workshop on Folk Music Analysis, Amsterdam, Netherlands, 2013. http://www.elab-oralculture.nl/fma2013/ [6] Neocleous A., Panteli M., Ioannou R., Petkov N., Schizas C., “A machine learning approach for clustering western and non-western folk music using low-level and mid-level features”, 6th International Workshop on Machine Learning and Music, Prague, Czech Republic 2013. https://sites.google.com/site/musicmachinelearning13/ [7] Neocleous A., Azzopardi G., Schizas C., Petkov N. Filter-based Approach for Ornamentation Detection in Singing Folk Music. 16th International Conference on Computer Analysis of Images and Patterns. 2015.

Ευχαριστώ