Πανεπιστήμιο Θεσσαλίας Τμήμα Μηχ. Η/Υ, Τηλεπ. & Δικτύων Embedded Software on Tensilica Reconfigurable Processors Ιωάννης Χαρ. Κατσαβουνίδης Λάρισα, 29 Μαΐου 2013

Πανεπιστήμιο Θεσσαλίας Τμήμα Μηχ. Η/Υ, Τηλεπ. & Δικτύων Ημερίδα Στα πλαίσια του έργου «ΑΡΧΙΜΗΔΗΣ ΙΙΙ του Τ.Ε.Ι. ΛΑΡΙΣΑΣ» ΕΥΦΥΗΣ ΚΑΤΑΓΡΑΦΗ ΣΥΓΚΟΙΝΩΝΙΑΚΟΥ ΦΟΡΤΙΟΥ ΚΑΙ ΚΙΝΗΣΗΣ ΣΕ ΟΔΙΚΗ ΔΙΑΣΤΑΥΡΩΣΗ ΜΕ ΤΕΧΝΙΚΕΣ ΕΠΕΞΕΡΓΑΣΙΑΣ ΕΙΚΟΝΑΣ & VIDEO

Πανεπιστήμιο Θεσσαλίας Τμήμα Μηχ. Η/Υ, Τηλεπ. & Δικτύων Video Encoder Structure DCTQuant ZigZag Scan VLC - Frame Memory Frame Memory Inverse Quant Inverse DCT + ME Motion Vector VLC

Πανεπιστήμιο Θεσσαλίας Τμήμα Μηχ. Η/Υ, Τηλεπ. & Δικτύων Video Decoder Structure Inverse Scan VLD Frame Memory Frame Memory Inverse Quant Inverse DCT + MC Motion Vector VLD 0

Πανεπιστήμιο Θεσσαλίας Τμήμα Μηχ. Η/Υ, Τηλεπ. & Δικτύων MPEG1/2 Group Of Pictures (GOP) structure IBBPBBBBPI Prediction Bi-directional Prediction time

Πανεπιστήμιο Θεσσαλίας Τμήμα Μηχ. Η/Υ, Τηλεπ. & Δικτύων Motion estimation Reference (decoded) picture Current (to be encoded) picture …… Macroblocks SAD (sum of absolute differences) of luminance pixel values is used Half-pixel locations are searched using linear interpolation Search range (16x16) Motion Vector

Πανεπιστήμιο Θεσσαλίας Τμήμα Μηχ. Η/Υ, Τηλεπ. & Δικτύων Υπολογιστική Πολυπλοκότητα Διεθνή στάνταρ MPEG1/MPEG2/MPEG4/H.264 –Εκτίμηση και επανόρθωση κίνησης –Διανύσματα κίνησης (μετατόπισης) ως προς το(α) προηγούμενο(α) καρέ αναφοράς –Ακρίβεια κίνησης εκφράζεται σε ακέραιες μονάδες κουκίδων ή μονάδες μισής κουκίδας –Για την εύρεση του βέλτιστου διανύσματος κίνησης, χρησιμοποιείται το άθροισμα των απολύτων τιμών των διαφορών (SAD):

Πανεπιστήμιο Θεσσαλίας Τμήμα Μηχ. Η/Υ, Τηλεπ. & Δικτύων Γρήγοροι Αλγόριθμοι Εύρεσης Κίνησης 3-Step/N-Step –1ο βήμα: ακρίβεια 4-pixels –2ο βήμα: ακρίβεια 2-pixels –3ο βήμα: ακρίβεια 1-pixel Πλεονέκτημα: –Σταθερή πολυπλοκότητα (27 SAD για κάθε μπλοκ) Μειονέκτημα: –Απώλειες στην ποιότητα του διανύσματος κίνησης

Πανεπιστήμιο Θεσσαλίας Τμήμα Μηχ. Η/Υ, Τηλεπ. & Δικτύων Γρήγοροι Αλγόριθμοι Εύρεσης Κίνησης (συνέχεια) Diamond Search –1 ο βήμα: Θέση μηδενικού διανύσματος κίνησης [mv=(0,0)], 5 SAD (  ) –2 ο βήμα (3 SAD) (  ) –3 ο βήμα (3 SAD) (  ) –4 ο βήμα (3 SAD) (  ) –5 ο βήμα (3 SAD) (  ) Πλεονέκτημα: –Gradient descent, 5 + 3*n SAD Μειονέκτημα: Απώλειες στην ποιότητα του διανύσματος κίνησης

Πανεπιστήμιο Θεσσαλίας Τμήμα Μηχ. Η/Υ, Τηλεπ. & Δικτύων Γρήγοροι Αλγόριθμοι Εύρεσης Κίνησης (συνέχεια) MVFAST-Motion Vector Field Adaptive Search Technique –Βασίζεται στον Diamond Search –Χρησιμοποιεί δύο search patterns –Εισάγει διάφορα κατώφλια τερματισμού και εναλλαγής στρατηγικής εύρεσης διανύσματος –Χρησιμοποιεί γειτονικά διανύσματα κίνησης για την εύρεση της αρχικής θέσης Μικρότερη πολυπλοκότητα, καλύτερη ποιότητα διανυσμάτων κίνησης

Πανεπιστήμιο Θεσσαλίας Τμήμα Μηχ. Η/Υ, Τηλεπ. & Δικτύων Αποτελέσματα εύρεσης κινούμενων αντικειμένων

Πανεπιστήμιο Θεσσαλίας Τμήμα Μηχ. Η/Υ, Τηλεπ. & Δικτύων Αποτελέσματα εύρεσης κινούμενων αντικειμένων

Πανεπιστήμιο Θεσσαλίας Τμήμα Μηχ. Η/Υ, Τηλεπ. & Δικτύων ΕΥΦΥΗΣ ΚΑΤΑΓΡΑΦΗ ΣΥΓΚΟΙΝΩΝΙΑΚΟΥ ΦΟΡΤΟΥ Στατικές περιοχές [mv == (0,0)]: background Περιοχές με κίνηση (μη-μηδενικό διάνυσμα κίνησης): αυτοκίνητα, μοτοσυκλέτες, πεζοί. Μεγάλη διασπορά των pixels μετά την αφαίρεση των pixels πρόβλεψης: 2 ή περισσότερα αντικείμενα εντός του MB. Διάσπαση του MB σε μικρότερα blocks (π.χ. 16x16 -> 16x8, 16x8)

Πανεπιστήμιο Θεσσαλίας Τμήμα Μηχ. Η/Υ, Τηλεπ. & Δικτύων Tensilica’s Xtensa CPU A configurable, extensible and synthesizable processor core for embedded System-On-Chip (SoC) Tensilica Instruction Extension(TIE) –Designer defined instructions Configurable interface –Processor Interface(PIF) width –High speed Xtensa Local Memory Interface(XLMI) Multiprocessor Development and Debug Capability Memory Management Configuration Optional Units to fit the application –Multiplier, MAC, and Vectra DSP

Cycle-count/area compromise Πανεπιστήμιο Θεσσαλίας Τμήμα Μηχ. Η/Υ, Τηλεπ. & Δικτύων

Πανεπιστήμιο Θεσσαλίας Τμήμα Μηχ. Η/Υ, Τηλεπ. & Δικτύων Xtensa processor architecture

Πανεπιστήμιο Θεσσαλίας Τμήμα Μηχ. Η/Υ, Τηλεπ. & Δικτύων Optimization with Xtensa Processor Software and Hardware Optimization Procedure Recompile Re-run & Profile Examine and understand The results Modify source Modify your Processor

Παράδειγμα: FFT Πανεπιστήμιο Θεσσαλίας Τμήμα Μηχ. Η/Υ, Τηλεπ. & Δικτύων Πίνακας σύγκρισης διαφόρων εκδόσεων FFT

Παράδειγμα: SAD-TIE Πανεπιστήμιο Θεσσαλίας Τμήμα Μηχ. Η/Υ, Τηλεπ. & Δικτύων

Πανεπιστήμιο Θεσσαλίας Τμήμα Μηχ. Η/Υ, Τηλεπ. & Δικτύων MPEG4-encoder optimization result

Πανεπιστήμιο Θεσσαλίας Τμήμα Μηχ. Η/Υ, Τηλεπ. & Δικτύων Memory structures stride 2-D Image1-D Memory Linear memory models do not fit traditional image/video data representations Memory latency is major bottleneck, especially with small cache sizes. Motion estimation/motion compensation require massive amounts of data transfer between memory and processor

Πανεπιστήμιο Θεσσαλίας Τμήμα Μηχ. Η/Υ, Τηλεπ. & Δικτύων Effect of memory latency

Πανεπιστήμιο Θεσσαλίας Τμήμα Μηχ. Η/Υ, Τηλεπ. & Δικτύων Xtensa 5-stage pipeline

Πανεπιστήμιο Θεσσαλίας Τμήμα Μηχ. Η/Υ, Τηλεπ. & Δικτύων Xtensa LX Xpress compiler –Try different configuration options, profile and choose the best 5- or 7-stage pipeline TIE ports and queues FLIX (Flexible Length Instructions Extensions)

Πανεπιστήμιο Θεσσαλίας Τμήμα Μηχ. Η/Υ, Τηλεπ. & Δικτύων Φιλοσοφία σχεδίασης υλικού RTL vs. Xtensa RTL block: datapath + FSM Reconfigurable processor: datapath + processor + software

Πανεπιστήμιο Θεσσαλίας Τμήμα Μηχ. Η/Υ, Τηλεπ. & Δικτύων Διαδικασία σχεδίασης CPU Xtensa