Epipolárna geometria v praxi

Παρουσίαση με θέμα: "Epipolárna geometria v praxi"— Μεταγράφημα παρουσίασης:

1 Epipolárna geometria v praxi
Pri modelovaní objektov z reálneho sveta naráža počítačová grafika na niektoré problémy. Modely reálnych objektov by mali spĺňať metrické predpoklady. Môže byť ťažké alebo pomerne nákladné zistiť ich. Vo väčšine prípadov je vhodnejšie určiť približný rozmer. Ak máme k dispozícii dva obrázky objektu, rekonštrukcia vybraných bodov na objekte je možná v určitej mierke k reálnemu objektu. Katarína Dařílková Epipolárna geometria v praxi

2 Epipolárna geometria v praxi
Z histórie Chasles, 1855, formulácia problému Otto Hesse, 1863, riešenie Longuet – Higgins, 1981, 8-bodový algoritmus ... Luong,1992, minimalizácia vzdialenosti→fundamentálna matica Weng, Ahuja, Huang, 1993, nelineárna minimalizácia →esenciálna matice ... zdokonalenie lineárnych metód a urýchlenie minimalizačných prístupov... Základy teórie dvoch pohľadov položil v roku 1855 francúzsky matematik Chasles, ktorý sformuloval problém získania epipolárnej geometrie pomocou korešpondencie siedmych bodov. O osem rokov neskôr problém vyriešil nemecký matematik Otto Hesse [He63] a v roku 1981 Longuet – Higgins [LoHi81] uviedol originálny osem bodový algoritmus pre výpočet esenciálnej matice. Od vtedy bol problém určenia fundamentálnej matice intenzívne študovaný. Ukázalo sa, že lineárny osem-bodový algoritmus nájdenia fundamentálnej matice, je veľmi citlivý na šum. V roku 1993 bol popísaný nelineárny minimalizačný prístup na určenie Esenciálnej matice [We93] a v roku 1992 postup s minimalizáciou vzdialenosti na výpočet Fundamentálnej matice [Lu92]. Boli nasledované mnohými ďalšími metódami a spôsobmi voľby váhovacej funkcie. Za povšimnutie stojí, že lineárne váhové funkcie sú nelineárnym veľmi podobné, ale v praxi sú geometrické (nelineárne) minimalizačné prístupy spoľahlivejšie aj keď výpočtovo náročnejšie. Preto sa ďalší výskum orientuje na zdokonalenie lineárnych metód alebo na urýchlenie geometrických minimalizačných prístupov. [PoVa02] 18.okt.2004 Epipolárna geometria v praxi Epipolárna geometria v praxi

3 Epipolárna geometria v praxi
Kamera a jej parametre Kamera sprostredkúva mapovanie 3D scény do 2D obrazovej roviny. matica kamery P : x = P X Model štrbinovej kamery kamerový súradnicový systém P= K [I3x3 | 0], Epipolárna geometria je prirodzenou projektívnou geometriou medzi dvomi pohľadmi na scénu (z anglického “two view geometry”). Pohľadom na scénu sa tu myslí projekcia objektov scény do roviny. V praxi väčšinou ide o snímky z fotoaparátu alebo kamery (ďalej už len kamera). Druh a vlastnosti projekcie sú závislé na konštrukcii a nastavení kamery. Kamera sprostredkúva mapovanie 3D scény do 2D obrazovej roviny, ktoré je reprezentované 3*4 maticou projekcie P, maticou kamery, ktorá transformuje homogénne súradnice bodu trojrozmernej scény X=[xx, xy, xz, 1] na homogénne (projektívne) súradnice bodu v obraze x=[x1, x2,1]. Existuje niekoľko geometrických modelov pre simulovanie fyzikálnych vlastností kamery - konečné kamery a kamery so stredom v nekonečne, afínne kamery, ktoré reprezentujú rovnobežnú projekciu. Väčšina používaných kamier model štrbinovej kamery. Model uvažuje stredové premietanie (konečná kamera). Definujme súradnicový systém pomocou pozície a orientácie kamery. Ak položíme počiatok Euklidovskej súradnicovej sústavy do stredu premietania C, osi Xc, Yc sú orientované rovnako ako súradnicový systém zvolený v obrazovej rovine a os Zc je na ne kolmá orientovaná v smere opačnom ku smeru pohľadu kamery, definujeme súradnicový systém kamery <C, Xc, Yc, Zc>. Maticu P je v tejto súradnicovej sústave možné zjednodušiť : P = K [I3x3 | 0], kde K je 3*3 matica, I je štvorcová identická matica a 0 je nulový stĺpec. Maticu K nazývame kalibračnou maticou kamery. Zobrazovací systém kamery a vlastnosti získaného obrazu sú popísané vnútornými parametrami kamery, ktoré sú prvkami kalibračnej matice K. ax, ay – popisuje odlišné škálovanie v súradnicových smeroch x, y, súvisiaceho so zobrazovacím systémom (výsledok optického a obrazového vzorkovania) (tx, ty) – súradnice optického centra (miesto kde optická os pretne obrazovú rovinu), obvykle nie (0, 0) c parameter skreslenia, nenulový, ak obraz obsahuje neštvorcové pixle (skreslenie vzniká pri viacnásobnej reprodukcii obrazu) Matica projekcie kamery vo všeobecnej svetovej súradnicovej sústave sa líši od vyššie spomínanej idealizovanej matice K [I3x3 | 0] práve orientáciou a posunutím voči počiatku. Parametre R a Ĉ, ktoré popisujú orientáciu kamery a pozíciu vzhľadom k svetovému súradnicovému systému, sa nazývajú vonkajšie parametre kamery, vonkajšia orientácia. Epipolárna geometria je nezávislá na štruktúre scény. Odvodzuje sa iba od vnútorných parametrov kamery a vzájomnej polohy kamier. kalibračná matica kamery K všeobecná svetová súradnicová sústava (R, C ) 18.okt.2004 Epipolárna geometria v praxi Epipolárna geometria v praxi

4 Epipolárna geometria v praxi
Fundamentálna matica Dva obrazy, dve projekcie x’, x bodu scény X. Epipolárna geometria vychádza z dvoch obrazov - projekcií scény. Jej cieľom je nájsť rovnicu, ktorá popíše vzťah medzi obrázkami. Nájdime vzťah, ktorý bodu z prvého obrazu x=[x1, x2] (obrazové súradnice bodu, projektívne súradnice sú [x1, x2,1]) priradí bod z druhého obrazu x’ = [x’1, x’2] s podmienkou, že obidva obrazové body sú projekciou nejakého bodu X=[xx, xy, xz, 1] zo scény. Pre ľubovoľnú dvojicu korešpondujúcich bodov x a x’ existuje 3*3 matica F, pre ktorú platí x’T F x = 0. Takáto matica sa nazýva Fundamentálna matica. Je algebraickou reprezentáciou projektívnej geometrie medzi dvomi obrazmi – epipolárnej geometrie. Ku každému bodu x v prvom obraze existuje korešpondujúca priamka l’ v druhom obraze (Obrázok 16.). Nazýva sa epipolárna priamka. Každý jej bod korešponduje s bodom x (teda platí x’T F x = 0) a pre každú takú dvojicu existuje bod X v scéne, ktorému môžu byť obrazmi. Pre ľubovolnú dvojicu x, x’ existuje fundamentálna matica F. Jej hodnosť je 2. F nie je závislá na scéne alebo voľbe korešpondujúcich bodov. Závisí iba na vzájomnej pozícii kamier snímajúcich prvý a druhý obraz a na ich kalibrácii. Epipolárna priamka – množina bodov druhého obrazu korešpondujúcich s bodom prvého obrazu. Hodnosť fundamentálnej matice F je 2. 18.okt.2004 Epipolárna geometria v praxi Epipolárna geometria v praxi

5 Epipolárna geometria v praxi
Normalizácia Svetový súradnicový systém = súradnicový systém prvej kamery P =K [I3x3 | 0] , P’ = K’ [R | t], Normalizované súradnice obrazových bodov ( K = K’) Pre sprehľadnenie práce s maticami stotožníme svetový súradnicový systém so súradnicovým systémom prvej kamery. Matica projekcie prvej kamery P má potom tvar P = K [I3x3 | 0] a matica projekcie druhej kamery je P’ = K’ [R | t], kde R a t popisujú rotáciu a posunutie druhej kamery voči prvej a K a K’ sú kalibračné matice prvej a druhej kamery. Uvažujme všeobecnú maticu projekcie kamery P = K [R | t]. Ak poznáme kalibračnú maticu K, aplikujme maticu k nej inverznú na obrazové body x : . je obrazový bod vyjadrený v normalizovaných súradniciach. Platí preň = [R | t] X a príslušná matica projekcie kamery má tvar K-1 P = [R | t]. Nazýva sa normalizovaná matica kamery. Vychádzajúc zo všeobecných matíc dvoch kamier :P = K [I | 0] , P’ = K’ [R | t] k nim korešpondujúcim obrazovým bodom x, x’ : x = P X, x’ = P’ X sú vyjadrené v normalizovaných súradniciach ,’: = K-1 x, ’ = K’-1 x’ ktoré získame projekciou bodu scény X : = [I | 0] X, ’ = [R | t] X 18.okt.2004 Epipolárna geometria v praxi Epipolárna geometria v praxi

6 Epipolárna geometria v praxi
Esenciálna matica je fundamentálna matica E korešpondujúca s normalizovanými kamerami : má tvar : , je singulárna, rozklady na koso-symetrickú a regulárnu maticu sú možné len dva (ak ignorujeme znamienka), existujú štyri možné voľby pre maticu projekcie druhej kamery P’, P’ = K’ [R | t], Zrekonštruovaný bod scény X sa nachádza pred obomi kamerami iba v jednom z prípadov. Iný spôsob ako stanoviť matice projekcie – planárne homografie medzi obrazmi scény. Fundamentálna matica korešpondujúca s normalizovanými kamerami sa nazýva esenciálna matica E : ’T E = 0 a má tvar E = [t]x R. Esenciálna matica je singulárna. Dve z jej vlastných čísel sú zhodné a tretie je rovné nule [HaZi00]. Ak ignorujeme znamienka, je možné maticu E rozložiť E = S R ako súčin koso-symetrickej matice S a matice rotácie (regulárna matica) R iba dvomi spôsobmi. Ak E = U diag (1 1 0) V T je singulárny rozklad a matica prvej kamery je P = [I | 0], existujú štyri možné voľby pre maticu druhej kamery P’: P’ = [UWV T | u3] alebo [UWV T | - u3] alebo [UW T V T | u3] alebo [UW T V T | - u3]. Rozdiely medzi riešeniami sú v smere aplikácie vektora posunutia (od prvej kamery k druhej (a)(c) alebo naopak (b)(d)) a v orientácii uhla zvieraného vektorom pohľadu druhej kamery a priamku spájajúcou stredy dvoch kamier (viď. Obrázok 17). Zrekonštruovaný bod scény X sa nachádza pred obomi kamerami iba v jednom z prípadov. 18.okt.2004 Epipolárna geometria v praxi Epipolárna geometria v praxi

7 Určenie fundamentálnej matice
Lineárne algoritmy Algoritmus algebraickej minimalizácie Minimalizácia vzdialenosti Automatický výpočet Problém hľadania matíc projekcie sa zmenil na hľadanie fundamentálnej matice. Existuje mnoho metód, ako ju určiť. Tie robustné automaticky detekujú veľké množstvo korešpondujúcich čŕt v dvoch obrazoch, čím si pripravia štatisticky bohatú množinu. To ale v našej aplikácii zatiaľ nie je možné. Naším vstupom je množina niekoľkých korešpondujúcich bodov a kalibračné matice oboch kamier (obyčajne sú totožné). Metódy na získanie fundamentálnej matice v takejto situácii je možné rozdeliť: · LINEÁRNE algoritmy, · Algoritmus ALGEBRAICKEJ MINIMALIZÁCIE, · MINIMALIZÁCIA VZDIALENOSTI 18.okt.2004 Epipolárna geometria v praxi Epipolárna geometria v praxi

8 Určenie fundamentálnej matice I Lineárny 8-bodový algoritmus
rovnosť x’T F x = 0 pre pár korešpondujúcich bodov x=(x, y, 1) T, x’=(x’, y’, 1)T je lineárna rovnosť (pre prvky matice F) : x’x f11+ x’y f12+ x’f13+ y’x f21+ y’y f22+ y’f23+ x f31+ y f32+ f33 = 0 Viacero bodových korešpondencií xi  x’i, (i = 1… n) A f = f = 0 f rieši problém min ||Af|| s podmienkou ||f|| = 1 určenie f je presne až na podobnosť normalizácia v priestore obrazu (počiatok do ťažiska bodov, priemerná vzdialenosť 2) singularita nezaručená Pri práci s reálnymi dátami sa snažíme nájsť najlepšiu aproximáciu fundamentálnej matice F. Rovnosť, ktorá ju definuje je x’T F x = 0, kde x a x’ je pár korešpondujúcich bodov v prvom a druhom obraze. Nech ich projektívne súradnice sú x=(x, y, 1) T, x’=(x’, y’, 1) T. Každá korešpondencia bodov tvorí jednu lineárnu rovnosť, ak za neznáme pokladáme prvky matice F kde fij (i,j  {1,2,3}) sú prvky 3x3 matice F. Nech f označuje 9-vektor usporiadaných členov F. f je možné určiť presne, až na škálovanie (jedná sa o množinu homogénnych rovností). Ak existuje riešenie, je hodnosť matice A nanajvýš 8. Riešenie existuje práve jedno, ak má matica A práve 8 nezávislých stĺpcov. Riešenie f je potom pravým nulovým priestorom matice A. Ak je hodnosť matice vyššia (9 – matica má 9 stĺpcov), riešenie získame metódou najmenších štvorcov. V takom prípade je f singulárny vektor matice A združený s jej najmenším singulárnym číslom. Ak A = UDV je singulárny rozklad matice A, f je posledným stĺpcom matice V. f rieši problém min ||Af|| s podmienkou ||f|| = 1. Aby bol algoritmus stabilnejší, je vhodné vstupné dáta normalizovať. Jednoduchá transformácia (posunutie a škálovanie) bodov obrazu pred formulovaním lineárnych rovností vedie k značnému zlepšeniu podmienenosti problému a stabilite výsledku. Odporúčaná normalizácia kladie počiatok normalizovanej súradnicovej sústavy bodov v jednom obraze do ich ťažiska a ich priemernú vzdialenosť od počiatku stanoví rovnú 2. Značí to, že “priemerný” bod je (1, 1, 1) T. Dôležitá vlastnosť fundamentálnej matice je jej singularita. Hodnosť matice F je 2 (det(F)=0). Táto lineárna metóda však vo všeobecnosti nezaručuje uchovanie singularity. h (A) <= 8 existuje riešenie h (A) = 9 metóda NŠ 18.okt.2004 Epipolárna geometria v praxi Epipolárna geometria v praxi

9 Epipolárna geometria v praxi
Určenie fundamentálnej matice II Algoritmus algebraickej minimalizácie fundamentálnu maticu je možné konštruovať ako singulárnu F = M [e]x, kde vlastnosti fundamentálnej matice: min ||Af|| s podmienkou ||f|| = 1 zadefinujme E9x9 = , potom: f = E m, min ||AEm|| s podmiemkou ||Em|| = 1. pre odhad f: f = E V [D1-1 n’1, - A’2+ A’1 D1-1 n’1], (E =UDV T, pre zname e) Nepresnosť odhadu vyčíslime pomocou algebraickej chyby  = A f. zobrazenie mapujúce odhad epipólu ei na algebraickú chybu i : R3 → R8 Levenberg – Marquardt iteratívna metóda, meniť ei tak, aby sme minimalizovali veľkosť ||i||. M je regulárna matica [e]x je nejaká koso-symetrická matica a  e aproximuje epipól v prvom obraze Ako zabezpečiť, že získaná fundamentálna matica bude singulárna? Jednou z možností je konštruovať ju ako singulárnu, ako súčin F = M [e]x, kde M je regulárna matica,[e]x je nejaká koso-symetrická matica a e aproximuje epipól v prvom obraze. Aby sme zaručili že takáto matica F bude spĺňať aj ďalšie podmienky fundamentálnej matice, pridáme požiadavku rovnakú ako v predchádzajúcom algoritme: nech minimalizuje ||Af|| s podmienkou ||f|| = 1. Predpokladajme, že epipól e je známy. Rovnosť F = M [e]x prepíšeme pomocou vektorov f a m (sú tvorené prvkami matíc F a M uloženými do jedného riadku) : f = Em, kde E je 9*9 matica. Problém minimalizácie sa teraz dá prepísať: min ||AEm|| s podmiemkou ||Em|| = 1. Singulárnym rozkladom matice E= UDV T. Pre hľadané f teda platí: f = E V [D1-1 n’1, - A’2+ A’1 D1-1 n’1]. Získali sme odhad vektora f pre maticu korešpondencií bodov A a známy epipól e. Nepresnosť odhadu vyčíslime pomocou algebraickej chyby  = A f. Definovali sme zobrazenie mapujúce odhad epipólu ei na algebraickú chybu i : R3 → R8. V praxi presnú epipól nepoznáme. Jej odhad získame pomocou iteratívnych metód. Použijeme Levenberg – Marquardt iteratívnu metódu [Num88], [Po02]. Vznikla z Newtonovej metódy miernym upravením normálnych rovníc. Pre nultú aproximáciu epipólu e0 vypočítame odhad fundamentálnej matice F0 inou metódou, napríklad 8-bodovým lineárnym algoritmom (e0 je pravý nulový vektor matice F0). V iteráciách budeme meniť ei tak, aby sme minimalizovali veľkosť ||i||. Tento algoritmus nájde maticu F, ktorá minimalizuje algebraickú chybu ||Af||  podmienkami ||f|| = 1 a detF = 0. 18.okt.2004 Epipolárna geometria v praxi Epipolárna geometria v praxi

10 Určenie fundamentálnej matice III Minimalizácia vzdialenosti
prvý odhad fundamentálnej matice FL (lineárnou, výpočtovo lacnejšou metódou) Zvolíme parametrizáciu fundamentálnej matice F(v). v je vektor parametrov. Vypočítame parametre v tak aby minimalizovali || FL - F(v)||. Minimalizujeme chybovú funkciu v prvkoch vektora v: d je vzdialenosť v metrickom priestore a xi, x’i je n korešpondujúcich obrazových bodov v oboch obrazoch Iná metóda spresnenia lineárnej osembodovej metódy je založená na nelineárnej minimalizácii vzdialenosti. Postupov je niekoľko. Líšia sa druhom sledovanej vzdialenosti, ale majú spoločný princíp : 1.Lineárnou, výpočtovo lacnejšou metódou získame prvý odhad fundamentálnej matice FL 2.Zvolíme parametrizáciu, ktorou je problém získania fundamentálnej matice dostatočne dobre určený a bude akceptovať požiadavky kladené na fundamentálnu maticu (hodnosť 2). Nech v je vektor parametrov a F(v) je fundamentálna matica ním parametrizovaná. Vypočítame parametre v tak aby minimalizovali || FL - F(v)||. 3.S využitím F(v) ako počiatočného kroku minimalizujeme chybovú funkciu v prvkoch vektora v: kde d je vzdialenosť v metrickom priestore a xi, x’i je n korešpondujúcich obrazových bodov v oboch obrazoch. Spôsobmi parametrizácie a s tým spojenými mierami vzdialenosti sa v poslednom čase zaoberá mnoho článkov. Základná myšlienka ako parametrizovať F je použiť sedem čísiel popisujúcich epipolárnu homografiu – dve súradnice pre každý epipól a tri koeficienty pre epipolárnu homografiu [Fagueras, Luong](str. 322). Sedem je minimálny počet parametrov pre túto úlohu. Iná parametrizácia je uvedená v metóde algebraickej minimalizácie kde F = M [e]x. F je parametrizované 9 prvkami 3*3 matice M a tromi prvkami e, spolu 12 parametrov. 18.okt.2004 Epipolárna geometria v praxi Epipolárna geometria v praxi

11 Určenie fundamentálnej matice IV Automatický výpočet
detekcia „bodov záujmu“ v oboch obrazoch určenie korešpondencií výpočet fundamentálnej matice Po vyriešení otázky, ako získať fundamentálnu maticu z určitého počtu operátorom zadaných korešpondujúcich bodov prichádza na rad otázka, ako tento proces zautomatizovať. Pred samotný výpočet fundamentálnej matice a usudzovanie na epipolárnu geometriu sa radia dva kroky: detekcia “bodov záujmu” v oboch obrazoch (jedná sa o hľadanie výrazných, v obraze ľahko detekovateľných bodov ako sú rohy, hrany, zlomy) a určenie možných korešpondencií (popárovanie tých význačných bodov v opačných obrazoch, ktoré sú si dostatočne podobné a sú pravdepodobne obrazom jedného reálneho 3D bodu). Technika výpočtu fundamentálnej matice sa vzhľadom k množstvu korešpondujúcich bodov od vyššie popísaných metód odlišuje. 18.okt.2004 Epipolárna geometria v praxi Epipolárna geometria v praxi

12 Epipolárna geometria v praxi
Výber metód 8-bodový algoritmus minimalizácia algebraickej chyby minimalizácia vzdialenosti ľahká implementácia rýchly pomerne presné výsledky vyššia presnosť náročnejšia implementácia Pri výbere metód sme museli zohľadniť niekoľko požiadaviek. Cieľom je vytipovať metódu na získanie fundamentálnej matice dosť presnú a rýchlu na dostupných dátach. Pretože zatiaľ nie je implementovaný algoritmus na autodetekciu korešpondujúcich bodov, predpokladáme ich zadávanie operátorom. 8-bodový normalizovaný algoritmus je rýchla, ľahko implementovateľná metóda. Väčšinou poskytuje pomerne presné výsledky. Je ideálna ako prvý krok pre iteračné metódy. Ak je vyžadovaná väčšia presnosť, doporučuje sa metóda minimalizácie algebraickej chyby. Podobné výsledky poskytuje aj metóda minimalizácie vzdialenosti najlepšie s využitím Sampsonovej chyby. Je vhodná ako alternatívny algoritmus. Implementovali sme 8-bodový normalizovaný algoritmus a metódu minimálnej algebraickej chyby. vyššia presnosť voľba minimalizovanej chyby voľba parametrizácie 18.okt.2004 Epipolárna geometria v praxi Epipolárna geometria v praxi

13 Porovnávacie kritériá I Reziduálna chyba
1/N ΣiN d(x’i, F xi) 2 + d(xi, FTx’i) 2 1/N ΣiN d(x’i, F xi) 2 + d(xi, FTx’i) 2 d(x,l) je vzdialenosť bodu x a priamky N>8 Pre ohodnotenie presnosti fundamentálnej matice sa definuje reziduálna chyba 1/N ΣiN d(x’i, F xi) 2 + d(xi, FTx’i) 2, kde d(x,l) je vzdialenosť bodu x a priamky l. Chyba je teda súčet druhých mocnín vzdialeností epipolárnej priamky bodu a s ním korešpondujúceho bodu v druhom obraze (v oboch obrazoch) spriemerovaný cez všetkých N korešpondencií. Reziduálna chyba korešponduje s epipolárnou vzdialenosťou používanou v minimalizačných postupoch aj keď táto prakticky minimalizuje iné hodnoty. Je dôležité vyčíslovať reziduálnu chybu v širšej skupine korešpondencíí ako sú tie, z ktorých bola fundamentálna matica počítaná. Reziduálna chyba matice získanej lineárnym 8-bodovým algoritmom na bodoch z ktorých vznikla je prakticky nulová, čo vyplíva zo spôsobu jej výpočtu. Pri našom testovaní sa chyba vypočítava postupne pre zväčšujúcu sa množinu bodov korešpondencie. Prvých 8 bodov z nej bolo použitých pre výpočet fundamentálnej matice. To sa aj prejaví na tvare kriviek. Pre testovanie sme použili dvojice obrázkov rôznej presnosti, s rôznym rozlíšením. Použili sme syntetické dáta, obrázky z tutoriálu PhotoModeler [PhotoModeler] a vlastné fotografie získané bežným fotoaparátom. Scény z Photomodeleru poskytujú presnú kalibráciu kamery v ktorej sa odstraňuje aj súdkovitosť. Pre vlastné fotografie informáciu o deformácii nemáme. 18.okt.2004 Epipolárna geometria v praxi Epipolárna geometria v praxi

14 Porovnávacie kritériá II Syntetické dáta
Pre lepšie pochopenie metódy a jej konvergencie sme vytvorili idealizovanú syntetickú scénu a metódu testovali pomocou nej Aj pre túto scénu sme vyčíslili reziduálnu chybu pre maticu získanú lineárnou metódou a algebraickou minimalizáciou ale aj pre skutočnú fundamentálnu maticu odvodenú z geometrie scény Tu sa ukazuje algebraická minimalizácia ako presnejšia metóda. Všetky hodnoty chyby sú o rád menšie ako v reálnych scénach. Je to spôsobené oveľa presnejším “výberom” korešpondujúcich dvojíc bodov. Pretože sme však hodnoty presných súradníc zaokrúhľovali (súradnice korešpondujúcich bodov sú celé čísla), je aj reziduálna chyba skutočnej fundamentálnej matice nenulová aj keď veľmi nízka. 18.okt.2004 Epipolárna geometria v praxi Epipolárna geometria v praxi

15 Porovnávacie kritériá III Ďalšie spôsoby
Syntetická scéna: lineárna 8-bodová metóda, algebraická minimalizácia, esenciálna matica, 0.710, 0.704, 0.002, , 0.706, 0, , , 0 Scéna „lavička“: 0.8, 0.6, 0.056, , 0.6, 0.000, Scéna „škatuľky“: 0.9, 0.4, 0.106, , 0.5, 0.000, Scéna „auto“: 0.9, 0.5, 0.018, , 0.3, 0.000 Akým iným spôsobom je možné merať presnosť fundamentálnej matice a kontrolovať priebeh výpočtu? Skutočná esenciálna matica, teda fundamentálna matica korešpondujúca s normalizovanými kamerami, má dve singulárne čísla zhodné a posledné je nulové. Vlastnosť singularity je pre fundamentálnu maticu podstatná. Lineárna 8-bodová metóda ju nezaručuje, algebraická minimalizácia je na nej postavená. Porovnajme získané matice a ich singulárne čísla pre syntetickú scénu: Esenciálna matica spĺňa homogénnu rovnicu ’T E = 0, preto u nej nezáleží na škálovaní ale na vzájomnom pomere prvkov. V tomto príklade vyniknú odchýlky vďaka mnohým nulovým prvkom skutočnej esenciálnej matice. Vidíme, že lineárna metóda pri dobrom výbere korešpondujúcich dvojíc bodov sa približuje podmienke singularity. Odchýlky sú malé a pri matici minimalizácie zanedbateľné. Pre porovnanie s reálnymi scénami uvádzame matice a singulárne čísla aj pre ostatné scény : Zhodnosť dvoch vlastných čísel a nulovosť tretieho súvisí s reziduálnou chybou. Lineárna metóda má najlepšie výsledky v scéne auto čo sa odráža aj vo veľkosti najmenšieho singulárneho čísla. Algebraická minimalizácia vytvorila v tejto scéne maticu ktorej dve väčšie singulárne čísla sú veľmi vzdialené čo indikuje jej nepresnosť. V scéne krabičky matica lineárnej metódy má najväčšie tretie singulárne číslo čo sa odrazilo aj v grafe reziduálnej chyby. 18.okt.2004 Epipolárna geometria v praxi Epipolárna geometria v praxi

16 Porovnávacie kritériá IV
Obtiažnosť implementácie Presnosť (double ? float) Vizuálne výsledky Pre implementáciu je dôležitá spoľahlivá funkcia pre singulárny rozklad matice a inverznú maticu. Lineárny algoritmus využíva vlastnosti matíc vzniknutých singulárnym rozkladom a preto je ľahko implementovateľný. Algoritmus minimalizácie je cyklus v ktorom sa pomocou známej fundamentálnej matice a jej vypočítaných chýb pre riadené vychýlenie epipólu usudzuje na jeho ideálne posunutie, ktoré sa uplatní iba ak sa v ďalšom behu cyklu potvrdí zníženie chyby získanej matice. Algoritmus sa skladá z niekoľkých úrovní, ktoré je vhodné riešiť ako funkcie. Pre výpočty sme používali premenné typu float (32 bitové číslo s pohyblivou desatinnou čiarkou, rozsah od 3.4*(10*-38) do 3.4*(10*+38)), ktorý je pre algoritmy postačujúci. Presnosť metódy sa nezmenila pri pretypovaní na double (64 bitové číslo s pohyb. desatinnou čiarkou). Obrázky, z ktorých sme vychádzali neboli snímané širokouhlym objektívom. Pre niektoré z nich boli dostupné aj informácie pre odstránenie súdkovitej deformácie, ale ich aplikácia taktiež nepriniesla podstatný rozdiel v presnosti výsledkov. Nepriamym overením presnosti výpočtov je vizualizovať výsledok pomocou rekonštrukcie 3D polohy bodov a ich grafické znázornenie vo virtuálnom priestore. Orientáciu v množine bodov uľahčí ak ich pospájame čiarami alebo pomocou nich definujeme plochy. Takáto vizualizualizácia ľudskému operátorovi rýchlejšie prezradí ako presná je rekonštrukcia a teda aj fundamentálna matica. Nepresnosti sa prejavia v nesprávnom pomere mierky v jednotlivých osiach alebo ako natiahnutie celého modelu v niektorom smere. Skúsený operátor podľa toho dokáže odhadnúť ktorá dvojica korešpondujúcich bodov je zadaná chybne alebo nevhodne. 18.okt.2004 Epipolárna geometria v praxi Epipolárna geometria v praxi

17 Epipolárna geometria v praxi
Zhrnutie Výpočet Lineárna metóda aj metóda algebraickej minimalizácie dávajú podobné výsledky Algebraická minimalizácia - presnejšia Lineárna metóda - horšie popísané scény Nestabilitu je možné sledovať v priebehu výpočtov Efektívnejšie môže byť zvolit inú množiny ôsmych bodov. Vstupné dáta Snímky aj z bežného fotoaparátu Rôznorodosť scény, presné určenie bodov Ďalšia práca automatizácia detekcie a výberu 8 bodov metódy pre veľké množstvo detekovaných bodov Pomocou tejto metódy je možné rekonštruovať fasádu budovy vrátane výčnelkov, okien a iných detailov. Porovnávame dve metódy pre získanie fundamentálnej matice pomocou 8 bodov vyznačených v dvoch snímkach scény. Pracujeme s lineárnou metódou a metódou algebraickej minimalizácie. Z uvedených porovnaní vyplýva, že metódy dávajú podobné výsledky. V dobre definovaných scénach môže algebraická minimalizácia odhad fundamentálnej matice, poskytnutý lineárnou metódou, výrazne vylepšiť. Ak je však scéna zle popísaná, je lineárna metóda vhodnejšia. Tento prípad je možné sledovaním niektorých vlastností výpočtu rozpoznať. Efektívnejším riešením môže byť voľba inej množiny ôsmych bodov pre ďalší výpočet. Aj bežný digitálny fotoaparát je vhodný pre získavanie snímok pre rekonštrukciu geometrie scény ak poznáme niektoré jeho parametre zverejnené výrobcom. Oveľa väčší dôraz je nutné klásť na správnu voľbu snímok. Používateľ by mal už pri ich získavaní zabezpečiť, aby snímaná scéna bola dostatočne rôznorodá a bolo možné, vo fáze spracovania snímok, určiť minimálne 8 nekoplanárnych bodov, podľa možnosti rovnomerne rozmiestnených v celom obraze. Ďalším dôležitým prvkom je čo najpresnejšie určenie vybraných bodov v obraze. 18.okt.2004 Epipolárna geometria v praxi Epipolárna geometria v praxi

18 Ďakujem za pozornosť Katarína Dařílková
Epipolárna geometria v praxi