שערוך תאורה מתוך צל Group meeting 29.12.07

יישום אלגוריתם לשערוך פילוג התאורה בסצנה מצולמת מתוך הצל בתמונה מטרת הפרוייקט יישום אלגוריתם לשערוך פילוג התאורה בסצנה מצולמת מתוך הצל בתמונה

רקע תיאורטי ההארה המגיעה ממקור נקודתי בעל עוצמה L וזווית מרחבית δω אל נקודה במשטח: dE = Lcos(θ)· δω, δω=sin(θ)dθdФ ההארה הכוללת של נקודה על המשטח: Viewer (θe,Φe) θi Φi θe Φe SourceL(θi,Φi)

רקע תיאורטי f(θi,Фi,θe,Фe) = היחס בין ההארה הפוגעת במשטח בזוויות (θi,Фi) לבין עוצמת האור המגיעה מהמשטח אל צופה הממוקם בזוויות (θe,Фe). עבור משטח למברטי f קבועה S(θi,Фi,θe,Фe) – מקדם הצל: S=0 אם הקרן מהמקור L(θi,Фi) נבלעה באובייקט ולא הגיעה אל נקודת המשטח (θe,Фe), S=1 אם הגיעה. הנחות: מקורות רחוקים (קרניים מקבילות) אין החזרות משניות בין האובייקט למשטח אובייקט בולע לחלוטין S = 1 S = 0

קירוב דיסקרטי עבור משטח למברטי בניית כיפה גיאודטית של מקורות נקודתיים בעלי ערך עוצמה לא ידוע: Li פילוג ראשוני של המקורות לפי זווית מרחבית אחידה קירוב האינטגרל: Geodesic Dome

קירוב דיסקרטי עבור משטח למברטי וקטור ערכי הפיקסלים P מטריצת מקדמי הצל A וקטור מקורות האור הנעלמים L המטרה: למצוא את ערכי הווקטור L

מימוש האלגוריתם: בניית כיפת מקורות תאורה זווית מרחבית Δω אחידה

מימוש האלגוריתם: מיצוי מאפייני האובייקט הפרדת אובייקט ממשטח: סף על רמת אפור + הרחבה מציאת קודקודי האובייקט: אלגוריתם Harris

אלגוריתם Harris למציאת פינות פינה = נקודה בה יש שינוי גדול בעוצמה הן בכיוון X והן בכיוון Y – ערכים גבוהים של הנגזרות החלקיות מטריצת המומנטים של הגרדיאנטים: פינה מקיימת: α קטן = רגישות גדלה

מימוש האלגוריתם: מציאת זווית המצלמה בניית מודל תלת-ממדי של האובייקט סיבוב האובייקט בזוויות (-θ,-Ф) הטלת האובייקט לאחר הסיבוב על מישור YZ – מעבר לדו-מימד Scale והזזה של האובייקט לאחר ההטלה עפ"י יחסי המרחקים בין קודקודי האובייקט בתמונה ובמודל אופטימיזצית השגיאה הריבועית בין קודקודי האובייקט במודל לבין קודקודי האובייקט שהופקו מהתמונה -> מציאת זוויות המצלמה (θ,Ф)שנותנות שגיאה מינימלית

מימוש האלגוריתם: מציאת זווית המצלמה

מימוש האלגוריתם: בחירת נקודות מהמשטח ומציאת ערכי רמות האפור P פיקסלים שנדגמו מהמשטח בניית מודל תלת מימדי של הסצינה בחירה אקראית של פיקסלים מהמשטח במודל. חישוב המקדמים בהמשך יתבצע לפי המרחקים במודל ("קואורדינטות עולם") המרת המודל לקואורדינטות תמונה: סיבוב המודל עפ"י זוויות המצלמה שנמצאו הטלת המודל על מישור YZ – מעבר לדו מימד Scale+displacement להתאמה לתמונה: עפ"י היחסים בין קודקודי האובייקט במודל ובתמונה מציאת ערכי רמות האפור של הפיקסלים שנבחרו מהמשטח בתמונה – לאחר המרה לקואורדינטות תמונה

מימוש האלגוריתם: חישוב מקדמי הצל חישוב מקדמי הצל Si,j – לכל צירוף של נקודת משטח ומקור אור נעלם: עפ"י היחס בין Фc, Фsource ובין θc, θsource S=1 S=0 R θc фc S=1

חישוב פילוג התאורה Least Squares : P=A*L מציאת L באמצעות מינימיזצית השגיאה הריבועית:

הפעלת התאורה המחושבת על המודל בדיקת החישוב הפעלת פילוג התאורה על המודל ליצירת צל מלאכותי תמונה מקורית הפעלת התאורה המחושבת על המודל

בעיות באלגוריתם הבסיסי חוסר יציבות של פתרון ה-least squares בשל דרגת מטריצה (=מס' שורות בת"ל) קטנה ממספר המקורות הנעלמים צללים חדים ולא טבעיים דגימה מוטעית של פיקסלים שאינם מהמשטח => מקורות פיקטיביים

שיפורים באלגוריתם הבסיסי איחוד מקורות תאורה בעלי מקדמים דומים (= ביטול עמודות דומות): אם ווקטור המקדמים של מקור Li הוא [a1,i…an,i] אזי מקורות Li, Lj יאוחדו אם Clustering של הפיקסלים הדגומים מהמשטח – ביטול שורות זהות במטריצה A

שיפורים באלגוריתם הבסיסי הוספת תנאי חלקות: צל המשתנה באופן איטי הוא טבעי יותר, לכן יוספו למטריצה שורות המאפסות את הנגזרות בכיוונים Ф ו- θ, בעלות משקל עפ"י פרמטר λ: פתרון בעל נגזרת גבוהה יקבל "קנס" עפ"י גודל λ. שיפור זה מוסיף שורות בלתי תלויות למטריצה (הוספת מידע חדש) ויוצר צללים חלקים וטבעיים יותר

שיפורים באלגוריתם הבסיסי דגימה אדפטיבית של מקורות התאורה: בכל איטרציה יתווספו מקורות נעלמים בין מקורות שקיבלו ערכי עוצמה גבוהים באיטרציה הקודמת ויבוטלו מקורות בעלי עוצמה נמוכה איטרציה 5 איטרציה 1

דוגמאות להפעלת האלגוריתם פילוגי תאורה: זוג מקורות אור מלאכותיים בעלי צללים מופרדים זוג מקורות אור מלאכותיים בעלי צללים חותכים אור שמש דרך חלון זוויות צילום: מעל האובייקט צל לפני האובייקט צל מוסתר ע"י האובייקט

זוג מקורות מופרדים

מקורות חותכים

אור שמש

מימוש האלגוריתם: דגימת פיקסלים מהמשטח מימוש האלגוריתם: דגימת פיקסלים מהמשטח דגימת פיקסלים אחידה הימנעות מדגימת פיקסלים מהאובייקט עפ"י סף על רמות האפור + הרחבה (dilation)