מהו צילום חישובי?
צילום חישובי יוצר תמונה באמצעות שילוב בין מדידות אופטיות לעיבוד אלגוריתמי. במקום לראות בלחיצה על התריס חשיפה יחידה ותוצאה סופית, אפשר לראות בה איסוף של כמה פריימים, נתוני חיישן ומידע על תנועה. האלגוריתם מיישר, מסנן וממזג את המדידות לפני יצירת התמונה המוצגת. לכן חלק מאיכות המצלמה נקבע גם בתוכנה ולא רק בעדשה ובחיישן.
מדוע משלבים כמה פריימים?
מצלמת טלפון אוספת מעט אור בגלל המפתח והפיקסלים הקטנים, ולכן צילום בתאורה חלשה עלול להיות רועש. חשיפה ארוכה אוספת יותר אור, אבל תנועת היד או המצולם גורמת לטשטוש. מערכת HDR+ שתוארה בידי Google מצלמת רצף פריימים בחשיפה קבועה וקצרה יחסית, מיישרת אותם וממזגת מידע חוזר. כך ניתן להפחית רעש בצללים בלי לשרוף אזורים בהירים כבר בזמן הצילום.
כיצד פועל צינור העיבוד?
במערכת המחקרית של HDR+ העיבוד מתחיל בפריימים גולמיים בתבנית Bayer, לפני המרתם לתמונת RGB רגילה. אלגוריתם מבוסס FFT מעריך התאמה בין הפריימים, ומסנן Wiener משלב אותם ומפחית רעש. לאחר המיזוג מופעל מיפוי גוונים כדי להתאים את טווח הבהירויות למסך. זו דוגמה לצינור מסוים; מערכות אחרות עשויות לבחור מספר פריימים, חשיפות ושיטות מיזוג שונים.
היכן נכנסת למידת מכונה?
צילום חישובי אינו שם נרדף לבינה מלאכותית. יישור, סינון רעש ומיפוי גוונים יכולים להתבצע בשיטות עיבוד אותות קלאסיות. לצד זאת, Night Sight השתמשה ברכיב נלמד לאיזון לבן בתאורה קשה, על בסיס תמונות שצבעיהן תוקנו ידנית. במצלמות מודרניות רכיבים נלמדים וקלאסיים יכולים לפעול באותו צינור; עצם קיומו של עיבוד רב־פריימי אינו מוכיח שנוצר תוכן שלא צולם.
מה עלול להשתבש?
מיזוג מצליח רק כאשר אפשר להתאים בין הפריימים. תנועה מהירה, אזור חסר מרקם או רעש כבד מקשים על היישור ועלולים ליצור מריחות, כפילויות או חלקים שנראים שונים משכניהם. Night Sight משנה את מספר הפריימים ואת זמני החשיפה לפי תנועת המצלמה והסצנה, ודוחה מידע שאינו מתיישר היטב. אלה מנגנוני צמצום נזק, לא הבטחה שכל צילום לילה יהיה חד או שכל פרט בתוצאה הגיע מחשיפה אחת.