אפל כוללת תכונת צילום חישובית בשם 'Deep Fusion' בגרסת הבטא של iOS 13.2, שיכולה לסייע בהפקת תמונות מפורטות מאוד ממצלמות האייפון 11 והאייפון 11 פרו. AppleInsider מסביר כיצד מתפקדת התכונה פורצת הדרך.
התגרה במהלך ההשקה שלאייפון 11ואייפון 11 פרו, Deep Fusion היא תוספת לאפליקציית המצלמה של iOS המשלבת מספר תצלומים לצילום אחד, כזה שמתהדר ברמות גבוהות של פירוט שבדרך כלל יופקו באמצעות חשיפה ארוכה. המערכת של אפל מסוגלת לייעל את המרקם, הפרטים והרעש לאורך כל צילום, ולבצע את הכל תוך שנייה בלבד.
לשם כך, אפל מנצלת את הזמן שלפני צילום התמונה, כמו גם את כוח העיבוד שמציעהA13 Bionicהמנוע העצבי של שבב להשתמש בטכניקות "למידת מכונה מתקדמת" במשימה.
המסביר על הבמה
כפי שהוסבר על הבמה במהלך האירוע המיוחד של ספטמבר, סמנכ"ל השיווק העולמי של אפל, פיל שילר, אומר שהאייפון מצלם בסך הכל תשע תמונות כדי להפיק אחת. לפני שהמשתמש מפעיל את הצמצם, האייפון כבר צילם "ארבע תמונות קצרות וארבע תמונות משניות", ואז לוקח "חשיפה אחת ארוכה" כשהתריס מופעל בפועל.
לאחר מכן, המנוע העצבי משלב את החשיפה הארוכה עם התמונות הקצרות, ובוחר את השילוב הטוב ביותר מהאוסף על ידי מעבר "פיקסל אחר פיקסל" דרך 24 מיליון פיקסלים. לאחר מכן הוא עובר על התמונה המתקבלת כדי לבצע אופטימיזציה לפרטים ולרעש נמוך.
פיל שילר של אפל על הבמה המדגיש את פרטי הסוודר בתצלום שצולם בטכניקה
התוצאה היא תמונה ששילר מכנה "מדע מטורף של צילום חישובי", והפעם הראשונה שהמנוע העצבי משמש לקביעת הפלט מתהליך צילום.
HDR, אבל לא לגמרי
ההחלטה של אפל לצלם מספר תמונות ברצף מהיר הגיונית ממספר סיבות. בעוד התיאור של שילר של "ארבע תמונות קצרות" יחד עם "ארבע תמונות משניות" נשמע כמו שמונה תצלומים רגילים, הם למעשה משרתים כמה מטרות שונות.
ארבעת הצילומים ה"קצרים" מתייחסים לתצלומים שצולמו עם ערך חשיפה נמוך יותר ממה שהיה בשימוש בדרך כלל. הערך הנמוך הוא בכוונה, מכיוון שזה יכול לאפשר לאייפון לקבל תמונות עם ערכי חדות שהוא יכול להשתמש בו כחלק מעיבוד מאוחר יותר שלו. התמונות ה"משניות" מצולמות בחשיפה רגילה, בעוד החשיפה הארוכה נעשית עם ערך חשיפה גבוה יותר.
למעשה זה דומה במובנים מסוימים לטווח דינמי גבוהצילום, שבו מצלמים מספר תמונות בו-זמנית או ברצף מהיר, עם תמונה שאינה חשופה בשילוב עם תמונה בחשיפה גבוהה יותר כדי ללכוד מגוון רחב יותר של פרטים. עם זאת, צילום HDR אינו מסתמך בדרך כלל על שילוב של צילומי חשיפה ארוכים וקצרים.
מחבר את הכל ביחד
לאחר בחירת השילוב הטוב ביותר של חשיפות קצרות וחשיפה ארוכה, Deep Fusion מעבד את השתיים לרעש, ולאחר מכן רץ דרך שתי התמונות על בסיס לפי פיקסל כדי לחדד את הצילום, עובר דרך ארבעה שלבים שונים. כל שלב מנתח חלק אחר של התמונה, כגון שמיים ונוף או בדים ועור, כאשר כל סוג של נושא מקבל רמת עיבוד שונה.
דירוג האלמנטים הזה גם מודיע למערכת כיצד לשלב את החשיפות הקצרות והארוכות יחד כדי ליצור את התמונה הסופית. למרות שהוא עשוי לקחת את נתוני הגוון והבהירות מתמונה אחת ואת הפירוט מהאחר, הדירוג קובע עד כמה המערכת צריכה לטעות ביחס לפרטים או לנתונים אחרים עבור כל אלמנט.
בתיאוריה, שיטת צילום חישובית זו אמורה להמציא צילומים עם רמות פירוט גבוהות יותר באזורים שהמשתמשים מעריכים, כגון העור או השיער, וכדי שהקצוות של הנושאים יהיו נקיים יותר ממה שצילום רגיל יכול להפיק בדרך כלל.
קל להסביר, קשה יותר לבדוק
Deep Fusion נמצאת כעת בבדיקה, כאשר היא הגיעה לקהילת המפתחים ביום רביעי עם הבטא הראשונה של iOS 13.2.AppleInsiderהתחיל להסתכל על זה, אבל זה מבחן מורכב, עם משתנים רבים לבודד ולהעריך.
בקיצור, עד כה מצאנו הבדלים קטנים מאוד בתמונות בעת שימוש בעדשת הטל בין אייפון 11 Pro Max מעודכן ללא מעודכן. התכונה נכנסת רק בתאורה בינונית ונמוכה, אבל לא עבור תמונות במצב כהה בכלל.
לא ברור גם מתי התכונה נכנסת ומתי לא. אבל, כמו שאמרנו, הבדיקות רק מתחילות עכשיו, ויש עוד קצת זמן עד ש- iOS 13.2 יישלח לציבור.
אנו נמשיך לבדוק, ונחזור אליך בהקדם לגבי המשמעות של זה בשימוש יומיומי.
