בקשת פטנט של אפל שפורסמה ביום חמישי מפרטת שיטה חכמה להחדרת טשטוש רקע תמונה באמצעות מפת עומק שנאספה מנתונים שנלכדו על ידי מערכת מצלמות סטריאו. המסמך יכול לשפוך אור על פעולתו הפנימית של מצב דיוקן באייפון 7 פלוס, שפרטיו דלילים.
המתודולוגיה המתוארת ב-Apple'sבקשה עבור"עיבוד עומק שדה רדוד צילום מציאותי מערימות מוקד" מתיישב עם המעט שידוע על Portrait Mode, תכונת iOS הרותמתאייפון 7 פלוסחומרה ליצירת טשטוש רקע במראה טבעי בתמונות דיגיטליות.
שוחרר עם iOS 10.1באוקטובר, מצב פורטרט משתמש בעדשות זווית רחבה ועדשות "טלפוטו", אלגוריתמים מורכבים של ראייה ממוחשבת וטכנולוגיית מיפוי עומק ליצירת סדרה של שכבות תמונה. המערכת מסוגלת למקד באופן סלקטיבי שכבות מסוימות, כמו אלו המכילות את נושא התמונה, ולבטל מיקוד באחרות, וכתוצאה מכך רקע מטושטש באופן טבעי עם תוספת בוקה.
בקשת הפטנט של היום מפרטת טכניקה כמעט זהה, אלא שבמקום להכניס טשטוש המערכת המוצעת בוחרת בשכבות, או פריימים, שכבר יצאו מפוקוס.
בהתגלמויות מסוימות, ההמצאה כוללת צילום מספר קבוע מראש של פריימים של סצנה מסוימת, כאשר כל פריים נלכד בעומק פוקוס שונה. כל פריים מייצג שכבה נפרדת בערימת הפוקוס - סט תמונות ברמות שונות של חדות או טשטוש שישמשו בסופו של דבר ליצירת צילום סופי.
לאחר מכן, המערכת מייצרת מפת עומק באמצעות עומק ממיקוד או שיטת עומק מחוסר מיקוד. המידע שיתקבל ישמש כדי לקבוע אילו שכבות מכילות אובייקט מטרה ואילו מכילות רקע של סצנה.
לאחר מכן נגזרת רמת טשטוש יעד בהתבסס על כל מספר של אילוצים מלאכותיים. בהתגלמויות מסוימות, טשטוש נקבע על סמך צמצם של המצלמה, בעוד שדוגמה אחרת מגדירה את הטשטוש בהתאם לכמות המיקוד הדרושה כדי להציג בבירור אובייקט בגודל מסוים במרחק נתון. ניתן ליישם טבלת חיפוש גם כדי לשכפל את המראה של מצלמת SLR.
טשטוש נכון הוא הרוטב הסודי של תכונת Portrait Mode של אפל, והחברה לא פירטה באילו דגמים או שיטות טשטוש נעשה שימוש כדי ליצור את הבוקה הקרמי שלה. בקשת הפטנט מאפשרת כל מספר אפשרויות של פונקציית טשטוש, כולל גודל למרחק מיקוד נתון, מרחק אובייקט וגודל צמצם, כלומר הוא יכול לחקות מגוון רחב של שילובי SLR/עדשות.
חשוב לציין, השיטה דורשת יישור של מחסנית הפוקוס כך שכל פיקסל בכל מסגרת יהיה בשורה נכונה עם פיקסלים מתאימים במסגרות אחרות. כאשר כל הפיקסלים מיושרים, אלגוריתם הדמיה מיוחד מסוגל לקבוע נקודות או מישורי מיקוד באמצעות זיהוי קצוות, מדדי חדות או כל טכניקה דומה. לעומת זאת, המערכת מסוגלת לזהות פיקסלים ברקע בעומקים שונים ולבחור אותם אם הם תואמים לטשטוש מטרה. זה מסביר את היכולת של מצב דיוקן לנתח פרטי אובייקט זעירים כמו שיער מהרקע.
תמונת הפלט הסופית מורכבת משטיח של פיקסלים שנדגמו ממסגרות שונות בתוך ערימת המיקוד, וככזו, בהגדרות מיקוד שונות. לחלופין, אם אין פיקסלים בערימת הפוקוס תואמים לרמת טשטוש המטרה, ניתן לשלב שתי תמונות או יותר, לערבב או לשלב אחרת כדי להשיג את האפקט הרצוי.
המסמך נותן אמון בתיאוריה לפיה היישום של היום הוא אכן הבסיס של מצב דיוקן, המסמך ממשיך ומסביר שהגדרות מרובות מצלמות הן אידיאליות לתצוגה מקדימה של עומק שדה מדומה. אפל מציינת שניתן להשתמש במערכת מצלמות עדשה אחת כדי ללכוד את ערימת הפוקוס, אם כי מערכי עדשות מרובות כמו הזווית הרחבה והמודולים הטלסקופיים המופעלים באייפון 7 פלוס מציעים סט דוגמאות מגוון יותר. עם שתי עדשות, למשל, המערכת יכולה לצלם שתי תמונות בו-זמנית, ולאחר מכן להשוות טשטוש כדי להוציא נתוני מפת עומק.
בדוגמה אחת, תמונות חיות ממצלמה טלסקופית עשויות לשמש כדי להתמקד בנושא, בעוד שמצלמה בזווית רחבה אוספת פריימים לערימת המיקוד. מימוש דומה מאוד, אם לא זהה, מופעל עם מצב פורטרט. יתר על כן, הפטנט עוזר להסביר כיצד iOS מסוגלת לקבוע מתי הנבדקים קרובים מדי לעדשת האובייקטיב (מצב דיוקן מגיע עם מגוון התראות, כולל אחת לקרבת הנושא).
מעניין לציין שההמצאה כוללת תנאים להתאמה ידנית של מיקוד הרקע, תכונה שעדיין לא זמינה לבעלי אייפון. בצורתו הנוכחית, מצב דיוקן מתאים אוטומטית את רמות המיקוד כדי להשיג בדיוק את הכמות הנכונה של טשטוש טבעי למראה.
האם הגשת הפטנט של היום מכסה לחלוטין את מצב דיוקן לא ברור, אם כי מספר פרטים כמובן עשו את דרכם למוצר הסופי. באשר לטכניקות שהוזכרו במסמך, אך טרם ראתה יישום, ייתכן שאפל תשמור את התכונות לעדכון iOS עתידי. לחלופין, פונקציות כמו טשטוש מתכוונן ידני עלולות לצוץ באייפון עתידי.
בקשת הפטנט של אפל המכסה השפעות עומק שדה הוגשה לראשונה בספטמבר 2015 וזוכה לזכותו של תומאס א. בישופ, אלכסנדר לינדסקוג, קלאוס מולגורד ופרנק דופקה כממציאים שלה, כולם מהנדסים פנימיים.
