ניתוח מה משתמש מסתכל עשוי לעזורזכוכית תפוחאו אאוזניות ARשפר את הביצועים שלו בעיבוד וידאו, על ידי שימוש במבט כדי לתעדף אלמנטים של הזנת מצלמה לניתוח.
מערכות מציאות רבודה מסתמכות על איסוף נתונים על הסביבה על מנת לספק טוב יותר תמונת מציאות מעורבת למשתמש. עבור רוב האנשים, זה מסתכם במידה רבה בלקיחת הזנת מצלמה חיה מקרוב לעין של המשתמש, מניפולציה דיגיטלית ואז הצגתה למשתמש במצבו המשתנה, אם כי זה יכול לכסות גם סוגי נתונים אחרים כמו מיפוי עומק.
עם מערכות VR ו-AR רבות המשתמשות באוזניות קשורות למחשב מארח, הצורך הזה להכניס נתונים על הסביבה יכול לגרום לבעיה, מכיוון שיש רק כל כך הרבה נתונים שאתה יכול להעביר דרך החיבור הזה בכל פעם. השיפורים במצלמות לאורך השנים, כולל רזולוציות גבוהות יותר וקצבי פריימים, פירושו שיש עוד יותר נתונים לנתח ולעבד, ואולי יותר מדי עבור החיבור הזה.
יש גם את משאבי העיבוד שיש לקחת בחשבון, מכיוון שככל שיש יותר נתונים, ייתכן שיהיה צורך בעיבוד רב יותר כדי ליצור את תמונת ה-AR.
בפטנט שניתן על ידי משרד הפטנטים והסימנים המסחריים של ארה"ב ביום שלישי בשם "סינון מקדים אדפטיבי של נתוני וידאו המבוסס על כיוון מבט", אפלניסיונות להילחםבעיית הכניסה על ידי צמצום נתוני הווידאו שיש לעבד לפני שהעיבוד הראשי מתרחש.
בקיצור, הפטנט מציע שהאוזניות יכולות לצלם תמונה של הסביבה ולהחיל כמה פילטרים על הסצנה, כאשר כל אחד מהם מכסה אזורים שונים של מסגרת הווידאו. מסננים אלה, הקובעים את הנתונים המועברים למארח לצורך עיבוד, ממוקמים על סמך מבטו של המשתמש, כמו גם נקודות נתונים טיפוסיות של AR ו-VR כמו מיקום ראש ותנועה.
שכבות הנתונים המסוננות נשלחות אל המארח, בין אם זה באמצעות חיבור או אלחוטי, אשר לאחר מכן מעובד ומוזן בחזרה לאוזניות להצגה. לאחר מכן הלולאה חוזרת על עצמה.
ההיגיון מאחורי זה הוא שלא כל הנתונים שנקלטים על ידי מצלמה נחוצים בהכרח כדי לעבד את מה שהמשתמש רואה בפועל. בעוד שהמשתמש פונה לכיוון, עיניו עשויות להיות מופנות לצד אחד, מה שהופך את עיבוד התוכן בצד השני של המבט שלו לחסר טעם.
איור של אפל לתצוגה מותקנת בראש שיכולה לנטר את מבטו של המשתמש והסביבה המקומית.
המערכת של אפל דורשת לזהות את המבט ואז להחיל את נקודת הנתונים על המסגרת של נתוני התמונה. קבוצות משנה מרובות של נתונים יכולות להגדיר צורות וגדלים שונים של התמונה שניתן לתעדף, עם קטעים שהמשתמש מסתכל עליהם באופן פעיל מתחת לקבוצת המשנה הראשית בעוד שגרסה משנית גדולה יותר מכסה את האזור שמסביב.
תת-הקבוצה הקטנה והעיקרית תזכה לעדיפות עיבוד, עקב הסתכלות פעילה על ידי המשתמש. תת-הקבוצה המשנית הרחבה יותר עשויה לדרוש פחות עיבוד בגלל היותה בפריפריה של המשתמש, ולכן היא פחות חשובה. ייתכן שגם נתונים משניים אלו לא יועברו באיכות מלאה למארח, מכיוון שהם אינם חשובים כמו תת-קבוצת הנתונים העדיפות.
בעיבוד התמונה הסופית עבור המשתמש, הנתונים יכולים להחיל מסננים נוספים כדי לחבר אותם ביעילות בצורה הכי לא פולשנית שאפשר. למעשה, המערכת תטשטש את הקווים בין תת-קבוצת המשנה האיכותית הראשית לקבוצת המשנה של הפריפריה באיכות נמוכה יותר, ושאר הזנת המצלמה שעליה היא עוטה באפליקציית AR.
מרכז המבט של המשתמש יוצג במלואו, עם עיבודים באיכות נמוכה יותר רחוק יותר.
זיהוי המשנה לא בהכרח חייב להיווצר במכה אחת. אפל מציעה את האפשרות שתת-הקבוצה הראשית יכולה להיווצר לאחר שהפריים הראשון של נתונים חזותיים נוצר על-ידי מצלמות, אך ניתן לקבוע את אזורי המשנה המשניים במהלך יצירת הפריים השני.
יתר על כן, נתוני זיהוי מבט המשויכים למסגרת השנייה יכולים ליידע את אזורי המשנה המשניים בפריים הראשון לעיבוד. זה יהיה שימושי במקרים שבהם עיניו של משתמש זזות, מכיוון שהדבר עלול לרכך את ההשפעות הלא רצויות של שינוי נקודת המבט עבור המשתמש והמערכת צריכה להתעדכן ולהציב נתונים בשדה הראייה שלו.
הפטנט מפרט את ממציאיו כקאן ג'ין, ניקולס פייר מארי פרדריק בונייר והאו פאן. זה הוגש במקור ב-19 ביולי 2018.
אפל מגישה בקשות פטנט רבות על בסיס שבועי, אך בעוד שקיומה של הגשה מצביע על תחומי עניין עבור מאמצי המחקר והפיתוח של אפל, הן אינן מבטיחות את השימוש בהן במוצר או בשירות עתידי.
על פי השמועות אפל עובדת על צורה כלשהי שלאוזניות AR או VRבמשך לא מעט שנים, עם עיקר הספקולציות האחרונות יותר סביב מה שמכונה "אפל גלאס". עלולה להיות צורה של אוזניות AR, ואולי משקפיים חכמים בהמשך, השמועות רומזות שזה יכול ללבוש צורה של משקפיים הדומים בגודלם למשקפיים טיפוסיים.
מטבע הדברים, אפל הגישה בקשות רבות לפטנטים הנוגעות לתחום, אך אחת שדומה מאוד בתפיסת הליבה היא זו של "תצוגה מודגשת" מיוני 2019. ביישום זה, אפל הציעה שיכולה להיות דרך לשפר את ביצועי העיבוד והעיבוד של תצוגת אוזניות על ידי הגבלת כמות הנתונים המעובדים.
במקום להגביל את הנתונים המגיעים למכשיר המארח, התיוק עוסק בהעברת הנתונים לתצוגה. באופן דומה לקבוצות המשנה של הנתונים, אפל מציעה שני זרמי נתונים שונים יכולים לשמש את התצוגה, המורכבת מתמונות ברזולוציה גבוהה וברזולוציה נמוכה.
באמצעות זיהוי מבטים, המערכת תציב רק תמונות ברזולוציה גבוהה במקום שבו המשתמש מסתכל, ואחריה נתונים ברזולוציה נמוכה יותר עבור האזורים הסובבים. על ידי כך, לתצוגה עצמה יש פחות נתונים איתם היא צריכה להתמודד בעת עדכון כל רענון, מה שיכול לאפשר שימוש בקצבי רענון גבוהים יותר.
