אפל קיבלה ביום שלישי צמד פטנטים שמתארים יחד מערכת מציאות רבודה ניידת המסוגלת לזהות את סביבתה ולהציג מידע וירטואלי שנוצר למשתמשים בזמן אמת.
כפי שפורסם על ידי משרד הפטנטים והסימנים המסחריים בארה"ב, הפטנט האמריקאי של אפלמס' 9,560,273קובעת את מסגרת החומרה של מכשיר מציאות רבודה עם יכולות ראייה ממוחשבת משופרות, תוך פטנט אמריקאימס' 9,558,581מפרט שיטה מסוימת של שכבת-על מידע וירטואלי על גבי סביבה נתונה. יחד, פתרונות החומרה והתוכנה יכולים לספק הצצה לשאיפות ה-AR של אפל.
שני הפטנטים הוגשו במקור על ידי מומחה ה-AR הגרמני Metaio זמן קצר לפני שאפל רכשה את החברהבשנת 2015. לאחר מכן בקשות לפטנט USPTO, ה-IP הוקצתה לאפל בנובמבר האחרון.
הפטנט '273 ל"מערכת מידע לבישה שיש לפחות מצלמה אחת" מדמיין מכשיר עם מצלמה אחת או יותר, מסך, ממשק משתמש ורכיבים פנימיים המוקדשים לראייה ממוחשבת. בעוד שתצוגות מותקנות בראש מוזכרות כפלטפורמות אידיאליות להמצאת ה-AR הנוכחית, ההגשה מציעה גם כי סמארטפונים יכולים לשמש כסטנד-אין מתאים.
בבסיסו, התיוק עוסק יותר בזיהוי אובייקטים יעיל יותר מאשר בהדמיה של שכבות-על של נתוני AR. התכונה הראשונה היא אולי המחסום הטכני הגדול ביותר לאימוץ רחב של AR. בפרט, פתרונות התאמת תמונות קיימים כמו אלה המופעלים במערכות אבטחה לזיהוי פנים צורכים כמות גדולה של חשמל ובכך רואים שימוש מוגבל בעולם האמיתי.
איור של מערכת AR לבישה.
עם זאת, הפטנט של אפל הולך רחוק יותר משליטה פשוטה במכשיר, שכן הוא מפרט שיטה חסכונית לניטור סביבת המשתמש ומתן מידע על אובייקטים שזוהו. לדוגמה, הטכנולוגיה עשויה לשמש כחלק מאפליקציית סיורים מודרכים, סורקת ומספקת מידע על חפצים מעניינים בזמן שמבקר מסתובב במוזיאון.
כדי להשיג מפרטי צריכת חשמל המתאימים למכשיר נייד, ההמצאה שומרת על מצב סריקה בצריכת חשמל נמוכה עבור רוב זמן הפעולה שלה. מצבי הספק גבוה מופעלים בפרצים קצרים, למשל בעת הורדה והצגת תוכן AR או אחסון דגמי ראייה ממוחשבת חדשים בזיכרון המערכת.
המסמך צולל עמוק לתוך אתחול של מעקב אופטי, או קביעה ראשונית של מיקום וכיוון המצלמה. היבט אינטגרלי של AR, אתחול נחשב לאחד המכשולים הקשים ביותר של הטכנולוגיה להתגבר עליהם.
אפל מציינת שניתן לחלק את התהליך לשלושה אבני בניין עיקריות: זיהוי תכונות (חילוץ תכונות), תיאור תכונות והתאמת תכונות. במקום להסתמך על שיטות מחשוב חזותיות קיימות, אפל מציעה טכניקה אופטימלית חדשה המיישמת חומרה ייעודית ונתונים שנלמדו מראש.
התגלמויות מסוימות דורשות מעגל משולב שמנהל את כל תהליך הזיהוי וההתאמה של התכונות. סיוע נוסף לתהליך הוא הסתמכות על תמונות בעוצמה, או תמונות המייצגות כמויות שונות של אור המוחזר מהסביבה, תמונות עומק או שילוב של השניים.
תמונות שצולמו על ידי מכשיר משתמש מוצלבות מול מתארים במסד נתונים מובנה או מחוץ לאתר, שבעצמו ניתן לעדכן כל הזמן. מיקום רכיבים, חיישני תנועה מובנים וחומרה אחרת יכולים לצמצם עוד יותר את הזהות האפשרית של אובייקט.
מעניין לציין שההמצאה מציינת שתמונות עומק, שמביאות לקביעת אובייקט טובה יותר, דורשות הגדרה של שתי מצלמות. במקרה, אפל הציגה בשנה שעברה עיצוב של שתי מצלמות עם אייפון 7 פלוס.
אפל גם בנתה פונקציונליות של זיהוי עומק באייפון הדגל האחרון שלה עם מצב דיוקן, תכונה שמשתמשת באלגוריתמים מורכבים של ראיית מחשב ומיפוי עומק כדי ליצור סדרה של שכבות תמונה. מצב המצלמה מחדד באופן אוטומטי שכבות מסוימות, במיוחד אלו המכילות את נושא התמונה, ומבטל באופן סלקטיבי את המיקוד של אחרות באמצעות טכניקת טשטוש מותאמת אישית.
התגלמויות נוספות של הפטנט של היום נכנסות לפרטי פרטים לגבי זיהוי אובייקטים, תיאור והליכי התאמה, בעוד שאחרות מתארות יישומים פוטנציאליים כמו עוזר מדריך הטיולים שהוזכר לעיל. מקרי שימוש אפשריים נוספים כוללים נכסי ניווט פנימיים.
הפטנט של אפל '581, שכותרתו "שיטה לייצוג מידע וירטואלי בסביבה אמיתית", מקורו גם הוא במעבדות של Metaio וחושף שיטה לתיוג נקודות עניין בסביבת AR. ליתר דיוק, ה-IP לוקח בחשבון את תפיסת החסימה בעת שכבת מידע וירטואלי על אובייקט בעולם האמיתי.
לדוגמה, משתמש הצופה במפת עיר AR בתצוגה שקופה (או במסך של סמארטפון המתאר הזנה חיה ממצלמה הפונה לאחור) מעלה מידע המתייחס למבנים סמוכים או לציוני דרך. מערכות AR קונבנציונליות עשויות לכסות תוויות, תמונות, אודיו ומדיה אחרת ישירות על POI, ובכך לחסום אותו מהעין.
כדי לפצות על חסרונות במערכות ראייה ממוחשבת, אפל מציעה שימוש במודלים של גיאומטריה, חישת עומק, נתוני מיקום וטכנולוגיות מתקדמות אחרות שאינן נראות בדרך כלל בפתרונות ה-AR הנוכחיים.
החלת מודלים דו-ממדיים ותלת-ממדיים מאפשרת למערכות כאלה לקחת בחשבון את נקודת המבט של המשתמש ואת המרחק שלו מה-POI, מה שבתורו מסייע בהדמיה נכונה של תוכן דיגיטלי. חשוב לציין, התהליך מסוגל לחשב קרן בין נקודת הצפייה לתיבת מידע וירטואלי או נכס. קרניים אלו מוגבלות על ידי גבולות הקשורים לקירות ה"חוץ" וה"פנים" של POI.
שוב, הפטנט של אפל מסתמך על מערכת שתי מצלמות ליצירת מפת עומק של הסביבה הקרובה של המשתמש. עם הפטנט '581, מפת עומק זו משמשת ליצירת המודלים הגיאומטריים שעליהם מוצמדים נתונים וירטואליים.
לא ידוע אם לאפל יש תוכניות לשלב אחד מהפטנטים של היום במוצר צרכני למשלוח, אבלהולכת וגוברת ראיותמציע שהחברה עוברת לשחרר טעם כלשהו של מערכת AR. מצלמת האייפון 7 פלוס בעלת החיישנים הכפולים היא ככל הנראה המפתח לפאזל ה-AR של אפל, מכיוון שרבים מהפטנטים הנוכחיים והקודמים מסתמכים על טכנולוגיית חישת עומק כדי ליצור ולהציג נתונים וירטואליים.
פטנט זיהוי האובייקטים של אפל הוגש לראשונה בפברואר 2014, מייחסים את הקרדיטים לשעבר של ה-CTO של Metaio, פיטר מאייר, ומהנדס העיצוב הבכיר תומס סברין כממציאים. פטנט תיוג AR הוגש ביוני 2014 וזוכה לממציאים מאייר, ליג'ינג וואנג וסטפן מיסלינגר.
