אפל עובדת על AR ו-VR כבר שנים, וזה ישתלם במשקפיים החכמים של 2020

העבודה של אפל במציאות מדומהותחום המציאות הרבודה יצר מספר לא מבוטל של פטנטים ויישומים, מה שעלול להוביל ליצירה בסופו של דבר של האוזניות הראשונות של יצרנית האייפון. AppleInsider בוחן כמה מהמסמכים של החברה, כולל אלה המשתמשים בטכנולוגיה הרחק מתצוגה מותקנת בראש.

דיווחים לאורך השנים העלו ספקולציות על כך שאפל מייצרת צורה כלשהי של אוזניות אומשקפיים חכמותשמשתמשים במציאות רבודה או במציאות מדומה. דיווחים מוקדמים העלו שהחומרה עשויה להגיעבשנת 2021, בעוד הערת משקיע מ-Ming-Chi Kuo מצביעה לעבר אהשקה ב-2020, אבל בסופו של דבר זה אומר שאין כל כך הרבה זמן לחכות עד שאפל תשיק מוצר בחלל, לפחות בתיאוריה.

אותן שמועות מצביעות על שימוש בטכנולוגיותכמו WiGigלהתחבר לאייפון קרוב או למכשיר מארח אחר כדי ליצור אוזניות קלות משקל, ולשימוש בצג 8K לכל עין לחוויית משתמש אופטימלית.

בעוד שהשמועות מציעות ספקולציות המבוססות על מחשבותיו של הכותב, אחת הראיות הבודדות המאשרות שאפל פועלת בתחום הגרפיקה היא קיומם של פטנטים רבים. מגוון יישומים ופטנטים מוענקים צצו במהלך השנים, ומראים לא רק כיצד אפל מתכוונת לייצר תוכנות ואפליקציות המיועדות לחוויות AR ו-VR, אלא גם מרמזים על עיצובי חומרה ויישומים רחוקים יותר מהאוזניות בלבד.

חוּמרָה

אמנם יש ויכוח על איזו צורה יקבל האוזניות או המשקפיים, אבל פטנטים ויישומים מגלים שאפל עובדת על פתרון רבות מהבעיות הקטנות אך המכריעות שרבות מקטגוריות המוצרים השונות נתקלות בהן, הן גדולות והן קטנות בקנה מידה.

מרץ 2018הגשת פטנטיםשפורסם על ידי משרד הפטנטים והסימנים המסחריים של ארה"ב עבור "מסכים עם מצבי סריקה מרובים" מציע כיצד ניתן לייעל את רכיב התצוגה של דיבורית אוזניות כדי לאפשר למסך להתרענן במהירות גבוהה ככל האפשר, בעיה המורכבת ברזולוציות גבוהות יותר. למספר הפיקסלים במשחק.

על ידי עדכון רק קטעים של תצוגה שדורשים שינויים, לאוזניות יש פחות עבודה לבצע, ולצמצם את האפשרות של חפצי תצוגה שעלולים להרוס את החוויה למשתמשים.

החוויה הוויזואלית חשובה מספיק כדי להצדיק ניטור מוגבר של המשתמש, על מנת לקבל דברים מושלמים ככל האפשר. יישומים צצים פנימהאפריל 2018עבור "מערכת מעקב עיניים", במילים פשוטות, מנסה לעקוב אחר עיניו של המשתמש, כולל תנועות ותנוחות ביחס לתצוגה, משהו שלא עוקבים אחרי אוזניות מהדור הנוכחי.

מעקב עיניים יציע כמה יתרונות נוספים, כולל היכולת לספק אפקט עומק שדה מציאותי יותר על ידי ידיעה היכן מסתתר המבט של המשתמש. ניתן גם להציע אינטראקציה מבוססת מבט, כגון הנפשת חלקים מסצנה כאשר משתמש מסתכל על האלמנט הזה, מבלי בהכרח להסתכל ישירות אליו.

דוגמה למעקב עיניים רפלקטיבי באיור פטנט אחד

הפתרון של אפל בולט בכך, בעוד שמעקב עיניים טיפוסי מסתמך על מיקום מול העיניים לצורך ניטור מיטבי, אפל מסתמכת על מראות וחלקים אחרים כדי לקרב את חומרת מעקב העין לראשו של המשתמש. באופן כללי, ככל שהמשקל רחוק יותר מהמשתמש, כך ניתן היה להרגיש יותר לחץ על הפנים, מה שהופך את השימוש לא נוח לאורך זמן.

עדכנית יותרבקשה לפטנטעבור "תצוגה מותקנת בראש עם מנגנון כוונון" מנסה לפתור את נושא נוחות המשתמש, באמצעות הידוק ממונע של סרט ראש ושלפוחיות מתנפחות על דיבורית קשיחה לקיבוע התצוגה במקומה על הגולגולת במינימום תנועה.

המערכות יכולות להיות אוטומטיות, כגון על ידי הידוק הרצועה אם היא מזוהה כחלקה או אם המשתמש עובר תנועה מהירה. כמו כן מובא מעקב עיניים, כאשר זיהוי עיני המשתמש משמש כמדידה למיצוב מיטבי של האוזניות, שוב עם התאמות אוטומטיות המבוססות על מיקום העין ביחס למיקומן האידיאלי.

הקופסה מאחור משמשת להפעלת מתח על הרצועה על ידי מנוע חשמלי

במקביל, בקשת פטנט נוספת ל"רגולציה תרמית לתצוגה מותקנת בראש" נראתה לפתור את בעיית ייצור החום. רכיבים כגון צגים מסוגלים להוציא כמויות גדולות של חום, מה שעלול לגרום לא רק לבעיות עבור רכיבים אחרים בתוך האוזניות, אלא גם עבור המשתמש עצמו.

הפתרון של אפל הוא פשוט יחסית, המורכב מאווררים ופתחי אוורור להעברת אוויר דרך התא בו נמצאים הרכיבים. במקביל, ניתן לשאוב אוויר לאוזניות דרך אטם הפנים, ומסתיר את הצורך בכניסות אוויר נפרדות.

העברת האוויר עשויה גם להועיל למשתמשים, מכיוון שהאוויר עלול להיות חם מדי או בעל לחות שאולי המשתמשים לא יאהבו שעיניהם נחשפות אליה לתקופות ארוכות. שוב, אפל מציעה להשתמש במאוורר כדי להזרים את האוויר באזור זה, כזה שניתן להפעיל באופן אוטומטי על ידי טמפרטורת הרכיב, הלחות, טמפרטורת העור של המשתמש ואפילו רמת ההזעה.

בצד ה-VR של הדברים, בקשת הפטנט של אפל ממרץ 2018עבור "מערכת מציאות וירטואלית חזויה" כוללת מערכת רזולוציה כפולה המפיקה גם תמונה ברזולוציה גבוהה במקביל לגרסה ברזולוציה נמוכה יותר.

בתיאוריה, אפשרות הרזולוציה הנמוכה תהיה זמינה בכל עת, אך בהנחה שהתמונה ברזולוציה גבוהה תהיה מוגבלת בהשוואה בשל עלות העיבוד הנלווית. הגרסה הנמוכה תוצג באזורי החזון של המשתמש בזמן שהגרסה ברזולוציה הגבוהה מעובדת, מה שמאפשר למשתמשים עדיין לקבל מושג כללי על הסביבה שלהם. זה גם יאפשר לשמור את התמונה הגבוהה לאזורים בתמונה שבהם הפוקוס של המשתמש נמצא, כאשר הגרסה הנמוכה משמשת עבור השאר.

תמונת פטנט המראה היכן ניתן למקם חיישנים רבים לניטור בתוך ומחוץ לאוזניות

במקביל, "מערכת התצוגה בעלת חיישני עולם ומשתמש" מציעה דיבורית עם שפע של מצלמות וחיישנים אחרים בתוך המארז ומחוצה לו. החיישנים בפנים היו מנטרים את המבט, ההבעות ותנועת הראש, בעוד שגרסאות חיצוניות היו עוקבות אחר החדר, מייצרות מספר צפיות וידאו בשידור חי לעיבוד, ויכולות אפילו לזהות תנועות ידיים של משתמש מתחת לאוזניות.

דוגמה ל'משקפיים' שיש להם מקום להכניס אייפון כתצוגה

תביעה שלישית שעלתה אז היא הצלבה בין האוזניות הנוכחיות בסגנון Google Cardboard לבין משקפיים חכמות, כאשר "מכשיר תצוגה מותקן על הראש לשמירה על מכשיר אלקטרוני נייד עם תצוגה" מתייחס למעשה למשקפיים שיכולים להחזיק אייפון או דומה. הֶתקֵן.

בצורת משקפיים ממוגנים, האייפון ייכנס לחזית, יישר קו עם עיני המשתמש ומתחבר ליציאת Lightning. חורים יאפשרו למצלמה האחורית לראות את העולם, כמו גם אחרים עבור פלט קול ואוורור.

המשקפיים מתוארים גם עם אוזניות מובנות, שלט רחוק לאינטראקציות וכפתורי צד לשליטה ידנית.

תמונת בקשת פטנט של אפל המציגה נקודות הרכבה פוטנציאליות עבור יחידות חיישני אצבעות

למרות שאינה מחוברת ישירות ל-AR ו-VR, אפל שקלה גם כיצד משתמשים יכולים לקיים אינטראקציה עם אובייקטים וירטואליים, כאשר דוגמה מרכזית היא מכשיר לבישהתקן קלט דמוי כפפהשיכול לספק בקרות מחוות ומשוב הפטי.

יישומים

בעוד שהחומרה משחקת חלק חשוב בתוכניות של אפל, ניתן לומר את אותו הדבר לגבי תוכנה. בעוד ARKit היא התחלה מצוינת, המאפשרת למפתחים להוסיף בקלות תוכן AR לאפליקציות שלהם, אפל בוחנת דרכים להרחיב את השירות שלה, הן עבור אוזניות והן עבור מכשירים.

באוקטובר 2017, משטח טריבקשה לפטנטמפורט כיצד לשנות באופן דינמי תמונות ולהציג אותן, ונתוני טקסט, למשתמשים בזמן אמת. ספציפית הפטנט מתייחס לאוזניות, בהן יידרש עיוות של תמונה כדי להתאים לתצוגה, הן עבור סטילס והן עבור תמונות נעות.

עיוות הוא בעיה שהועלתה בבקשת פטנט אחרת שזוהתהאוגוסט 2018. "עיבוד של נתוני אובייקט מלבניים כדי לפצות על עיוות על ידי הקרנות כדוריות" הסביר כיצד לתקן שגיאות ובעיות בעת שילוב של סרטונים שהופקו על ידי אסדות מצלמות של 360 מעלות.

מתקן מצלמה 360 מעלות באמצעות מצלמות מרובות

במקום להתייחס לסרטונים כתמונה גדולה, המקודד מפצל סרטון לקוביות פיקסלים, אשר מטופלים בצורה שונה בהתאם למקום בו הוא נמצא בסצנה, וכן היכן הוא היה נמצא ב"תצוגה" של המשתמש אם הם היו. מסתכל בכיוון הזה. בלוקים של פיקסלים בקו המשווה יטופלו בצורה פשוטה יותר מאלו שבחלק העליון או התחתון של הכדור.

אאפריל 2017בקשת פטנט על "שיטה ומכשיר להמחשת אובייקט וירטואלי בסביבה אמיתית" הסבירה כיצד לנצל תמונות של תפיסת העולם האמיתי של מכשיר כדי לגרום לאובייקט וירטואלי להיראות כאילו הוא יכול להיות פריט פיזי המוצב בעולם . אלמנטים של זה הפכו לחלק מהאופן שבו ARKit יכול לעבד אובייקטים הממוקמים בתצוגת המצלמה כדי להפוך אותו למציאותי ככל האפשר.

פנייה מתוכן ויצירת אפליקציות לבקשות עצמן, בקשת פטנט אחת מאתמרץ 2018שכותרתו "מערכת 3D Document Editing" מטפלת בסוגיית יצירת מסמכים בתוך חלל VR או AR. באמצעות אוזניות, אפל צופה עורך תלת מימדי עבור טקסט תלוי באוויר, עם טקסט בעל עומק כמו גם תכונות רגילות אחרות.

אמנם זה יכול להיחשב "Word, אבל בתלת מימד", אבל יצירת מסמכים ב-VR יכולה להציע כמה יתרונות, כמו הפיכת אלמנטים לבולטים יותר למשתמש על ידי קירוב הפריטים למשתמש יותר מאשר לשאר המסמך.

קונספט עורך מסמכים תלת מימד של אפל

ניווט הוא תחום שאפל מאמינה שהוא באמת חשוב לקבלה של AR, עם כמה פטנטים ויישומים שמנצלים את המאפיינים שלו. אחד מינואר 2017מספר על מכשיר נייד שיכול לזהות את סביבתו ולספק מידע למשתמשים על פריטים בזמן אמת, כמו ציורים בגלריה לאמנות.

במקום פשוט לקבוע את מיקומו של המשתמש בבניין, המערכת תזהה באופן פעיל אילו פריטים בקרבת מקום נמצאים במצב סריקה ברירת מחדל בצריכת חשמל נמוכה, לפני שהיא תעלה למצב של הספק גבוה כדי להוריד ולהציג תוכן AR קשור על פריט . מעקב אופטי באמצעות מצלמה אחורית אחת יעזור לתת את הרושם של נתוני AR קבועים במקום, לפחות בתצוגת המצלמה.

אניתן פטנטבפברואר 2019 עבור "שיטה לייצוג נקודות עניין במבט של סביבה אמיתית במכשיר נייד ובמכשיר נייד עבורו" מציעה תצוגת AR המכסה על סביבת המשתמש. במקרה זה, אפל מתייחסת בעיקר לקונספט של ניווט כללי, הנחת נקודות עניין ונתונים משויכים בתצוגת המצלמה, מה שמאפשר למשתמשים לדעת בערך היכן נמצא המקום ביחס למיקום שלהם.

תמונה מתוך בקשת הפטנט לסריקת אובייקטים

שוב, תצוגת מצלמה תשמש כדי לקבוע נקודות עניין שניתן לראות, ולכן אילו נתונים ניתן להציע למשתמשים.

יש לציין שהפטנט לא חל רק על ניווט כללי על פני שטח גדול, כמו עיר, אלא גם על מקומות נגישים יותר באופן מיידי. מוצע שמערכת כזו יכולה להציע פרטים על המאפיינים העיקריים של המכונית כשהיא באולם תצוגה, על ידי הדגשת תחומי עניין בעת ​​בניית לוח המחוונים. זה אפילו יכול לשמש את המשתמשים כדי ללמוד על דברים בתוך הבית שלהם, כגון מיקום האייפון שאבד.

בפטנט זה, אפל גם מציעה שניתן יהיה להשתמש בו עם משקפיים חכמים עם "תצוגה חצי שקופה" כמו גם מכשירים ניידים, כאשר משתמשים יכולים לראות את מחווני ה-AR המוצבים על פני השקפת העולם האמיתי שלהם על סביבתם.

ממחיש כיצד מערכת נקודת העניין יכולה לעבוד במשקפיים חכמות היפותטיות

במכונית

בעוד שמכשירים ניידים ואוזניות הם מקומות ברורים ל-VR ו-AR, אפל בחנה גם תחומים רחוקים יותר שבהם הטכנולוגיה יכולה להיות שימושית. כזו שמצליבה את עבודתה בהנדסת רכב.

הבחין באפריל 2018, בקשת הפטנט על "תצוגת מציאות רבודה של רכב אדפטיבי תוך שימוש בדימויים סטריוגרפיים" מסבירה כיצד מערכת AR בתוך מכונית יכולה לספק לנהגים ולנוסעים מבט חלופי על הכביש שלפניו. באמצעות נתונים על מסלולים, נקודות עניין, חיישנים משולבים ואלמנטים אחרים, המערכת תוכל להציע פריטים כמו הנוף של המסלול מעבר להרים ובניינים המסתירים את הנוף של המשתמש, או תצוגה משופרת של הכביש במצב ערפילי או אחר תנאי ראות נמוכה.

דוגמה למבט שנוצר על ידי מחשב של הכביש לפני רכב

שינוי מכריע בשאר הפטנטים והיישומים הוא שאפל רואה בדעתו שהמידע לא יוצג בהכרח על אוזניות או משקפיים. ניתן להציג את המידע כשכבת AR עבור השמשה הקדמית, תוך שכבת-על את מראה הכביש של הנהג עצמו.

לאפל יש תחומי עניין אחרים של כלי רכב, תחת ראש התורן "פרויקט טיטאן," שכולל רכבים נהיגה עצמית המכוסים בחיישנים שיוכלו לנטר את הסביבה. הוא אמנם מרוכז סביב כלי רכב בנהיגה עצמית, אבל העבודה של אפל בתחום הובילה לפטנטים טכנולוגיים רבים אחרים שנועדו לשפר את הנהיגה, עם תצוגת ה-AR להיות אחד מהם.

למרות שמועות כמעט כמו משקפי ה-AR האגדיים, נותר לראות כיצד Project Titan ישתנה ויהפוך למוצר צריכה, אם בכלל.