איך אייפון X TrueDepth AR של אפל הלך לפני הטנגו של גוגל

iOS 11 של אפל מביא את המציאות הרבודה לבסיס מותקן ענק של למעלה מ-350 מיליון מכשירי iOS עם שבבי A9, A10 Fusion או A11 Bionic רבי עוצמה. עם זאת, צורה אחרת של AR עומדת להיות מוצגת, בלעדית לאייפון X החדש של החברה. הנה מבט מעמיק יותר על הפתעת ה-AR הגדולה של אפל.

ARKit על הפנים שלך עם מצלמת TrueDepth

בעוד הפלטפורמה הקיימת של אפל עבור ARKit ב-iOS 11 מכוונת לבסיס מותקן עצום שלדגמי אייפון ואייפד עם מצלמה אחת, החברה גם עומדת לשחרר משהו שלא יהיה לאף טלפון אנדרואיד בטווח הקצר: אמצלמת עומק קדמיתמסוגל לבצע אפקטי AR מתוחכמים עוד יותר.

באייפון X, אפליקציות ARKit יכולות לנצל את מצלמת ה-TrueDepth שלה כדי להפוך את פניו של המשתמש למשטח שבו נבנית גרפיקה תלת-ממדית. זה משתמש בגיאומטריית הפנים כדי לעקוב אחר התנוחה של המשתמש, צורת הפנים וההבעה שלו, מה שמאפשר Animoji (להלן),אפקטי תאורת דיוקן, מסכות ואווטרים; למעשה, עומק חדש ומתוחכם מאוד של אפקטי AR עבור המצלמה הקדמית.

במקום רק לשים שכבת שיפור על גבי תמונה, מעקב פנים ב-ARKit מזהה את פניו ותנועותיו של המשתמש ועוקב אחר מיקום באמצעות מערך המצלמות שלו וחיישני התנועה עם 6 הצירים של הטלפון. זה יכול לשמש ליצירת "אפקטי סלפי" כמו איפור וירטואלי או קעקועים, שיער פנים, משקפיים, תכשיטים או כובעים. זה יכול לשמש גם לביצוע "לכידת פנים", שלוקח הבעות פנים בזמן אמת כדי להנפיש מודל תלת מימד כמו אווטאר של דמות.

הרמה החדשה של טכנולוגיית AR מבוססת מצלמות עומק של אפל תתחיל לבנות פלטפורמה של עשרות מיליוני משתמשי אייפון X בדיוק בזמן שה-ARCore של אנדרואיד מטפטפת את ה-AR הבסיסי של מצלמה יחידה לכמה דגמי אנדרואיד נבחרים במחיר פרימיום.

גוגל לא מפגרת רק כמה שנים בפריסת תוכנת AR; המערכת האקולוגית של אנדרואיד נמצאת בפיגור גדול אפילו ביצירת מודל עסקי שיכול לתמוך בפיתוח של מכשיר בשוק המוני עם מצלמת עומק המסוגלת לספק את ה-AR מבוסס העומק שאפל עומדת לצאת למיליונים במהלך החודש הבא.

באופן מוזר, גוגל היהבמקור לפני המשחקעם Project Tango הניסיוני שלו, צורה שאפתנית יותר של AR שדרשה מצלמת עומק. הטכנולוגיה מתחקה אחר השושלת שלה לאותה עבודה ב-Primesense וב-FlyBy Media, שאפל רכשה את שניהם.

בנוסף להופעהאודומטריית אינרציה חזותית, Tango מתייחס גם ל-SLAM (Simultaneous Localization And Mapping), אשר בונה מפה של מה שמערכת מצלמות העומק "תופסת" לשימוש מאוחר יותר. המפה ההולכת וגדלה של הבית שלך ובכל מקום אחר שבו אתה משתמש בטנגו אוספת דגם רחב של העולם, משהו כמו מכוניות המצלמה של גוגל היוצרות תצוגות רחוב עבור מפות.אי הכללת SLAM ב-ARKit הייתה החלטה מכוונת

ARKit 1.0 לא מנסה למפות את העולם בזמן שאתה משתמש בו, מתמקדת במקום זאת בשימושים קלים ומיידים ב-AR ליצירת חזותיים תלת-ממדיים שניתן לחקור. עם זאת, ניתן להשתמש בו בשילוב עם GPS או iBeacon מערכות מיקום פנימיות כדי לספק AR בשילוב עם מפות מוכרות. אי הכללת SLAM ב-ARKit הייתה החלטה מכוונת, מכיוון שאפל רכשה חברות שעובדות עם מיפוי פנים, במיוחד תוך שימוש בטכניקות SLAM.

המורכבות הטכנית הגדולה יותר שגוגל עבדה עליה בטנגו, בשילוב עם התנאי המוקדם שלה, מצלמות העומק המורכבות והיקרות שיעבדו בכלל, הצטרפו לפרויקט שלא נשלח בצורה נוחה שאנשים רגילים יכולים להשתמש בו. יתרה מכך, במקום לבנות את טכנולוגיית החומרה והתוכנה כדי לפרוס AR להמונים בעצמה, גוגל הסתמכה על צדדים שלישיים כדי למצוא יישום כלשהו של העבודה הניסיונית שהיא עשתה.

הטנגו של גוגל רקד בכיוון הלא נכון!

במשך שנים של עבודה, גוגל הוציאה טלפון וטאבלט ניסיוני של טנגו לכ-3,000 חוקרים סקרנים לפני שחברה עם לנובו הסינית כדי להתקין מערכת מצלמות עומק על גב הטלפון של Phab 2 Pro "Tango" בשנה שעברה, ואחריה דומה Zenfone AR שנבנה ב-Asus מוקדם יותר השנה.

טלפון Lenovo Phab 2 Pro Tango

עם זאת, שני מכשירי הטנגו הללו יישמו AR-עומק באמצעות המצלמה האחורית. זו החלטה עיצובית שנראית הגיונית, אבל היא הופכת את עומק AR כגימיק עצמאי שהוא רק טוב במעט מ-AR של מצלמה אחת המשתמשת ב-VIO, למרות שהטלפון יקר יותר באופן משמעותי.CNET סיכםשה-Phab 2 Pro היה "מכשיר מגושם, כבד ובינוני עם חומרה מאכזבת, גרסה ישנה של אנדרואיד וללא NFC".

בניגוד לטלפונים של טנגו, אייפון X מיישם אחזיתיתחיישן TrueDepth. בהשוואה לסטטוס קוו, זה נראה הפוך עד שאתה מבין שבנוסף לביצוע AR מבוסס עומק כ"טריק" מסודר, הוא גם ממקם את חיישן העומק כדי לעשות דברים חשובים אחרים:אימות פנים מזהה, מוכראפקטי תאורת דיוקןבסלפי, וסוג מתקדם של מסנני אווטאר מבוססי פנים שכבר פופולריים מאוד בקרב משתמשי Snapchat צעירים.

סיבה נוספת לכך שלמצלמת ה-TrueDepth הקדמית של אפל יש יתרונות ניידים משמעותיים על פני מערכת מצלמות העומק המותקנות מאחור של טנגו: מצלמות עומק משתמשות באנרגיה רבה, ולכן מצפים להשתמש באחת כדי לנווט בחנות כשהטלפון שלך מושך אתה (של טנגו"מערכת מיקום חזותית" הייתה למעשה אחת התכונות שגוגל הציגה ב-IO הקיץ!) היא לא ממש הגיונית. יתרה מכך, שימוש במצלמת עומק כזו בחוץ יכול להיות בעייתי מכיוון שאור השמש יכול להציף את תאורת ה-IR ואת הנקודות המוקרנות על ידי מערכות מצלמות עומק.

על ידי הצבת חיישן ה-TrueDepth שלה בחזית, אפל יכולה להפעיל אותו רק בעת הצורך (עם פרצים קצרים תכופים עבור Face ID, או רק כאשר משתמשים מקליטים Animoji באופן פעיל). המערכת גם צריכה רק להאיר את הפנים שלך, במקום לנסות להאיר באופן בלתי נראה את הסביבה כולה.

שימו לב שאפל מציינת ש-Face ID עובד "אפילו בחושך", תוך הדגשת הכוונה ההנדסית שלה לשימוש במקום שבו המשתמש היה מצפה שהוא יעבוד, בניגוד לטנגו ו-VPS של גוגל, שמתיימרות בשאפתנות לעבוד בכל מקום שאפשר להעלות על הדעת, בגדול , סביבות פתוחות וחיצוניות שפשוט הרבה יותר קשה לספק SLAM או VIO שימושיים הקשורים ל-AR כתכונות מעשיות ופונקציונליות.

טנגו הוא ניוטון. ARKit הוא אייפוד

חלק גדול מהפריסה מוצלחת של כל טכנולוגיה (או אמנות) חדשה הוא למצוא השתרשות במוכר. אם זה חדש מדי, אף אחד לא יודע איך להתייחס אליו. עם זאת, אם זה נפוץ מדי, אין ערך קנייני קטן בפיתוח הטכנולוגיה. אפל שואפת בדרך כלל, לא רק להיות ראשונה, אלא לצאת לשוק עם פתרון מעשי ובעל ערך באופן שאף אחד אחר לא חשב לספק.

אפל לא תמיד הייתה כל כך ממוקדת. בתחילת שנות ה-90 היא פיתחה את ניוטון כפרויקט טאבלט שאפתני, אך לא השלימה מספיק את העבודה כדי להפוך אותו לשימושי ברור ומובן במחיר שהטכנולוגיה החדשה שלה דרשה. לאחר שנים של עבודה, ניוטון היה למעשה עיוור על ידי פאלם, ששלחה מחשב כף יד Pilot PDA זול יותר, פחות מרשים מבחינה טכנית אך פרקטי יותר.

לגוגל יש בעיה דומה עם טנגו: היא השקיעה מאמצים רבים בפיתוח טכנולוגיה שאפל בחרה בכוונה שלא ליישם (כגון מיפוי SLAM שמשחק תפקיד גדול בטנגו אך אינו נמצא ב-ARKit 1.0), וכתוצאה מכך מורכבות והוצאות. ללא עלייה מקבילה בערך עבור רוב המשתמשים המיינסטרים.

אקדמאים יכולים לכתוב בבלוג על כמה טנגו עדיפה על הנייר, אבל אם הוא לא יכול לעמוד בהבטחותיו השאפתניות, ואם אף אחד לא משתמש בו כי הוא יקר ליישום, והוא אף פעם לא באמת מתעדכן ומתוחזק ומסתיים בגלל זה חוסר שימוש בעולם האמיתי, זה לא באמת משנה.

באותו האופן שבו לבלוגרים שגנבו אב טיפוס של אייפון 4 בשנת 2010 היה אותו בידיהם אבל אפילו לא ידעו שהוא יכלול צג רשתית או גירוסקופ או יציג את FaceTime, העיצוב הבסיסי של אייפון X התיז על ידי מדליפים שלא ממש הבינו שאסטרטגיית ה-AR העומק של אפל הייתה יותר מסתם דרך לדמיין רהיטי איקאה בחדר.

TrueDepth יושמה כדרך לזהות ולזהות בצורה מאובטחת את הבעלים של המכשיר, לשפר את הסלפי שלו ולמשוך אותם לעולם מונפש של צ'אטים Anaimoji ואווטרים של צד שלישי.היישום החדש של אפל של TrueDepth באייפון X הופך את המשתמש למוקד של מצלמת העומק החדשה והייחודית שלה

יש כמה אפליקציות מעניינות עבור AR מבוסס עומק (המחייבות מצלמת עומק ממשית, בניגוד לרוב ARKit) בגב מכשיר נייד. אבל יש כבר פתרונות מסחריים שמציעים זאת (כולל 379 $ חיצוני של Occipitalחיישן מבנהלאייפד) והם לא בדיוק כבשו את העולם בסערה.

היישום החדש של אפל של TrueDepth באייפון X הופך את המשתמש למוקד של מצלמת העומק החדשה והייחודית שלה. הוא משלב תאורת הצפה המחזירה אור אינפרא אדום בלתי נראה למצלמת האינפרא אדום, במקביל למקרן נקודות שיוצר רשת של נקודות ציון דרך שישמשו כחיישן מבנה.

מספר נתיבים ליישום AR מבוסס עומק

יש הרבה דרכים שונות ליישם את הטכנולוגיה הזו: מיקרוסופט התמקדה במיפוי IR של הסלון מול משחקי Xbox Kinect כדי לעקוב אחר גופם של המשתמשים. למרות שהוא חדשני, הוא לא סיפק משחקיות עדיפה על צורות אחרות של בקרי תנועה, ויש לו הרבה חסרונות פשטניים. המערכת גם מוסיפה הוצאות, ומשחקת תפקיד בהפיכת דור הקונסולות האחרון של מיקרוסופט ליקר מכדי להתחרות ביעילות עד שהחברה הסירה את Kinect כפיצ'ר מצורף.

באופן דומה, ניסויי הטנגו של גוגל שהציבו חיישן מבנה בגב טלפונים גדולים של אנדרואיד הציעו פוטנציאל מסוים לתכונות חדשות הקשורות למיפוי אובייקטים בחדר, אך היו יקרים מכדי למצוא קהל עבור המעט שהוא באמת יכול לעשות מתוך קוּפסָה.

הגישה הדו-צדדית של אפל מביאה מצלמה יחידה ARKit לבסיס מותקן של 380 מיליון מכשירים, ומכירה למשתמשים את הטכנולוגיה בעדכון חינמי ל-iOS 11. במקביל, משתמשים יכולים להצטרף לעולם המתוחכם עוד יותר של החזית הקדמית, TrueDepth camera AR באייפון X, שמסתכל על המשתמש ולא על העולם שמאחורי המכשיר.

ולמרות שחלקם ביקשו ללגלג על אפל על קלות הדעת שבהדגים כיצד ניתן להשתמש במצלמת TrueDepth להנפשת אימוג'י, במציאות קרייג פדריגי הקדיש פחות זמן להראות את התכונה עבור iPhone X מאשר סטיב ג'ובס בילה בהדגמה כיצד ניתן להשתמש בג'ירוסקופ של אייפון 4 הנפשת בלוקים של Jinga. עבור משקיפים חכמים, שניהם היו דוגמאות לאופן שבו טכנולוגיה חדשה מדהימה יכולה לשמש מפתחי אפליקציות לאחר שנמסרה לפלטפורמה גדולה של משתמשים.

להערים על גוגל בפיתוח סודי

המאמצים של אפל למצוא תכונות שימושיות ואטרקטיביות למערכת ה-TrueDepth שלה ולהשתמש בהן כדי למכור את האייפון X בהיקפים גדולים כל כך ברורים בדיעבד שיצרניות אנדרואידעכשיו ממהר להעתיק אותו. זה מסביר מדוע אפל לא התפארה בתוכניות היישום שלה ל-TrueDepth AR עד שהיה לה iPhone X כמעט מוכן למכירה.

יתרה מכך, האסטרטגיה של אפל להפצת AR עם מצלמה יחידה ליותר מ-380 מיליון משתמשים ב-iOS 11 תוך הצגת AR מעקב פנים מבוסס עומק כתכונה בלעדית של iPhone X ברורה רק עכשיו, מאוחר מדי עבור יצרניות אנדרואיד העתקות או מובילת הפלטפורמה שלהן. להתעדכן במהירות.

גוגל ניסתה להציל חלקים מעבודת הטנגו שלה במצלמת העומק תחת יישום פשוט יותר של מצלמה יחידה שהיא מיתגה מחדש לאחרונה כ-ARCore. אבל על ידי אי זיהוי הטכנולוגיות החשובות ביותר והקלות ביותר לפריסה תחילה, במקביל לפיתוח שכבה מתקדמת יותר שיכולה להימכר כפרמיה בלעדית, היא נמצאת כעת הרחק מאחורי השקת ARKit של אפל וחייבת להתחיל מחדש מאפס בהתבססות העומק שלה. AR, אם היא בכלל יכולה למצוא מישהו שיאמץ את הניסיון השני שלה בטנגו במחיר פרימיום, לפי דגם העבודה של אפל.

הסודיות של אפל בפיתוח דרך ייחודית וחדשנית ליישם את טכנולוגיית ה-TrueDepth שלה שיכפלה למעשה את ההיסטוריה של ארנק Google (שמגלגל קיטור על ידי Apple Pay), Android NFC Beam (נדרס על ידי Bluetooth 4 Continuity) וחיישני טביעת אצבע של אנדרואיד (מחולקים על ידי Touch ID). להיות הראשון עם טכנולוגיה חדשה ניסיונית לא היה בעל ערך כמו הגדלה עם יישום טוב יותר שיכול להציע ערך אמיתי לקונים.