ARKit 4 של אפל מעגן את המציאות התלת-ממדית למיקומי מפות בעולם האמיתי

עם ARKit 4, אפל בונה את הבסיס לעולם וירטואלי של "מציאות" תלת-ממדית מונפשת ואינטראקטיבית שניתן לחקור על ידי כל מי שיש לו אייפון חדש יותר בכיס.

ב-WWDC20, אפל הציגה תכונות חדשות עתידניות שמגיעותARKit4. מהדורות קודמות של פלטפורמת המציאות הרבודה של החברה אפשרו לראשונה גרפיקת תלת מימד בסיסית להופיע קבועה במקומה בזרם הווידאו ממצלמת iOS 11 באמצעותאודומטריית אינרציה חזותית. זה מאפשר למשתמש לחקור אובייקט וירטואלי מכל הצדדים או לשחק משחק אינטראקטיבי קבוע באמצעות AR על משטח שולחן.

ARKit 2 ב-iOS 12 של 2018 הציג עולמות AR משותפים, שבהם שני משתמשים יכלו לראות תצוגות שונות של אותה סצנה וירטואלית, מה שמאפשר משחק מרובה משתמשים באפליקציות מציאות רבודה. ARKit 3 של השנים האחרונות הציג לכידת תנועה וחסימת אנשים, שאפשרו לאובייקטים וירטואליים לנוע לפני ומאחור אנשים, תוך הבנה כיצד אדם ממוקם מול המצלמה.

של אפלהשקעות באוסף של AR וטכנולוגיות נלוותהשתמש בראייה ממוחשבת, למידת מכונה וזיהוי תנועה כדי לבנות עולמות מתוחכמים ואינטראקטיביים יותר ויותר של גרפיקה ממוחשבת המקובעת במקומם בתצוגת מצלמה. זה בסופו של דבר היה הרבה יותר מוצלח ומשפיע ממאמצים תחרותיים למכורVR של סמארטפוןבמהלך השנים האחרונות.

עוגני מיקום

ARKit 4 בהכרזה טרייהiOS 14מוסיף עוגני מיקום, שיכולים לתקן מודל AR במיקום ספציפי בעולם האמיתי, המוגדר על ידי קו רוחב, קו אורך וגובה. זה יכול לשמש להצגת יצירות אמנות וירטואליות, כפי שהדגימה אפל עם מיצב KAWS שהוצב בבניין המעבורת בסן פרנסיסקו. זה יכול לשמש גם כדי למקם תוויות מקובעות בחלל במיקום מסוים, או לבנות חוויות AR שלמות במקום נתון.

כדי לספק דיוק רב יותר בעיגון מיקום ממה ש-GPS יכולה לספק בעצמה, אפל הדגימה את ARKit 4 באמצעות מיקום חזותי, המשתמשת בלמידה חישובית כדי להתאים ציוני דרך שנראו על ידי המצלמה עם מפת לוקליזציה שהורדה מ-Apple Maps המתאימה למיקום הנוכחי. נראה כי מדובר בנתונים שנאספו על ידי רכבי Apple Maps כדי לבנות את מפות ה- Look Around הניתנות לחקירה בערים הגדולות.

תהליך התאמת המיקום נעשה באופן מקומי בטלפון שלך, ללא מידע פרטי שנשלח בחזרה לשרתים של אפל. הצטלבות המרשימה הזו של טכנולוגיות יכולה להיות משודכת לתכונות אחרות שאפל פירטה ב-WWDC20, כולל App Clips כדי לספק פונקציונליות מיידית, כולל תשלום באמצעות Apple Pay או התחברות משתמש באמצעות "היכנס עם Apple".

יישומים עתידיים של טכנולוגיות אלה מציעים מקרי שימוש ברורים עבור AR לביש, כולל השמועות "זכוכית תפוח" שיכול לנווט בנקודות עניין ולאפשר למשתמש ליצור אינטראקציה עם חוויות AR מעוגנות כדי למצוא מידע נוסף או לטפל במגוון עסקאות אפליקציות מתוחכמות.

API לעומק ו-LiDAR

בנוסף לעיגון חווית AR לנקודה קבועה בעולם האמיתי, ARKit 4 גם מספק כעת יכולות מתקדמות של הבנת סצינות עם API חדש לעומק. זה מאפשר לו להשתמש בסורק LiDAR על החדש ביותראייפד פרו- ואשר לפי השמועות יופיע בתוכנית הקרובהאייפון 12מודל - ללכוד במהירות רשת מפורטת של מידע עומק של הסביבה הסובבת.

במקום לסרוק את הסצנה עם המצלמה תחילה, LiDAR מאפשר מיקום מיידי של אובייקטים וירטואליים בחוויית AR, כמו משחק שמקיים אינטראקציה עם אובייקטים מהעולם האמיתי בחדר.

ה-API החדש של Scene Geometry יכול ליצור מפה טופולוגית של הסביבה, שניתן להשתמש בה יחד עם סיווג סמנטי כדי לזהות אובייקטים פיזיים ולהבחין בין הרצפה, הקירות ואובייקטים אחרים, ולהבין את עומקם של אובייקטים בסצנה וכיצד הם נמצאים. מְסוּדָר.

ARKit 4 יכול אז למקם אובייקטים וירטואליים בסצנה לפני או מאחורי אנשים חסומים או אובייקטים מזוהים בסצנה; להשתמש בפיזיקה של המשחק כדי לדמות אינטראקציות מציאותיות בין אובייקטים וירטואליים ופיסיים; וקל באופן מציאותי באמצעות העברת קרינה כדי לטשטש את הגבול בין מה שמציאותי לבין התוכן הדיגיטלי המגביר את המציאות.

מעקב פנים וידיים

התקדמות גדולה שלישית ב-ARKit 4 מרחיבה את מעקב הפנים מעבר למכשירים המצוידים במצלמת TrueDepth למכשיר החדשאייפון SEומוצרים אחרים עם לפחות מעבד A12 Bionic.

מעקב פנים לוכד עוגני פנים וגיאומטריה כדי לאפשר להחיל גרפיקה על פניו של המשתמש, בין אם כדי ליצור אווטאר דמוי Memoji הלוכד את הבעות המשתמש כדי להנפיש דמות וירטואלית, או כדי ליישם איפור וירטואלי או אפקטי תאורה אחרים הדומים לתאורת פורטרט. במצלמת iOS.

גם אפל הוסיפהמעקב ידלמסגרת ה-Vision שלה, המאפשרת למכשיר iOS לזהות לא רק תנועות גוף מלאות אלא תנוחות בודדות של אצבעות יד. הדגמה אחת הראתה כיצד משתמש יכול לאיית מילים באוויר, רק על ידי המצלמה שצופה ומזהה תנועות ידיים מדויקות.

אפל מספקת גם אפליקציית Reality Converter חדשה להכנסת מודלים תלת-ממדיים שפותחו בכלי חיצוני ליצירת תוכן דיגיטלי לפורמט הקובץ usdz המשמש את ARKit, כמו גם עדכון ל-Reality Composer לבנייה ובדיקה של חוויות AR וייצואן חזרה ל- דולר נייד.

RealityKit גם מוסיפה תמיכה להחלת מרקם וידאו בתוך סצנת ARKit, כגון טלוויזיה וירטואלית המונחת על קיר, עם תכונות ריאליזם כגון פליטת אור, אלפא וחספוס מרקם.

העבודה שאפל עושה ב-AR חופפת עבודה קיימת שאחרים התחילו, בעיקר גוגל. אבל דבר אחד שתומך באופן דרמטי במאמצים של אפל ב-AR הוא הבסיס המותקן העצום של החברה של מכשירים מתקדמים ומתוחכמים עם חיישני מבנה כמו TrueDepth באייפון X ואילך וחיישן LiDAR החדש ב-iPad Pros החדשים.

אפל השיקה את ARKit לפני שלוש שנים והפכה מיד לפלטפורמת ה-AR הגדולה בעולם, כלומר למפתחים יש מגוון הזדמנויות לבניית חוויות שמספר גדול של משתמשים בעולם האמיתי יכולים לחוות. החברה עדיין רק בתחילת הדרך, ואנחנו יכולים לצפות שהיא תפרוס יותר ויותר טכנולוגיות חדשות שמרחיבות את תכונות ARKit לכיוונים חדשים, שעשויות לרבות משקפיים לבישים ומזונות רכב בנוסף לבסיס המותקן הנוכחי של מכשירי iOS ו-iPadOS ניידים.