ARKit היא ערכת המסגרת ופיתוח התוכנה של אפל שמפתחים משתמשים בה כדי ליצור משחקים וכלים במציאות רבודה. ARKit הוכרז למפתחים במהלךWWDC2017, והדגמות הראו למפתחים כיצד הם יכולים ליצור חוויות AR עבור האפליקציות שלהם.
אפל הפכה חזק למציאות רבודה גם אם זו לא תכונה שמשפיעה על רוב המשתמשים גם היום. חוויות AR זמינות בכל מקום, אבל באמת רק למי שמחפש אותן.
למרות ש-AR לא השתלט על העולם בשום צורה, ישנם סימנים לכך שהדחיפה של אפל לתכונות וחומרה של AR תוביל בסופו של דבר לסט משקפי AR, המכונה "זכוכית תפוח." עד אז, חוויות שמציעים משחקים כמו "פוקימון גו" ואפליקציות קניות כמו אמזון הן הדרך שבה אנחנו משתמשים ב-AR עכשיו.
מהי מציאות רבודה?
מציאות רבודה - לעתים קרובות מסוגננת כ-AR - היא הפעולה של הצבת תמונה שנוצרה על ידי מחשב לתוך "העולם האמיתי", בדרך כלל באמצעות מצלמת סמארטפון והמסך. לעתים קרובות אנשים משווים AR ל-VR - או מציאות מדומה. מציאות מדומה, לעומת זאת, היא הפעולה של יצירת סביבה מדומה לחלוטין שמשתמש יכול "להיכנס אליה".
לדוגמה, ARKit היא המסגרת שמפעילה את אפליקציית iOSלִמְדוֹד.משתמשים יכולים לבצע מדידות של חדרים או חפצים באמצעות מצלמת המכשיר שלהם.
בעוד ש-AR מוגבל בעיקר לסמארטפונים וטאבלטים כרגע, מומחים רבים בתעשייה הם שוריים לגבי העתיד של משקפי AR או אוזניות. Microsoft HoloLens ו-Magic Leap One הם דוגמאות לשני מוצרים מוצמדי ראש כיום המשתמשים בטכנולוגיית AR.
תכונות ARKit
ARKit משתמש ב-Visual Inertial Odometry (VIO) כדי לעקוב במדויק אחר העולם, תוך שילוב של נתוני חיישני מצלמה עם נתוני CoreMotion. כניסות אלו מאפשרות למכשיר ה-iOS לחוש במדויק כיצד הוא נע בתוך החדר, ומבטל את הצורך בכיול נוסף.
הצב אובייקטים וירטואליים לעולם האמיתי באמצעות AR
כל אחת מהמצלמה משמשת כדי ללכוד הזנה חיה של הסביבה, תוך מעקב אחר הבדלים בתמונה כאשר זווית מכשיר ה-iOS משתנה. בשילוב עם התנועות שזוהו בתוך נתוני CoreMotion, ARKit מזהה את התנועה ואת זווית הצפייה של מכשיר ה-iOS לסביבה.
LiDAR מאפשר ל-ARKit 4 ללכוד נתוני עומק של חדר
ARKit מסוגלת למצוא מישורים אופקיים בחדר, כגון שולחן או רצפה, שבאמצעותם ניתן למקם אובייקטים דיגיטליים. זה גם עוקב אחר המיקומים שלהם כאשר הוא זז זמנית מחוץ למסגרת.
המערכת משתמשת גם בחיישן המצלמה כדי להעריך את האור של הסביבה. נתונים אלה שימושיים בהחלת אפקטי תאורה על אובייקטים וירטואליים, עוזרים להתאים מקרוב את הסצנה בעולם האמיתי, ומעודדים את האשליה שהפריט הווירטואלי נמצא באמת בעולם האמיתי.
ARKit יכול לעקוב אחר פניו של משתמש דרךאייפוןמצלמת TrueDepth. באמצעות יצירת רשת פנים המבוססת על נתונים ממצלמת TrueDepth, ניתן להוסיף בזמן אמת אפקטים לפנים של המשתמש, כמו איפור וירטואלי או אלמנטים אחרים לסלפי. תכונת ה-Animoji משתמשת גם במערכת זו.
תיעוד ARKit של אפל כולל מדריכים כיצד לבנות את חווית ה-AR הראשונה של מפתח, התמודדות עם אינטראקציה תלת-ממדית ובקרות ממשק משתמש ב-AR, טיפול באודיו ב-AR ויצירת חוויות AR מבוססות פנים.
אפל גם הוסיפה שיעורים באפליקציית Swift Playgrounds שלה, והעניקה למפתחים צעירים וחסרי ניסיון היכרות עם המסגרת. אתגר "מציאות רבודה" מלמד את המשתמשים פקודות כדי לאפשר למצלמה של האייפד להתמודד עם זיהוי מטוסים, להציב דמות במטוס ולהפוך את הסצנה לאינטראקטיבית.
אמנם יש לו אופטימיזציות ב- Metal ו- SceneKit, אבל אפשר גם לשלב את ARKit בכלים של צד שלישי.
ARKit 6
אפל הציגה וידאו 4K HDR לסצנות AR עם שיפורים בעיבוד סצנות, הקלטה וייצוא. עדכונים אחרים נעשו כדי לשפר תכונות שהוצגו בעבר כמו לכידת תנועה ועוגני מיקום.
ARKit 5
עדכונים בשנת 2021 התמקדו בשיפור תכונות קיימות כמו עוגני מיקום ומעקב אחר פנים. אפל הציגה גם את היכולת לזהות תמונות App Clip תוך כדי AR כדי ליצור אובייקטים או סצנות אינטראקטיביות.
ARKit 4
iOS 14, שאפל פרסמה בספטמבר 2020,מכיל מספר תכונותשסוללים את הדרך לחוויות AR משופרות בחומרה חדשה של אפל.
נתוני מפה יכולים לאפשר ל-ARKit לקבוע מיקום מדויק באמצעות צורות בניין
עוגני מיקום יאפשרו למפתחים ולמשתמשים לצרף אובייקטים של מציאות רבודה למיקומים בעולם האמיתי. בעת שימוש ב-AR במכשיר, המשתמשים יפנו את המצלמה סביב כדי למצוא משטח AR מתאים. בזמן שזה קורה, המצלמה תשתמש בארכיטקטורה שמסביב כדי לסייע באיתור מיקום גיאוגרפי מדויק.
כל זה מטופל במכשיר, תוך שימוש בנתוני מפה קיימים שנוצרו על ידימפות אפלותכונת ההסתכלות שלו.
ה-Depth API החדש נוצר כדי לנצל את מערכת LiDAR בדור הרביעימקצועני אייפד,אייפון 12 פרו, ואייפון 12 פרו מקס.באמצעות נתוני העומק שנלכדו ונקודות עיגון ספציפיות, משתמש יכול ליצור מפה תלת מימדית של חדר שלם בשניות.
תכונה זו תאפשר חוויות AR סוחפות יותר ותעניק לאפליקציה הבנה טובה יותר של הסביבה עבור הצבת אובייקט וחסימה.
ARKit 4 מאפשר מעקב אחר פנים וידיים
מעקב פנים וידיים נוספו גם ב-ARKit 4, שיאפשר משחקי AR מתקדמים יותר ומסננים המשתמשים במעקב אחר הגוף. יישומים יכולים להועיל בכך שהם מאפשרים למשתמש פשוט להשתמש בפנים או בידיים שלו כקלט לחוויות מסוימות, כמו מסנן Snapchat או סביבת וידאו צ'אט.
LiDAR ו-ARKit 3.5
סדרות הדור הרביעי של iPad Pro ו- iPhone 12 Pro כוללות כל אחת חיישן LiDAR בגב המכשיר. החל מעדכון ל-ARKit עבור iOS 13.4, התוכנה של אפל תומכת כעת במערכת LiDAR ויכולה לנצל את החומרה העדכנית ביותר.
עם ARKit 3.5, מפתחים יוכלו להשתמש בממשק API חדש של Scene Geometry כדי ליצור חוויות מציאות רבודה עם חסימת אובייקטים ופיזיקה בעולם האמיתי עבור אובייקטים וירטואליים. ליתר דיוק, Scene Geometry תאפשר לאפליקציית ARKit ליצור מפה טופולוגית של סביבה, תוך פתיחת תכונות AR חדשות ותובנות ומידע נוספים למפתחים.
ה-LiDAR ישמש עבורמיפוי סביבה תלת מימדיתשיאפשר שיפור מסיבי של AR. הסורק פועל ממרחק של עד 5 מטרים ומקבל תוצאות באופן מיידי, מה שהופך את אפליקציות AR להרבה יותר קלות לשימוש ומדויקות יותר.
חיישן זמן טיסה יכול להפוך את מיפוי הסביבה למהיר ומדויק הרבה יותר עבור ARKit
שימוש בחיישן LiDAR יגדיל במהירות את זמני מיפוי ה-AR ואת היכולת לזהות עצמים ואנשים. זה אמור לשפר גם את מצב הפורטרט ואת הצילום באופן כללי מכיוון שניתן להשתמש במפות תלת מימד עם כל תמונה.
ARKit 3
ARKit 3הביא לא מעט כוונון עדין למערכת, תוך שימוש בלמידת מכונה וזיהוי אובייקטים תלת מימדיים משופר. כעת ניתן לעקוב אחר סביבות מורכבות בצורה מדויקת יותר לצורך מיקום ומדידה של תמונות.
אובייקטים בעולם האמיתי יכולים להסתיר אובייקטים וירטואליים באמצעות חסימה
People Occlusion נוספה עם כניסתו של ARKit 3. זה מאפשר למכשיר לעקוב אחר אנשים ולאפשר לאובייקטים דיגיטליים לעבור בצורה חלקה מאחוריהם או לפניהם לפי הצורך.
זה גם הביא Motion Capture, נותן למכשיר את היכולת להבין את תנוחת הגוף, תנועה ועוד. זה מאפשר למפתחים להשתמש בתנועה ובפוזות כקלט לאפליקציית AR.
ARKit 3 מאפשר מעקב מצלמה קדמית ואחורית בו זמנית. משתמשים יכולים כעת לקיים אינטראקציה עם תוכן AR מהמצלמה האחורית על ידי שימוש בהבעות פנים ומיקום ראש.
ניתן לעקוב אחר עד 3 פרצופים עם ARKit Face Tracking, באמצעות מצלמת TrueDepth.
תגובת מפתח ותגובה ראשונית
תגובת המפתחים לכלים של ARKit היא "בלתי ייאמן", לפי סמנכ"ל אפל לשיווק מוצרי iPod, iPhone ו-iOS ברחבי העולם, גרג ג'וסוויאק בראיון בסוף יוני 2019. לאחר שציין פרויקטים שפותחו במהירות, החל מסרטי מדידה וירטואליים ועד לאפליקציית קניות של איקאה, אמר ג'וסוויאק, "זה ממש מדהים מה שאנשים עושים בכל כך מעט זמן".
"אני חושב שיש לנו כאן מסלול ענק עם האייפון והאייפד. העובדה שיש לנו מיליארד מהמכשירים האלה בחוץ היא ממש הזדמנות למפתחים", אמר ג'וסוויאק. "מי יודע איזה דברים מגיעים בהמשך הדרך, אבל יהיו הדברים האלה אשר יהיו, אנחנו נתחיל באפס".
תאימות ARKit
ARKit שוחרר לצד iOS 11, מה שאומר שכל מכשיר שמסוגל להריץ את iOS 11 יוכל להשתמש בתכונות AR.
ל-ARKit 4 עדיין יש תכונות התואמות למכשירים המריצים iOS 11, אך התכונות המתקדמות שלו מוגבלות למכשירים הכוללים שבבי A12 Bionic או טוב יותר. התכונות העדכניות ביותר וחישת עומק דורשות LiDAR במכשיר, שהוא רק מסדרת ה- iPad Pro ו- iPhone 12 Pro ואילך.
