אפל מקווה ללמד אנשים איך להשתמש בקוד כדי לשלוט ברובוטים ובמכשירים, על ידי המצאת קונספט למערכת כמו Swift Playgrounds שמנחה את המשתמשים בהרכבת ערכת רכיבים, לפני שתספק הנחיות כיצד ליצור תוכנית שיכולה להשתמש החומרה המורכבת.
בקשת הפטנטבעל הכותרת"מערכת הדרכה להרכבה אדפטיבית", שפורסמה על ידי משרד הפטנטים והסימנים המסחריים של ארצות הברית ביום חמישי, מתארת כיצד שיעורי קידוד כבר כוללים משתמשים בהזנת קוד שניתן להשתמש בו כדי לתמרן פריט וירטואלי בעולם וירטואלי, כגון הזזת תווים, אבל זה יכול להיות מורחב. זהו צעד קטן קדימה כדי לאפשר לאותם שיעורי קידוד לשלוט באובייקט פיזי, כמו מכשיר רובוטי.
אמנם יש כבר צעצועים רובוטיים המשמשים למטרות חינוכיות עםSwift Playgrounds, כגון מוצרים מספרו, ישנה גם אפשרות לשלוט בצעצועים קונסטרוקטיביים כמו לגו עם הכלי החינוכי - בקטגוריה האחרונה הזו נראה שבקשת הפטנט נועדה.
על פי האפליקציה, מכשיר המחשוב המשמש ללימוד קידוד יהיה בעל צורה כלשהי של חיישן הדמיה, המשמש לאיתור וזיהוי פריטים פיזיים באזור שניתן לשלוט בו על ידי התוכנה. לפריטים המדוברים יכול להיות מזהה חזותי על המעטפת כדי לעזור בזיהוי.
לאחר זיהוי וזיהוי, יישום הקידוד יכול לטעון ספריית פונקציות שיכולות לשמש את הלומד לביצוע פעולות שונות על האובייקט הפיזי. שיעור קידוד מתאים יהפוך לזמין, שילמד את המשתמש להזין פקודות ספציפיות שיועברו לפריט ואז יבוצעו.
מערכת הזיהוי תהפוך לבעל ערך רב עבור אלמנט שני, המשתמש בערכות כמו ערכת Lego Mindstorms EV3 הנקראת באפליקציה או ערכת Little Bits. ערכות אלו כוללות בדרך כלל מספר רכיבים שניתן להרכיב יחד, בדרך כלל במגוון תצורות שונות, ויש להם את יכולות התקשורת הדרושות כדי לקבל הוראות שידור.
מערכת הזיהוי תזהה שוב רכיבים בודדים באמצעים שונים, כולל צבע, צורה ורמזים ויזואליים אחרים, עם נוכחות הפריטים שמטעינים שיעורים מחוברים באפליקציה, ובמידת הצורך, יוצר מחדש חיבור נתונים אם היה קיים בעבר .
בערכה מרובה חלקים, האפליקציה עשויה לספק הדרכה להרכבת הערכה בתצורה מסוימת, לזהות היכן חלקים מסוימים מתחברים זה לזה, ואז להמשיך בשיעור הקידוד לאחר השלמת הבנייה. אם ערכה כבר מורכבת לתצורה המיועדת, אלמנט הבנייה ידלג.
המערכת תוכל גם לזהות אם חסרים אלמנטים נדרשים ספציפיים, כגון מנוע להנעת גלגל לרכב או חיישן אחר, ובמקרה זה ייתכן שהספריות ושיעורי הקידוד לא יהיו זמינים עד שיוחלפו.
הנוכחות של הגשת בקשת פטנט אינה ערובה בדרך כלל לכך שהמושגים המתוארים יעשו את דרכם למוצר או שירות של אפל בעתיד. עם זאת, במקרה זה, הרבה מהאלמנטים כבר קיימים שהם יכולים למעשה להפוך למציאות.
מאז Swift Playgrounds כבר מסוגלת לשלוט בחומרה חיצונית מאייפד, כולל האמור לעילערכת לגו מיינדסטומסמאז אמצע 2017, זה חצי מהקרב.
אפשר גם לטעון שאלמנט הזיהוי החזותי קיים בחלקו, שכן אפל אכן מבצעת כמה משימות ראיית מחשב עם מצלמות מכשיר ה-iOS שלה, וניתן לגרום לזה לזהות סמלים ופריטים של צורות וצבעים ספציפיים. אז זה הופך למקרה של ביצוע שינויים בSwift Playgroundsלכלול את מערכת הזיהוי, ועבודה צמודה עם יצרני הערכות והמכשירים כדי לכלול סמנים על המוצרים שלהם כדי לסייע בזיהוי.
