ה-Animoji של אפל עשוי לספק דרכים נוספות לאינטראקציה עם דמויות האנימציה מעקב הפנים, על ידי השמעת אפקטים קוליים מתאימים עבור כל אווטאר המופעל כאשר משתמשים מביעים הבעות ספציפיות או אומרים מילים מסוימות במהלך סשן הקלטה.
הושק לצד ה-iPhone X כהדגמה של מה שאנשים יכולים לעשות עם מערכת המצלמה TrueDepth, Animoji הפך במהירות לתוספת פופולרית ל-iOS שהולידהפרסומותו"קריוקי אנימוג'י" סרטונים ברחבי האינטרנט. בעוד אפל הוסיפה יותר אינטראקטיביות ליצירות במעקב פנים, כולל זיהוי לשון ויצירת משתמשMemoji, נראה כי לאפל יש עוד רעיונות לאן Animoji יכולה ללכת.
אבקשה לפטנטשהוגש ב-28 בפברואר ופורסם על ידי משרד הפטנטים והסימנים המסחריים של ארה"ב ב-22 בנובמבר עבור "אפקטים קוליים המבוססים על הבעות פנים" עוסק בכל אופן יצירת וידאו קליפ של אווטאר וירטואלי, אך ניתן לשנות אותו באמצעות אפקטים מיוחדים שהמשתמש יכול לְהַפְעִיל. בקיצור, אנימוג'י אבל עם תכונות נוספות.
במהלך שלב ההקלטה של הודעת ה-Animoji, התוכנה לוכדת את תנועות הפנים והשמע מהנבדק. בדרך כלל, מעקב הפנים ממופה ישירות לדמות, כאשר תנועות המשתמש משתקפות ככל האפשר, בעוד שרצועת האודיו היא בדיוק מה שנקלט באייפון במהלך התקופה.
על פי בקשת הפטנט, הן האלמנטים החזותיים והן האודיו מנוטרים עבור מצבים ספציפיים, אשר לאחר מכן ניתן לשנות במהלך שלב ההשמעה למשהו אחר. מצבים אלה יכולים לכלול הבעות פנים מזוהות, כגון הזעפת פנים, או אפילו להפעיל מילים, שעלולות להפעיל אפקט.
לאחר הפעלתו, הביטוי יוצר אפקט המוחל על החזות החזותית של הדמות או על קטע האודיו. הדמות יכולה לעבור אנימציה מוגדרת מראש או להשתנות בדרכים מסוימות בזמן יצירת ההבעה, בעוד שהדיבור הנלווה יכול להיות משתנה או מוחלף לחלוטין.
דוגמה בסיסית מאוירת של שינוי דיבור 'ווף' של משתמש להקלטה של נביחת כלב
לדוגמה, אדם המשתמש באוואטר של כלב יכול לומר את המילה "נביחה", וכתוצאה מכך השמעת קובץ שמע של כלב נובח ושינה את צורות הפה על הדמות כדי להתאים. משתמש שמזעיף את פניו ונוהם יכול להפוך דמות נעימה של כלב לגרסה כועסת, עם צליל נהמה משתנה או מוחלף.
ניתן להחליף את הקלטת הקול בשלמותה בקול מסונתז במקרים מסוימים, כאשר זיהוי קולי מזהה מילים בודדות, גובה הצליל והקצב שניתן לשחזר בקול ספציפי לדמות.
אמנם הגשת בקשת פטנט אינה ערובה לכך שהיא תופיע במוצר או בשירות עתידי של אפל, אך גם משמשת כאינדיקטור היכן טמונים האינטרסים של אפל, במקרה זה יש לרעיון סיכוי טוב ליישום בעתיד עדכון iOS.
במקרה של Animoji, היא כבר מנצלת את רכיבי מעקב הפנים של מכשירי iPhone המצוידים במצלמת TrueDepth, מה שמאפשר לאפל להוסיף זיהוי רגשות. יכולות הזיהוי הקולי, כפי שכבר הוכח בקיומה של Siri, מתאימים את עצמם גם לאלמנטים של שיבוש השמע של בקשת הפטנט.
