כמו שעשתה עבור דגמי תלת מימד עבור ARKit, אפל מפתחת פורמט אודיו חדש שמקל על הצבת צלילים סביב משתמש, גם כאשר אותו משתמש זז, כאשר הוא לובש "זכוכית תפוח," או מכשירי AR אחרים, אולי מבוססים על העבודה של החברה עם Pixar.
בעבר הוכח כי אפל עובדת על יצירת תמונות וידאו ברזולוציה גבוהה עבוראפל AR, אבל כעת היא גם שואפת להפיק אודיו באיכות גבוהה כדי ללכת לצדו. בצמד בקשות פטנט חדשות, החברה בודקת אפשרויות הקשורות לאודיו מרחבי.
ספציפית, אפל רוצה להקים פורמט שמע כמו .MP3 או .AAC שהופך לסטנדרט, ומשלב את המידע המרחבי הנוסף ש-AR דורש. הפורמט צריך להכיל את האודיו בפועל, אבל גם הרבה יותר מאשר האם יש להפעיל אלמנט בצד שמאל או ימין של תמונת הסטריאו. אפל עבדה בעבר עם Pixar על פורמט שנקרא USDZ, שהיה קשור להצבת אודיו בחלל תלת מימדי סביב משתמש.
"פורמט קובץ עבור אודיו מרחבי," הוא חדשבקשה לפטנט, שאולי מתעד לפחות חלק מהעבודה ההיא של פיקסאר. עם זאת, לאפל ישנאמר בעברשהמטרה שלו עם USDZ היא עזרה בשיתוף בין אפליקציות כמו הודעות, חדשות ודואר.
"הפקת אפקטי קול תלת מימדיים (3D) ביישומי מציאות רבודה (AR), מציאות מדומה (VR) ומציאות מעורבת (MR)... היא מאתגרת מכיוון שפורמטי אודיו קיימים תוכננו במקור להפקת צליל תלת מימד בסביבה פיזית עם מיקומי רמקולים קבועים ומאזינים נייחים", אומרת אפל באפליקציה החדשה, "כמו בבית קולנוע".
אפל מתייחסת ל-AR, VR ו-MR עם המונח הכולל Simulated Reality (SR), ואומרת שהיא רוצה להתבסס על הפורמטים הרבים הקיימים לאודיו תלת מימד. "[לדוגמה] פורמטי שמע מרחביים המיועדים להפקת צליל תלת-ממד כוללים תקני שמע 3D של MPEG-H (Moving Picture Experts Group), טכניקות שמע מרחביות של HOA (Higher-order Ambisonics) וטכנולוגיית סאונד סראונד של DOLBY ATMOS", הוא ממשיך.
הבעיות קשורות הן למקום שבו הקהל תופס את הסאונד, והן היכן היוצרים יכולים לבחור למקם אפקטים או מוזיקה. "חלופה אחת להפקת אפקטי סאונד תלת-ממדיים בסביבות SR היא לתמרן צלילים נפרדים הכלולים באובייקטי אודיו שניתן למקם כמעט בכל מקום בסביבת התלת-ממד", אומר אפל.
"[עם זאת, חיבור] אודיו עבור יישומי SR תוך שימוש בפורמטי אודיו ואובייקטים מרחביים קיימים הוא קשה מכיוון שאין דרך אחידה לגשת למגוון מקורות קול ולשלב אותם בסביבת SR דינמית", הוא ממשיך.
הפתרון המוצע של אפל הוא ליצור פורמט הדומה לאופן שבו .m4v ו-.mp4 הם פורמטים של "מיכל" המקבצים יחד אלמנטים שונים. במקרה של דרישות האודיו המרחביות החדשות של אפל, החברה מציעה ליצור "ספריית נכסי אודיו... [שכוללת מטא נתונים של נכסים המאפשרים למפתחי יישומי מציאות מדומה (SR) להלחין צלילים לשימוש ביישומי SR".
"נכסי האודיו מעוצבים", אומרת אפל, "כדי לכלול נתוני אודיו המקודדים צליל המסוגל להרכיב לתוך יישום SR יחד עם מטא נתונים של נכסים המתארים לא רק את אופן קידוד הצליל, אלא גם כיצד מאזין בסביבת SR חווה את קוֹל.
בקשת פטנט זו נזקפת לזכותם של ארבעה ממציאים, שניים מהם קשורים לפטנטים קודמים. סטיבן אי פינטו נקרא על פטנט לגביניווט אודיו מרחביעבור "Apple Glass", למשל, בעוד כריסטופר טי יובנק עבד על התוכניות לעשותתמונות ברזולוציה גבוההבמכשירי אפל AR.
שני הממציאים נמנים גם עם אלה שנזקפו לזכות אחר שנחשף לאחרונה ו">פטנט רלוונטילעשות עם "Spatial Audio Upmixing".
פרט מהפטנט המראה כיצד ניתן לשלב אודיו לפורמט תלת מימד
באודיו קונבנציונלי, המוזיקה שעשויה להתנגן בשקט מתחת למגיש מדבר מכונה בדרך כלל מיטה. ההצעה של אפל לוקחת את המונח הזה ומשתמשת בו למערכת שמע מרחבית מורכבת הרבה יותר.
"מיטה מרחבית היא תוכן אודיו רב-ערוצי המייצג תיאור מלא של שדה צליל, למשל, כדור קול וירטואלי, למשל המקיף מאזין מציאות מדומה בסביבת מציאות מדומה", נכתב. "מיטה מרחבית חדשה נוצרת על ידי שילוב של קטעים של לפחות שתיים ממיטות מרחביות כאלה."
כאשר אנשי המקצוע הנוכחיים בתחום האודיו יהיו מודעים למיקום שמאל וימין של מכשירים או אלמנטים, אפל בונה על הרעיון הזה לחשוב על כדור במקום זאת.
"אובייקט השמע המרחבי החדש עשוי להכיל מערך כדורי של מקורות סאונד וירטואליים (ספירה וירטואלית) המגדירים שדה קול המקיף את עמדת האזנה של אובייקט השמע המרחבי החדש, למשל, במרכז כדור המיקס המותאם אישית", אומר אפל.
כאשר לאפליקציית עורך סאונד טיפוסית יש כעת תצוגה גרפית שטוחה של האודיו כצורת גל, אפל מציעה מערכת חדשה המציגה את האודיו בגלובוס.
"התהליך עשוי גם להמחיש את אובייקט האודיו המרחבי החדש (מיטה מרחבית חדשה) ככדור נפרד וחדש, למשל, בסביבת SR, המציג את פני השטח של הגלובוס החדש מנקודת המבט של מעצב הסאונד שעשוי להיות בפנים הגלובוס החדש, למשל, במרכז, או מחוץ לגלובוס החדש", נכתב באפליקציה.
"זה עשוי להיות מוצג בסביבת SR כיד וירטואלית של מעצב הסאונד שמושיט את ידו ומצייר במברשת ידנית או מכשיר ריסוס את החלק הפנימי של (או את החלק החיצוני של) קיר של הגלובוס החדש", הוא ממשיך, "שם יש להציג את הצליל הנבחר (של אובייקט השמע המרחבי הקלט)."
אפל אינה מתייחסת לגרסת תלת-ממד עתידית כלשהי של Logic Pro בשם ביישום זה. הוא גם לא מציע שם ספציפי לפורמט הקובץ בתבנית הראשונה.
עם זאת, זו לא הפעם הראשונה שאפל דוגלת בפורמט אודיו בגלל היתרונות הטכנולוגיים הנתפסים שלו. זה נוצר משלופורמט ALAC ללא אובדן, וגםבחר ב-AAC על פני MP3עבור חנות iTunes.
