הטייק של אפל על סרטון סוחף עבורApple Vision Proהוא סטייה מהקרנות טיפוסיות של עין הדג, המשלבת טוויסט מעניין לאוזניות ברזולוציה גבוהה.
אוזניות המספקות חוויות VR ו-AR מציעות לעתים קרובות וידאו סוחף גם למשתמשים. זה יכול ללבוש צורה של וידאו מרחבי, המספק אפקט תלת מימדי, אבל גם וידאו של 360 מעלות שמעדיף להקיף את הצופה בתוכן.
אפל גם פרסמהוידיאו קליפים סוחפים, כלומר וידאו תלת מימד של 180 מעלות ברזולוציות גבוהות, אם כי הוא איטי יחסית להגדיל את ספריית התוכן שלו כיום.
כדי להפיק את הסרטונים האלה, לעתים קרובות נעשה שימוש במצלמות עם עדשות עין דג להפקת צילום זווית רחבה במיוחד, עם מספר סרטונים משולבים ליצירת סרטון בודד.
ל-Apple Vision Pro, כמובן, יש את היכולת לצפות בתוכן עין הדג. עם זאת, בזמן שהוא משמש לסטרימינגApple TV+סרטונים, הפורמט ברובו לא מתועד ואינו בשימוש על ידי צדדים שלישיים.
במחקר על ידימייק סוונסון פרסם ביום ראשון, הקרנת הווידאו הסוחפת של אפל למשתמשים נוקטת בגישה שונה מעיצוב עין דג קונבנציונלי יותר.
עיוותים שונים
תרגום תמונה מסרטון דו-ממדי למפת הקרנה חצי-כדורית או כדורית הניתנת לצפייה מהמשתמש במרכז זה לא קל, אבל זה משהו שנפתר למעשה הודות לעיוות.
צילום טיפוסי של 180 מעלות מחוץ למצלמה שמקיף את כל מה שבתוך הפריים יופיע כעיגול, עם קטעים שחורים בפינות ובקצוות של המעגל המתייחסים לאזורים ללא נתונים חזותיים זמינים.
על ידי פילוח הסרטון כלפי מעלה בצורה ספציפית, ניתן למתוח אותו כך שיתאים לשדה ראייה של 180 מעלות של המשתמש, הן אופקית והן אנכית בתוך כדור וירטואלי. זוהי הדרך הפשוטה ביותר לביצוע הקרנה, אך היא אינה חסכונית בנתונים מכיוון שחלקי הפינה הם חלק מהסרטון המקודד, אך אינם בשימוש בפועל בתמונה הסופית.
קיימת אלטרנטיבה שמבטלת את הקטעים השחורים, בצורה של היטל שווה-מלבן של 180 מעלות. נוצר באמצעות עריכה, הוא מעוות את התמונה כדי למלא את כל המסגרת המלבנית.
כאשר הם מעוותים לצפייה, פירוש הדבר הוא שיותר פיקסלים משמשים לקצוות של מפת ההקרנה, כלומר פרטים נוספים שמשתמשים יוכלו לראות בפועל.
כדי ליצור וידאו סטריאוסקופי עבור כל אחד מהם, או סרטון 360 מעלות, כל שדה ראייה של 180 מעלות נדחס לרוב למחצית מהשטח הפנוי, מה שמאפשר לכלול את שני הצדדים בתוך אותה מסגרת.
עבור תרחיש זה, שמקשה על שמירת הפרטים בכל תצוגה של 180 מעלות, יש טעם לעוות את התמונה לפינות כדי למנוע פיקסלים מבוזבזים.
השפעות עיוות מציאות
סוונסון התקשה בהתחלה לקבוע מה שינתה אפל בטיפול הקרנת עין הדג שלה, אבל כן העלה כמה פרטים על מה שבוצע מניטור תעבורת הרשת של Apple Vision Pro שלו.
מניטור בלבד, הוא גילה שהזרמים היו בערך 50Mbps, מקודדים ב-HDR10, ברזולוציה של 4,320 על 4,320 לכל עין, ב-90fps. עם זאת, מכיוון שסרטוני וידאו סוחפים היו מוגנים ב-DRM, סוונסון לא יכלה לצפות במסגרות עין הדג הגולמיות מבלי לשבור אותן.
לאחר מכן הוא קיבל התראה על קליפ ההקדמה של Apple TV+ של הלוגו באמצעות אותו קידוד עין הדג, אך ללא DRM. זה אפשר ניתוח נוסף של פורמט עין הדג של אפל.
בתור התחלה, במקום להשתמש בפריים וידאו בודד כדי לטפל בשתי עיניים או הקרנות קדמיות ואחוריות של 180 מעלות, אפל במקום זאת מקודדת וידאו סטריאו באמצעות MV-HEVC. למעשה, כל הקרנה של 180 מעלות מאוחסנת בשכבת וידאו נפרדת בתוך קובץ הווידאו.
דוגמאות לעין דג סטנדרטית, הקרנה מלבנית וטיפול בעין הדג של אפל [מייק סוונסון]
באופן חריג יותר, אפל מקודדת את תוכן עין הדג שלה בסיבוב של 45 מעלות. בסיס ה"כדור" ממוקם בפינה השמאלית התחתונה של המסגרת, כאשר הנקודה העליונה בפינה הנגדית.
סוונסון אומר שהשינוי הזה הגיוני, כשסיבה טובה אחת היא שהאלכסון הוא הממד הארוך ביותר של המסגרת ולכן יכול לאחסן יותר פיקסלים לאחר סיבוב אופקיים מאשר גרסה לא מסובבת.
לצופים, היתרון הוא שבקו האופק יהיו הכי הרבה פיקסלים הזמינים. מכיוון שכאן רוב האנשים יסתכלו בזמן צפייה בסרטון, שמירה על הפרטים בסעיף זה חיונית לחוויית הצפייה.
האזורים עם הכי פחות פיקסלים לעבוד איתם בהקרנה עוברים מאמצע החלק העליון, התחתון והצדדים של עין דג רגילה לחלקים ה"פינתיים", שבהם אפשר לראות פחות.
עדיין כמה תעלומות
למרות המידע הנוסף, סוונסון לא פיצח את כל התהליך של אפל, כשכמה אלמנטים עדיין חומקים ממנו.
אחד מאלה מתרכז סביב טכניקה הנקראת מתיחה רדיאלית, שבה כל דרגת תמונה נמתחת עד לקצה של מסגרת מרובעת, תוך מקסימום השימוש בכל המסגרת לתמונה.
בעוד שסוונסון התקרבה בעת עיבוד מסגרת עין דג גולמית של אפל, היא "לא 100% נכונה". מוצע שישנם כמה אלמנטים לוגיים נוספים הפועלים לאורך האלכסונים כדי להפחית את כמות המתיחה והעיוות הרדיאליים הנדרשים, כאשר הניחוש הטוב ביותר של סוונסון הוא השימוש בפינות משופעות פשוטות.
מוצע גם שאפל עשויה לקודד לגיאומטריה ספציפית כדי להוסיף מורכבות מיותרת, מה שמקשה על אחרים להשתמש באותו פורמט.
סוונסון עדיין נותר עם שאלות לגבי הסיבה שאפל משתמשת בפורמט הקרנה מסוג זה. למרות שאפל עשויה לגלות שיש יתרונות נוספים לעשות זאת, הם עדיין בגדר תעלומה.
קידוד וידאו עבור Apple Vision Pro הוא רק אחד מהאתגרים שעומדים בפני יוצרי סרטים. במרץ הסבירו את זה בכירי קנוןאף אחת מהמצלמות שלומסוגלים להפיק וידאו ברזולוציה ובקצב הרענון שהאוזניות דורשות.
אם אפל מתכוונת להרחיב כיצד היא מתייחסת לווידאו בפורמט, היא עשויה לעשות זאת במהלךWWDC2024ביוני.
