מאמר מחקר חדש מראה כי לאפל יש פתרונות מעשיים לבעיות בינה מלאכותית טכניות שנראה שחברות אחרות מתעלמות מהן, במיוחד כיצד להשתמש במודולי שפה גדולים מאסיביים במכשירים בעלי זיכרון נמוך כמואייפון.
למרות הטענות שאפל כןמאחורי התעשייהבנושא בינה מלאכותית, החברה חשפה פעמיים כעת שהיא ממשיכה לבצע את התכנון לטווח הארוך יותר מאשר במרוץ לשחררשיבוט ChatGPT. הסימן הראשון היה מאמר מחקר שהציע מערכת AIשנקרא חיבוקים, שיוצר אווטרים דיגיטליים של בני אדם.
עכשיו כפי שהבחין על ידיVentureBeat, שנייהעבודת מחקר, מציעה פתרונות לפריסת מודולי שפה גדולים (LLM) עצומים במכשירים עם זיכרון RAM מוגבל, כמו מכשירי אייפון.
הנייר חדשנקרא "LLM בהבזק: מסקנות גדולות של שפה יעילה עם זיכרון מוגבל". אפל אומרת שהיא "מתמודדת עם האתגר של הפעלת LLMs ביעילות החורגת מקיבולת ה-DRAM הזמינה על ידי אחסון פרמטרי הדגם בזיכרון הבזק אך הבאתם לפי דרישה ל-DRAM."
אז כל ה-LLM עדיין צריך להיות מאוחסן במכשיר, אבל העבודה איתו ב-RAM יכולה להתבצע באמצעות עבודה עם זיכרון פלאש כמעין זיכרון וירטואלי, לא שונה מאיך שזה נעשה ב-macOS עבור משימות אינטנסיביות בזיכרון.
"בתוך מסגרת זו המבוססת על זיכרון פלאש, אנו מציגים שתי טכניקות עיקריות", נכתב במאמר המחקר. "ראשית, 'חלון' מפחית באופן אסטרטגי את העברת הנתונים על ידי שימוש חוזר בתאי עצב שהופעלו בעבר... ושנית, 'צרור שורות-עמודות', המותאם לעוצמות הגישה הרציפות לנתונים של זיכרון פלאש, מגדיל את גודלם של נתחי נתונים הנקראים מזיכרון הבזק. "
מה שזה אומר בסופו של דבר הוא ש-LLM כמעט בכל גודל עדיין יכול להיפרס על מכשירים עם זיכרון או אחסון מוגבלים. זה אומר שאפל יכולה למנף תכונות AI על פני יותר מכשירים, ולכן בדרכים רבות יותר.
פרט ממאמר המחקר המראה קריאה מהירה יותר של LLMs מזיכרון פלאש
"התוצאות המעשיות של המחקר שלנו ראויות לציון", נטען במאמר המחקר. "הדגמנו את היכולת להריץ LLMs עד פי שניים מה-DRAM הזמין, תוך השגת האצה במהירות ההסקה פי 4-5 בהשוואה לשיטות טעינה מסורתיות ב-CPU, ו-20-25x ב-GPU."
"פריצת דרך זו חיונית במיוחד לפריסת LLMs מתקדמים בסביבות מוגבלות במשאבים", הוא ממשיך, "ובכך מרחיבה את הישימות והנגישות שלהם."
אפל פרסמה את המחקר הזה, כפי שעשתה עם מאמר HUGS. אז במקום להיות מאחור, היא למעשה פועלת לשיפור יכולות הבינה המלאכותית עבור כל התעשייה.
זה משתלב עם אנליסטים שלאור בסיס המשתמשים שאפל עושה, מאמינים שהחברה תעשה זאתלהועיל ביותרככל שה-AI הולך יותר למיינסטרים.
