THEסטודיו מקהיא מערכת נהדרת להפעלת דגמי AI כמו DeepSeek באופן מקומי. כלומר, אם אתה מוכן לשלם עבור M3 Ultra והרבה שדרוגים.
סיליקון אפל שולט ב-יכולת AIשוק מחשב, עם יכולתו ליישומי למידת מכונות, מה שהופך אותו לרכישה אטרקטיבית. בסרטון חדש נראה כיM3סטודיו Ultra Mac יכול להציע לאנשים העובדים ב- AI כמות ניכרת של ביצועים לשחק איתם.
THEוִידֵאוֹמ- Dave2D דן בסטודיו M3 Ultra Mac, המהיר ביותר של אפלמקבסגל. עם זאת, מה שנבדק בסרטון הוא יותר להפגין את הקצוות של החומרה, ולא עומס צנוע וקונבנציונאלי יותר.
הגרסה המוצגת בסרטון משתמשת בשבב Ultra M3 עם התצורה העליונה של מעבד 32 ליבות, GPU של 80 ליבות והמנוע העצבי בן 32 הליבה. הוא גם ארוז עם 512 ג'יגה -בייט של זיכרון אחיד, הכמות המרבית הזמינה לדגם, עם רוחב פס זיכרון של 819GB/s.
שימוש מקומי ב- LLM
בעוד שהסקירה דנה כיצד המודל אינו עושה שינוי מאסיבי לזרימות עבודה טיפוסיות של תוכן וידאו, הוא אכן מתמקד בכמות הזיכרון העצומה. זה, ויכולתו להריץ דגמי שפה גדולים (LLMs) מאסיביים המשמשים ליישומי AI.
השימוש הברור ביותר הוא להיות מסוגל להשתמש ב- LLM באופן מקומי מבלי שתצטרך לשלוח את הבקשה לחוות שרתים. במקרים כמו בית חולים, הצורך בפרטיות המטופלים פירושו שמירה על הנתונים באתר היא אפשרות טובה יותר מאשר לשלוח אותם לעיבוד מחוץ לאתר, במידת האפשר.
כדי לבדוק את זה, Deepseek-R1 הועמס ונרצה באופן מקומי באולפן MAC. זה לא היה אפשרי בקלות לפני כן, בגלל דגם 671 מיליארד פרמטר הדורש קצת יותר מ -400 גיגה-בייט של אחסון וקצת פחות מ- 450 גיגה-בייט של זיכרון RAM וידאו כדי לתפקד.
מֵאָזסיליקון תפוחמשתמש בזיכרון המאוחד, תצורת הזיכרון העליונה של 512GB מסוגלת להתמודד עם גודל הקובץ המסיבי של הדגם. למרות שאתה יכול להריץ גרסאות פרמטר נמוכות יותר ב- Mac עם כמות קטנה יותר של זיכרון, אתה יכול רק להשתמש בתצורה הגבוהה ביותר כדי להשתמש במודל הגדול ביותר של DeepSeek-R1.
אכן, במהלך הבדיקה נמצא כימקוסמגביל את כמות הזיכרון שניתן להשתמש בה לזיכרון הווידיאו כברירת מחדל ל- 384GB, כך שהיה צריך לבטל כדי להתחיל בבדיקה.
כאשר זה היה פועל, סטודיו MAC הצליח לנתח שאילתות בערך 17 עד 18 אסימונים בשנייה. זוהי רמה שנחשבת לשימוש לרוב השימושים ב- LLM.
בעוד שביצועי LLM הם גורם אחד של עניין, אחר הוא צריכת חשמל, שכן הפעלת המודלים יכולה לדרוש משאבים רבים. במקרה של המודל בסטודיו MAC, הוא נצפה כבעל 160 עד 180 וואט במהלך השימוש.
זה אולי נשמע כמו הרבה, אבל זה יחסית קטן בהשוואה למחשב שנבנה בהתאמה אישית עם מספר GPUs המיוצרים לאותה משימה. מוצע כי משיכת הכוח של אותה מערכת היפותטית יכולה להיות פי עשרה מזה של סטודיו MAC.
אפשרות יקרה
למרות שסטודיו MAC עם M3 Ultra נראה כמו אפשרות נהדרת לשימוש ופיתוח LLM, יש חיסרון גדול מבחינת העלות.
האפשרות 512 ג'יגה-בייט זמינה רק עבור שבב Ultra M3 העליון, שמוסיף 1,500 דולר למחיר של 3,999 דולר של דגם הבסיס. המעבר מהבסיס של זיכרון 96 ג'יגה-בייט ל 512 ג'יגה-בייט הוא שוב תוסף של 4,000 דולר, מה שמביא את העלות הכוללת ל -9,499 דולר עם בסיס האחסון הבסיס של 1TB.
ירידת כ -10,000 דולר ב- Mac למטרות AI אינה באה בחשבון עבור רוב האנשים. עם זאת, זו יכולה להיות אפשרות לעסקים ותאגידים שיש להם את הכספים ויכולים להצדיק ביתר קלות את Studio Mac עם M4 Ultra להפעלת LLM באתר.
פעולות כאלה עשויות אפילו לשקול ליצור אאשכול Mac, אם יש להם את התקציב.
