Навіщо OpenAI купує десятки тисяч Mac для ШІ-агентів

Повідомлення про те, що OpenAI придбала десятки тисяч комп’ютерів Mac mini та Mac Studio, вказують на конкретну потребу ШІ-інфраструктури: запускати велику кількість незалежних середовищ macOS для агентів, які працюють із комп’ютером, а також для експериментів із навчанням із підкріпленням.

Це не означає, що Apple silicon замінює GPU-кластери, на яких навчають масштабні базові моделі. До того ж ані точна кількість придбаних пристроїв, ані спосіб їхнього розгортання поки що не підтверджені незалежно. 111

Чому агентам потрібні звичайні комп’ютери

Агент, який уміє користуватися комп’ютером, не просто генерує текст. Він може відкривати браузер, натискати кнопки в програмах, працювати з файлами, реагувати на запити дозволів і відновлюватися після змін на екрані.

Щоб навчати та перевіряти таку поведінку, системі потрібні численні повторювані взаємодії з реалістичним операційним середовищем. Флот компактних Mac може стати набором незалежних macOS-вузлів для таких завдань — своєрідними пісочницями для агентів.

Такі комп’ютери можна використовувати для оцінювання моделей, запуску inference — отримання відповідей від уже навчених моделей, — координації агентів і виконання численних циклів навчання з підкріпленням. Повідомляється, що Anthropic використовує схожу інфраструктуру, орендуючи потужності Mac через Amazon Web Services. 126

Різниця між цим підходом і традиційним навчанням великих моделей принципова. Під час навчання з підкріпленням система генерує багато спроб, або траєкторій, у певному середовищі, а потім використовує результати для вдосконалення своєї стратегії. Якщо цим середовищем є справжній робочий стіл, браузер і набір програм, прямий доступ до операційної системи може бути практичнішим, ніж спроба відтворити всі її особливості через емуляцію чи віртуалізацію.

Головна перевага Apple — unified memory

У чипах Apple silicon CPU, GPU та ресурси нейронної обробки працюють зі спільним пулом unified memory — уніфікованої пам’яті. На відміну від типової зв’язки «процесор плюс дискретна відеокарта», дані не потрібно так само часто копіювати між системною оперативною пам’яттю та окремою відеопам’яттю. 5

Для локального ШІ обсяг доступної пам’яті іноді важливіший за рекламні показники продуктивності прискорювача. Великий спільний пул дає змогу розмістити на одному комп’ютері ваги моделі, стан програми, дані та службові структури, потрібні для inference.

Це особливо корисно для:

• локального запуску моделей;
• inference великих мовних моделей у квантованому форматі;
• тестування та координації ШІ-агентів;
• підготовки й попередньої обробки даних;
• приватних або повністю офлайн-сценаріїв.

Однак unified memory не скасовує компромісів. Apple silicon не є автоматично найшвидшим рішенням для кожного завдання, а Mac із великим обсягом пам’яті не має тієї самої програмної екосистеми, масштабованих з’єднань і розподілених інструментів, що й датацентровий GPU-кластер.

Найімовірніший результат — різнорідна інфраструктура: GPU для розподіленого навчання з максимальною пропускною здатністю, а Mac та інші локальні системи — для паралельних запусків агентів, тестування й inference на кінцевих пристроях.

Де в цій схемі нові Mac mini та Mac Studio

Оновлена лінійка настільних Mac дає Apple два різні апаратні рівні. Новий Mac mini стартує з ціни 899 доларів США й доступний із чипом M6 або M5 Pro. Mac Studio коштує від 2 499 доларів із M5 Max і від 5 499 доларів із M5 Ultra. Продажі мають розпочатися 22 вересня. 171826

M6 — перший чип Apple для Mac, виготовлений за 2-нанометровим техпроцесом. M5 Ultra натомість є варіантом із найбільшим обсягом пам’яті: Apple заявляє конфігурацію до 512 ГБ unified memory і пропускну здатність пам’яті 1,2 ТБ/с. Компанія позиціонує її як платформу для локального запуску мовних моделей із сотнями мільярдів параметрів. 2133

У такій системі розподіл ролей може виглядати так:

• Mac mini — компактніші та дешевші вузли для масштабування кількості агентських середовищ, тестування й легкого inference.
• Mac Studio — системи з великим обсягом пам’яті для розробників, дослідників, локального обслуговування моделей і завдань, які не вміщуються на звичайних споживчих GPU.

Тому повідомлення про закупівлю OpenAI логічно вписуються у стратегію флоту: багато відносно невеликих машин для незалежних середовищ і потужніші системи для великих моделей та розробки.

Які моделі запустить Mac Studio з 256 ГБ пам’яті

Конфігурація з 256 ГБ — дуже містка, але це не максимальний рівень для M5 Ultra. У загальних рисах така система має без проблем запускати моделі класу 70B, зокрема квантовані версії, залишаючи пам’ять для macOS, контексту та inference-рушія.

Модель із 70 млрд параметрів у 4-бітному форматі зазвичай потребує приблизно 40–48 ГБ доступної пам’яті — залежно від методу квантизації та конкретної реалізації. 54

На тій самій машині можуть поміститися й деякі значно більші розріджені моделі або моделі класу mixture-of-experts у сильно квантованому вигляді. Оцінки для цієї платформи вказують, що окремі моделі приблизно на 235–284 млрд параметрів можуть працювати в системі з 256 ГБ, але це саме оцінки, а не результати офіційних тестів виробника. 405051

Самого числа параметрів недостатньо, щоб визначити, наскільки добре модель працюватиме. Важливі також:

• щільна чи mixture-of-experts архітектура;
• рівень квантизації;
• довжина контексту та потреби KV-кешу;
• накладні витрати фреймворку;
• прийнятна для користувача швидкість відповіді.

Модель може технічно поміститися в пам’яті, але виявитися надто повільною для інтерактивної роботи агента. І навпаки, менша модель іноді буде кориснішою, якщо вона швидко відповідає та може обслуговувати кілька завдань одночасно.

Що ця історія доводить — і чого не доводить

Найобережніший висновок полягає в тому, що ШІ-інфраструктура виходить за межі одного типу величезних GPU-кластерів. Розробка агентів і локальний inference створюють попит на велику кількість невеликих, контрольованих комп’ютерів — особливо коли завдання легко розпаралелюються, пов’язані зі справжньою настільною операційною системою або потребують приватності та низької затримки.

Водночас наявні матеріали не підтверджують усі ширші ринкові твердження, які супроводжують цю історію. Зокрема, повідомлення про конкретний дефіцит постачання, зростання доходів Mac на 29% або те, що Nvidia вважає Apple головним конкурентом у локальному ШІ, слід сприймати як непідтверджені, а не як установлені факти.

Отже, найвиразніша можливість для Apple — у двох сегментах: локальному inference із великим обсягом пам’яті та флотах машин для розробки й оцінювання агентів. Nvidia та інші датацентрові прискорювачі залишаються критично важливими для завдань, де потрібні максимальна швидкість навчання й масштабні розподілені системи.

Майбутнє ринку, ймовірно, визначатиме не формула «Mac проти Nvidia», а розподіл ролей: кожна платформа виконуватиме ті ШІ-завдання, для яких її архітектура підходить найкраще.