Глобальний попит на обчислювальні ресурси для запуску моделей штучного інтелекту продовжує зростати, однак компанії стикаються з двома основними викликами: нестачею відповідних чипів та необхідністю розміщення обладнання у дата-центрах для отримання прибутку.
Про це розповідає ProIT
General Compute робить ставку на нове покоління AI-чипів
Стартап General Compute, який спеціалізується на оренді потужностей для фаз інференсу — тобто для виконання моделей під час взаємодії з користувачами, а не під час навчання — залучив $15 млн інвестицій на стартовому раунді з оцінкою $60 млн. Інвестиції очолив фонд FUSE VC, до раунду також долучилися Carya Venture Partners і Village Global Ventures.
Останнім часом попит на графічні процесори зріс до рекордного рівня, однак дедалі частіше експерти визнають, що для інференсу вони не є оптимальним вибором. Фаза роботи моделей AI має інші вимоги до обчислень порівняно з навчанням, тому розробляються нові класи чипів саме для цієї задачі. Про це свідчить нещодавня угода Groq на $20 млрд та IPO Cerebras із капіталізацією $57 млрд.
SambaNova — новий технологічний партнер для інновацій у сфері AI
В умовах дефіциту потужностей у провідних компаній, засновники General Compute — CEO Фінн Пукловскі та CTO Джейсон Гудісон — вирішили співпрацювати з SambaNova, яка за підтримки Intel розробляє спеціалізовані чипи для інференсу. Незабаром очікується реліз нового покоління чипів SambaNova, що, за заявами компанії, перевершують не лише GPU, а й продукти Groq та Cerebras. Пукловскі стверджує, що нові чипи здатні генерувати 600–700 токенів за секунду, тоді як сучасні GPU — лише близько 250 токенів.
“Якщо ви користуєтесь ChatGPT і отримуєте 50 токенів за секунду, це вже значно швидше, ніж можемо читати ми самі. Тепер, коли моделі працюють у режимі агент-до-агента, вони повинні бути ще швидшими”, — зазначає Пукловскі.
General Compute вже замовила SN50-чипи SambaNova на суму $300 млн і планує стати першою неохмарною компанією, яка розгорне ці рішення у своїх дата-центрах.
Ще однією перевагою нових чипів є їхня енергоефективність і можливість охолодження повітрям, що дозволяє встановлювати їх у наявних дата-центрах без модернізації інфраструктури. Компанія також розглядає колокаційні угоди не лише з операторами дата-центрів, а й із майнерами криптовалют, які шукають нові способи використання своїх потужностей на тлі зростання собівартості майнінгу.
Минулого тижня General Compute запустила власну хмарну платформу, яка вже демонструє найвищу швидкість виконання MiniMax 2.7 — потужної відкритої LLM-моделі. Паралельно інвестор Джо Гассельманн, який ще у 2021 році одним із перших підтримав Groq, тепер інвестував у General Compute зі свого нового фонду Evercrest Capital Partners. Він проводить паралелі між партнерством General Compute і SambaNova та співпрацею Coreweave з Nvidia чи Groq із власною хмарною платформою.
Сучасний ринок AI стає все більш відкритим для різних гравців, а швидкість й економічність інференсу стають визначальними чинниками конкурентоспроможності. Прикладом цього є нещодавній раунд фінансування OpenRouter на $113 млн для розвитку мульти-модельної інфраструктури, що дозволяє клієнтам оптимізувати витрати на генерацію токенів.
Пукловскі наголошує, що ключовим завданням є зменшити час виконання завдань для агентів-розробників із годин до лічених хвилин, а також зробити більш доступними голосові агентські рішення для сфери підтримки клієнтів, які вимагають максимальної швидкості інференсу для ефективної взаємодії.