Штучний інтелект DeepSeek швидко завоював популярність у світі мобільних пристроїв, і тепер він розширює свої можливості на платформі Windows, отримуючи повну підтримку від Microsoft. Гігант програмного забезпечення оголосив про включення моделі DeepSeek R1 до своєї Azure AI Foundry, що дозволить розробникам тестувати та створювати хмарні застосунки і сервіси за її допомогою.
Про це розповідає ProIT
Дистильовані моделі для Copilot+ PC
Microsoft також представила дистильовані версії R1 для комп’ютерів Copilot+ PC. Дистильована модель штучного інтелекту є спрощеною версією більшої нейромережі, яка зберігає частину її продуктивності, але працює швидше та ефективніше. Процес дистиляції дозволяє передавати знання від великої моделі до меншої. Наприклад, повна модель DeepSeek R1 містить 671 млрд параметрів, тоді як дистильовані моделі матимуть від 1,5 млрд до 14 млрд параметрів.
Дистильовані моделі, хоч і є менш потужними за повну версію, мають перевагу у меншому розмірі, що дозволяє їм працювати на споживчому обладнанні без необхідності спеціалізованих систем, які можуть коштувати десятки тисяч доларів.
Оптимізація та доступність моделей
Спочатку дистильовані моделі DeepSeek R1 будуть доступні для пристроїв на базі чипів Snapdragon X та процесорів Intel Core Ultra 200V, а згодом і для ПК на базі AMD Ryzen AI 9. Першою моделлю стане DeepSeek-R1-Distill-Qwen-1.5B (з 1,5 млрд параметрів), а більш потужні моделі з 7B та 14B параметрами з’являться найближчим часом, доступні для завантаження через Microsoft AI Toolkit.
Microsoft провела налаштування цих моделей для оптимізації їх роботи на пристроях з NPU. Водночас операції, що потребують великого доступу до пам’яті, виконуються на центральному процесорі, тоді як обчислювальні завдання, такі як трансформаторний блок, обробляються на NPU. Завдяки такій оптимізації Microsoft змогла досягти швидкого часу до першого токена (130 мс) і пропускної здатності 16 токенів на секунду для коротких підказок (менше 64 токенів).
Також варто зазначити, що поняття «токен» можна порівняти з голосною літерою, оскільки один токен зазвичай є довшим за один символ.
Microsoft активно інвестує в розвиток штучного інтелекту, включаючи партнерство з OpenAI, творцем ChatGPT і GPT-4. Водночас компанія прагне диверсифікувати свої ресурси, пропонуючи моделі GPT (OpenAI), Llama (Meta), Mistral (компанія зі штучного інтелекту) та тепер DeepSeek через свою платформу Azure Playground.
