Искусственный интеллект DeepSeek быстро завоевал популярность в мире мобильных устройств и теперь он расширяет свои возможности на платформе Windows, получая полную поддержку от Microsoft. Гигант программного обеспечения объявил о включении модели DeepSeek R1 в свою Azure AI Foundry, что позволит разработчикам тестировать и создавать облачные приложения и сервисы с ее помощью.
Об этом сообщает ProIT
Дистиллированные модели для Copilot+ PC
Microsoft также представила дистиллированные версии R1 для компьютеров Copilot+ PC. Дистиллированная модель искусственного интеллекта является упрощенной версией большей нейросети, которая сохраняет часть ее производительности, но работает быстрее и эффективнее. Процесс дистилляции позволяет передавать знания от большой модели к меньшей. К примеру, полная модель DeepSeek R1 содержит 671 млрд параметров, тогда как дистиллированные модели будут иметь от 1,5 млрд до 14 млрд параметров.
Дистиллированные модели, хотя и менее мощные, чем полная версия, имеют преимущество в меньшем размере, что позволяет им работать на потребительском оборудовании без необходимости специализированных систем, которые могут стоить десятки тысяч долларов.
Оптимизация и доступность моделей
Первоначально дистиллированные модели DeepSeek R1 будут доступны для устройств на базе чипов Snapdragon X и процессоров Intel Core Ultra 200V, а затем и для ПК на базе AMD Ryzen AI 9. Первой моделью станет DeepSeek-R1-Distill-Qwen-1.5B (из 1, 5 млрд параметров), а более мощные модели с 7B и 14B параметрами появятся в ближайшее время, доступные для скачивания через Microsoft AI Toolkit.
Microsoft провела настройки этих моделей для оптимизации работы на устройствах с NPU. В то же время, операции, требующие большого доступа к памяти, выполняются на центральном процессоре, тогда как вычислительные задачи, такие как трансформаторный блок, обрабатываются на NPU. Благодаря такой оптимизации Microsoft смогла добиться быстрого времени до первого токена (130 мс) и пропускной способности 16 токенов в секунду для кратких подсказок (менее 64 токенов).
Также следует отметить, что понятие «токен» можно сравнить с гласной буквой, поскольку один токен обычно длиннее одного символа.
Microsoft активно инвестирует в развитие искусственного интеллекта, включая партнерство с OpenAI, создателем ChatGPT и GPT-4. В то же время компания стремится диверсифицировать свои ресурсы, предлагая модели GPT (OpenAI), Llama (Meta), Mistral (компания по искусственному интеллекту) и теперь DeepSeek через свою платформу Azure Playground.