Лаборатория Thinking Machines, возглавляемая бывшей технической директоркой OpenAI Мирой Мураті, официально представила свой исследовательский блог, раскрыв детали одного из ключевых проектов — создание моделей искусственного интеллекта с воспроизводимыми ответами. По данным лаборатории, достижение последовательности в работе больших языковых моделей (LLM) может существенно изменить подходы к использованию ИИ в бизнесе и науке.
Об этом сообщает ProIT
Способы преодоления непредсказуемости ИИ-моделей
В блоге под названием «Преодоление недетерминизма в выводах LLM» исследователь лаборатории Хорас Хе анализирует причины возникновения случайности в ответах ИИ. Он утверждает, что главная проблема заключается в способе взаимодействия и объединения GPU-ядр, которые выполняют вычисления на графических процессорах Nvidia в процессе инференса (то есть генерации ответа после ввода запроса). По словам Хе, если контролировать этот технический уровень более точно, можно добиться большей предсказуемости в работе моделей искусственного интеллекта.
«Мы верим, что наука становится лучше, когда ее результаты открыты для всех. Блог Connectionism охватывать разнообразные темы, от численных методов до архитектуры моделей».
Разработка стабильных и воспроизводимых ответов важна не только для пользователей, но и для ученых и компаний, которые полагаются на ИИ в критических задачах. Кроме того, это может значительно улучшить процесс обучения с подкреплением (reinforcement learning, RL), когда модели вознаграждаются за правильные ответы. Если ответы постоянно различаются, обучающие данные становятся менее точными, что замедляет развитие технологии.
Стратегия открытости и планы лаборатории Thinking Machines
Лаборатория Thinking Machines сообщила инвесторам, что будет использовать обучение с подкреплением для индивидуальной настройки моделей под потребности бизнеса. Мураті отметила, что первый продукт лаборатории будет представлен в течение ближайших месяцев и станет полезным для исследователей и стартапов, работающих над собственными ИИ-моделями. В то же время пока неизвестно, будут ли в этом продукте реализованы принципы, описанные в текущем исследовании.
Лаборатория также анонсировала регулярную публикацию исследовательских статей, программного кода и другой информации, чтобы сделать свои наработки максимально открытыми для сообщества и повысить собственную научную культуру. Серия блогов под названием Connectionism является первым шагом в этом направлении. Известно, что OpenAI в начале также декларировала открытость, однако со временем стала менее прозрачной для общественности.
Запуск исследовательского блога дает возможность заглянуть в внутреннюю кухню одного из самых закрытых стартапов Кремниевой долины, который оценивается в $12 миллиардов. Хотя компания пока не раскрывает всех технологических деталей, ее подход свидетельствует о готовности решать одни из самых сложных вопросов современного развития искусственного интеллекта. Главным испытанием для лаборатории Thinking Machines станет не только решение проблем непредсказуемости, но и способность превратить свои исследования в практические продукты, которые оправдают высокую оценку компании.
