Анализ, проведенный некоммерческим институтом исследования искусственного интеллекта Epoch AI, свидетельствует о том, что индустрия искусственного интеллекта может вскоре столкнуться с трудностями в достижении значительных приростов производительности для моделей «понимания». Согласно выводам отчета, уже через год прогресс в этой сфере может замедлиться.
Об этом сообщает ProIT
Модели «понимания», такие как o3 от OpenAI, за последние месяцы продемонстрировали существенные достижения на бенчмарках искусственного интеллекта, особенно в оценках математических и программных навыков. Эти модели способны применять больше вычислительной мощности к задачам, что улучшает их производительность, но имеет недостаток: они требуют больше времени для выполнения задач по сравнению с традиционными моделями.
Технология обучения и её вызовы
Разработка моделей «понимания» начинается со стандартного обучения на огромных объемах данных, после чего применяется метод подкрепляющего обучения, который фактически предоставляет модели «обратную связь» относительно её решений в сложных задачах. По данным Epoch, на данный момент передовые лаборатории искусственного интеллекта, такие как OpenAI, не использовали значительную вычислительную мощность на этапе подкрепляющего обучения.
Однако ситуация меняется. OpenAI сообщила, что для обучения o3 было применено примерно в 10 раз больше вычислительной мощности, чем для её предшественника o1, и Epoch предполагает, что большая часть этой мощности была потрачена именно на подкрепляющее обучение. Недавно исследователь OpenAI Дан Робертс также отметил, что в планах компании на будущее приоритетом будет подкрепляющее обучение с использованием ещё большей вычислительной мощности, чем для начального обучения моделей.
Перспективы развития
Тем не менее, по словам Epoch, существует верхний предел того, сколько вычислительной мощности может быть применено к подкрепляющему обучению. Аналитик Epoch Джош Ю, автор анализа, объясняет, что прирост производительности от стандартного обучения моделей искусственного интеллекта в настоящее время удваивается ежегодно, в то время как прирост от подкрепляющего обучения возрастает в десять раз каждые 3-5 месяцев. Он отмечает, что прогресс в обучении моделей «понимания», вероятно, «конвергирует с общим фронтиром к 2026 году».
Анализ Epoch содержит ряд предположений и частично основывается на публичных комментариях руководителей компаний в сфере искусственного интеллекта. Однако также подчеркивается, что масштабирование моделей «понимания» может оказаться сложным из-за высоких накладных расходов на исследования. Джош Ю отмечает: «Если существуют постоянные накладные расходы, связанные с исследованиями, модели «понимания» могут не масштабироваться так далеко, как ожидается. Быстрое масштабирование вычислительной мощности является потенциально очень важным компонентом прогресса моделей «понимания», поэтому это стоит внимательно отслеживать».
Любые признаки того, что модели «понимания» могут достичь определенного ограничения в ближайшем будущем, наверняка вызовут беспокойство в индустрии искусственного интеллекта, которая инвестировала огромные ресурсы в разработку этих типов моделей. Уже было доказано, что модели «понимания», которые могут быть чрезвычайно дорогими в использовании, имеют серьезные недостатки, такие как склонность к «галлюцинациям» больше, чем некоторые традиционные модели.
