Японский стартап Sakana, специализирующийся на разработках в сфере искусственного интеллекта, объявил о успешном прохождении рецензирования первой научной статьи, сгенерированной их моделью ИИ. Однако важно подчеркнуть, что к этому заявлению стоит относиться с определенной осторожностью.
Об этом сообщает ProIT
Многие ученые считают, что искусственный интеллект в настоящее время не способен конкурировать с людьми в создании качественных исследовательских материалов. Тем не менее, некоторые эксперты полагают, что ИИ имеет потенциал в этой области, хотя на данный момент его возможности остаются ограниченными.
Эксперимент с рецензированием
Разработчики из Sakana утверждают, что использовали модель ИИ под названием The AI Scientist-v2 для генерации научного материала, который был представлен на семинаре ICLR — одной из самых престижных конференций в области искусственного интеллекта. Они отметили, что организаторы семинара и руководство конференции согласились на проведение эксперимента, в рамках которого был применен метод двойного слепого рецензирования для рукописей, созданных ИИ.
В ходе работы стартап сотрудничал с исследователями из Университета Британской Колумбии и Оксфорда, чтобы представить три сгенерированных ИИ документа на семинаре. Модель полностью создала все три научные публикации, включая гипотезы, эксперименты, анализ данных, визуализации и текст.
«Мы генерировали исследовательские идеи, предоставляя ИИ аннотацию и описание семинара. Это гарантировало, что сгенерированные статьи соответствовали теме и были пригодны для презентации», — отметил научный сотрудник и основатель Sakana Роберт Ланге.
Проблемы и вызовы
Одна из научных работ, получившая одобрение, была статьей с критическим обзором методов обучения моделей ИИ. Sakana впоследствии отозвала эту статью, чтобы соблюдать прозрачность и уважать правила ICLR. Роберт Ланге добавил, что эта статья «представляет новый многообещающий метод обучения нейронных сетей и показывает, что остаются еще эмпирические проблемы».
Тем не менее, стартап признает, что модель AI Scientist-v2 иногда ошибалась в цитатах научных работ. Например, она неверно указала год публикации одной из статей. Сгенерированные материалы также не проходили такую же тщательную проверку, как некоторые другие рецензируемые статьи, поскольку компания отозвала их до получения окончательного решения.
«Сотрудники Sakana выбрали статьи из некоторого количества сгенерированных, то есть они руководствовались человеческим суждением относительно выбора результатов, которые, по их мнению, могли бы попасть», — прокомментировал исследователь искусственного интеллекта Мэттью Гуздиал.
Технические ограничения искусственного интеллекта, такие как вероятность возникновения ошибок, заставляют многих ученых быть осторожными в использовании ИИ для серьезных научных исследований. Sakana не утверждает, что их модель способна писать принципиально новые научные работы; скорее, целью эксперимента было изучить качество исследований, созданных ИИ, и подчеркнуть необходимость внедрения норм, регулирующих научные публикации, созданные искусственным интеллектом.
