Японський стартап Sakana, що спеціалізується на розробках у сфері штучного інтелекту, оголосив про успішне проходження рецензування першої наукової статті, згенерованої їхньою моделлю ШІ. Однак важливо підкреслити, що до цієї заяви варто ставитися з певною обережністю.
Про це розповідає ProIT
Багато науковців вважають, що штучний інтелект наразі не здатний конкурувати з людьми у створенні якісних дослідницьких матеріалів. Проте деякі експерти вважають, що ШІ має потенціал у цій галузі, хоча на даний момент його можливості залишаються обмеженими.
Експеримент із рецензування
Розробники з Sakana стверджують, що використали модель ШІ під назвою The AI Scientist-v2 для генерації наукового матеріалу, який був представлений на семінарі ICLR — одній з найпрестижніших конференцій у сфері штучного інтелекту. Вони зазначили, що організатори семінару та керівництво конференції погодились на проведення експерименту, в рамках якого було застосовано метод подвійного сліпого рецензування для рукописів, створених ШІ.
Під час роботи стартап співпрацював з дослідниками з Університету Британської Колумбії та Оксфорду, щоб представити три згенеровані ШІ документи на семінар. Модель повністю створила всі три наукові публікації, включаючи гіпотези, експерименти, аналіз даних, візуалізації та текст.
«Ми генерували дослідні ідеї, надаючи ШІ анотацію та опис семінару. Це гарантувало, що згенеровані статті відповідали темі та були придатними для презентації», — зазначив науковий співробітник та засновник Sakana Роберт Ланге.
Проблеми і виклики
Одна з наукових робіт, що отримала схвалення, була статтею з критичним оглядом методів навчання моделей ШІ. Sakana згодом відкликала цю статтю, щоб дотриматися прозорості та поважати правила ICLR. Роберт Ланге додав, що ця стаття «представляє новий багатообіцяючий метод навчання нейронних мереж і показує, що залишаються ще емпіричні проблеми».
Проте, стартап визнає, що модель AI Scientist-v2 іноді помилялася в цитатах наукових робіт. Наприклад, вона неправильно вказала рік публікації однієї з статей. Згенеровані матеріали також не проходили таку ж ретельну перевірку, як деякі інші рецензовані статті, оскільки компанія відкликала їх до отримання остаточного рішення.
«Співробітники Sakana вибрали статті з деякої кількості згенерованих, тобто вони керувались людським судженням щодо вибору результатів, які, на їхню думку, могли б потрапити», — прокоментував дослідник штучного інтелекту Метью Гуздіал.
Технічні обмеження штучного інтелекту, такі як ймовірність натрапляння на помилки, змушують багатьох науковців бути обережними у використанні ШІ для серйозних наукових досліджень. Sakana не стверджує, що їхня модель здатна писати принципово нові наукові роботи; швидше, метою експерименту було вивчити якість досліджень, створених ШІ, та підкреслити необхідність впровадження норм, що регулюють наукові публікації, створені штучним інтелектом.