Компанія OpenAI презентувала нове дослідження, у якому детально аналізується феномен галюцинацій у мовних моделях. Дослідники порівнюють поведінку штучного інтелекту з учнями на іспиті, які, не знаючи правильної відповіді, часто обирають ризикнути і відповісти будь-що, щоб отримати хоча б якісь бали, замість того щоб зізнатися у незнанні.
Про це розповідає ProIT
Недосконалість сучасних метрик оцінювання
Згідно з результатами дослідження, така поведінка моделей пояснюється самим підходом до оцінювання відповідей. Сучасні бенчмарки, зокрема MMLU та SWE-bench, використовують бінарну систему — відповідь визнається або правильною, або ні. За таких умов мовні моделі заохочуються до «вгадування» і не мають стимулу визнавати невизначеність чи відсутність знань.
OpenAI опублікувала дослідження про природу галюцинацій у мовних моделях. Автори порівнюють їх із учнями на іспиті: якщо відповідь «не знаю» приносить нуль балів, вигідніше ризикнути і видати хоч якусь відповідь.
Причини та вирішення проблеми галюцинацій
Фахівці OpenAI наголошують, що проблема виникає ще на етапі передбачення: статистична мета навчання призводить до помилок, особливо стосовно рідкісних фактів, як-от дати народження, які з’являються у навчальних даних лише раз. Остаточно ж тенденція до «блефу» закріплюється під час постобучення, коли моделі підлаштовуються під некоректні метрики.
Для вирішення цієї проблеми OpenAI пропонує реформувати систему оцінювання. Зокрема, за свідомо неправдиву відповідь мовна модель має отримувати суттєвий штраф, тоді як за чесне визнання невизначеності — частину балів. Такий підхід, на думку авторів дослідження, дозволить стимулювати створення більш надійних і прозорих моделей штучного інтелекту, здатних коректно демонструвати свої знання й межі впевненості.
