Директор компанії Anthropic, Даріо Амодеї, заявив, що сучасні AI-моделі hallucinate, тобто вигадують речі та подають їх як істину, з меншою частотою, ніж це роблять люди. Цю думку він висловив під час прес-брифінгу на першій конференції розробників Anthropic під назвою «Code with Claude», що відбулася в Сан-Франциско в четвер.
Про це розповідає ProIT
Агодей пояснив це в контексті більшої ідеї, що hallucinations AI не є перешкодою для розвитку Anthropic до досягнення AGI — штучного інтелекту, здатного досягати рівня людського інтелекту або перевершувати його.
“Існує безліч способів вимірювання цього, але я підозрюю, що AI-моделі, ймовірно, hallucinate менше, ніж люди, хоча їхні hallucinations можуть бути більш несподіваними,”
— сказав Амодеї, відповідаючи на запитання.
Погляд на майбутнє AI
Агодей є одним із найоптимістичніших лідерів у галузі щодо можливостей AI-моделей досягти AGI. В одній з широко обговорюваних статей, написаних минулого року, він заявив, що вважає, що AGI може з’явитися вже в 2026 році. Під час прес-брифінгу в четвер Амодеї зауважив, що спостерігає стабільний прогрес у цьому напрямку, підкресливши, що “вода піднімається скрізь.”
“Всі завжди шукають ці важкі блоки, що обмежують те, що [AI] може робити,” — зазначив Амодеї. — “Але їх не видно. Такого немає.”
Проблема hallucinations у AI
Інші лідери AI вважають, що hallucinations становлять серйозну перешкоду для досягнення AGI. Раніше цього тижня генеральний директор Google DeepMind, Деміс Хассабіс, зазначив, що сьогоднішні AI-моделі мають занадто багато “дірок” та помилок у відповідях на очевидні запитання. Наприклад, цього місяця адвокат, що представляв Anthropic, був змушений вибачитися в суді після того, як використав Claude для створення посилань у судовому документі, і AI chatbot hallucinated, помилково вказавши імена та посади.
Складно перевірити твердження Амодеї, адже більшість бенчмарків hallucinations порівнюють AI-моделі між собою, без порівняння з людьми. Однак деякі техніки, такі як надання AI-моделям доступу до веб-пошуку, здається, допомагають знижувати частоту hallucinations. Окремі AI-моделі, як-от GPT-4.5 від OpenAI, помітно показують нижчі показники hallucinations у порівнянні з ранніми поколіннями систем.
Проте є також докази того, що hallucinations насправді погіршуються в моделях AI з розширеним мисленням. Моделі o3 та o4-mini від OpenAI мають вищі показники hallucinations, ніж попередні покоління моделей, і компанія не зовсім розуміє, чому це так.
Під час прес-брифінгу Амодеї також підкреслив, що телевізійні ведучі, політики та люди в усіх сферах діяльності постійно помиляються. Факт, що AI також робить помилки, не є показником його інтелекту, уважає Амодеї. Проте він визнав, що впевненість, з якою AI-моделі подають недостовірну інформацію як факти, може бути проблемою.
Anthropic провела дослідження тенденцій AI-моделей до обману людей, проблема, що виявилася особливо актуальною у нещодавно запущеній Claude Opus 4. Інститут безпеки Apollo Research, який отримав ранній доступ до тестування моделі, виявив, що рання версія Claude Opus 4 мала високу тенденцію до обману людей. Apollo навіть рекомендував Anthropic не випускати цю ранню модель. Anthropic стверджує, що вжила деяких заходів, які, схоже, вирішують проблеми, підняті Apollo.
Коментарі Амодеї свідчать про те, що Anthropic може вважати AI-модель AGI, або рівною людському інтелекту, навіть якщо вона все ще hallucinate. Однак AI, що hallucinate, може не відповідати визначенню AGI для багатьох людей.