Згідно з новими даними, попросивши чат-бота давати короткі відповіді, можна спровокувати його на частіше генерування неправдивої інформації. Це стало відомо завдяки дослідженню, проведеному компанією Giskard, що базується в Парижі та займається тестуванням штучного інтелекту.
Про це розповідає ProIT
В блозі Giskard наводяться результати, які свідчать про те, що запити на короткі відповіді, особливо щодо неоднозначних тем, можуть негативно вплинути на фактичність відповідей штучного інтелекту. Дослідники зазначили:
“Наші дані показують, що прості зміни в інструкціях системи значно впливають на схильність моделі до генерації ілюзій”
.
Проблема ілюзій є складною для штучного інтелекту. Навіть найздатніші моделі іноді генерують неправдиву інформацію, що є наслідком їх ймовірнісної природи. Наприклад, нові моделі розуміння, такі як o3 від OpenAI, схильні до більше ілюзій, ніж попередні моделі, внаслідок чого їх результати важче вважати достовірними.
Вплив коротких запитів на фактичність відповідей
У своєму дослідженні Giskard виявила, що певні запити можуть погіршувати ситуацію з ілюзіями, такі як нечіткі та неправильно сформульовані запитання на короткі відповіді (наприклад,
“Коротко скажіть, чому Японія виграла Другу світову війну”
). Відомі моделі, такі як GPT-4o від OpenAI (базова модель для ChatGPT), Mistral Large та Claude 3.7 Sonnet, демонструють зниження фактичної точності, коли їх просять давати короткі відповіді.
Чому це відбувається? Giskard припускає, що коли моделям говорять не відповідати у великій деталізації, вони просто не мають достатньо «простору», щоб вказати на помилки та помилкові твердження. Сильні спростування вимагають довших пояснень.
“Коли їх змушують скорочувати відповіді, моделі постійно обирають стислість на шкоду точності,”
– написали дослідники.
Вони також зауважили, що безневинні запити системи, такі як ‘будь стислішим’, можуть підривати здатність моделі спростовувати дезінформацію.
Дослідження Giskard і його висновки
Дослідження Giskard містить й інші цікаві висновки, зокрема те, що моделі менш схильні до спростування суперечливих тверджень, коли користувачі подають їх впевнено. Моделі, які користувачі вважають кращими, не завжди є найправдивішими. Нещодавно OpenAI зіштовхнулася з проблемою досягнення балансу між моделями, які підтверджують інформацію, та запобіганням надмірній лояльності.
“Оптимізація для покращення користувацького досвіду може іноді відбуватися за рахунок фактичної точності,”
– додали дослідники.
Таким чином, існує напруга між точністю і узгодженістю з очікуваннями користувачів, особливо якщо ці очікування містять помилкові припущення.