Популярные искусственные интеллекты ChatGPT, Claude и Gemini прошли тестирование на точность при анализе новостей о военном конфликте в Иране. По результатам исследования, проведенного экспертами, были выявлены существенные недостатки в работе этих чат-ботов, особенно в отношении достоверности их ответов.
Об этом сообщает ProIT
Выявленные проблемы с достоверностью ответов
Gemini, который часто предоставлял самые подробные и уверенные объяснения, оказался лидером по количеству ошибок. Исследователи зафиксировали вымышленные имена представителей иранской власти, неточные даты и неправильные цифры в ответах бота. Это свидетельствует о склонности Gemini дополнять отсутствующую информацию вероятными, но ложными деталями, создавая так называемые «галлюцинации» искусственного интеллекта.
ChatGPT показал средний уровень точности. Его ответы были структурированными и содержали общие достоверные сведения, однако иногда чат-бот добавлял непроверенные детали. Часть аналитических оценок или предположений подавалась как установленные факты, что может вводить пользователей в заблуждение.
Claude выделился вниманием к фактам
В отличие от других, Claude наиболее четко различал подтвержденную информацию и догадки. Этот чат-бот регулярно ссылался на источники, а на вопросы о закрытых военных операциях отказывался отвечать. Эксперты подчеркивают, что в условиях быстрой смены обстоятельств во время войны особенно важно, чтобы искусственный интеллект признавал ограничения своих знаний и не вводил пользователей в заблуждение.
«Наихудший результат показал Gemini. Хотя бот давал детальные и уверенные объяснения, он чаще всего допускал так называемые “галлюцинации”. Исследователи обнаружили вымышленные имена иранских должностных лиц, неправильные даты и неточные цифры. Фактически система пыталась заполнять пробелы в знаниях правдоподобной, но недостоверной информацией».