Ученые отмечают, что большие языковые модели (LLM) достигают таких высоких уровней мастерства в имитации человеческого поведения, что GPT-4.5, по их словам, смог убедительно пройти тест Тюринга. Это свидетельствует о значительном прогрессе в развитии искусственного интеллекта.
Об этом сообщает ProIT
Новое исследование и результаты теста
В новом исследовании, опубликованном в базе данных препринтов arXiv, показано, что во время тройного теста Тюринга GPT-4.5 смог ввести участников в заблуждение, заставив их поверить, что общаются с человеком, в 73% случаев. Исследователи сравнивали различные модели искусственного интеллекта, и это первый случай, когда LLM успешно прошел более сложную конфигурацию теста, разработанную компьютерным ученым Аланом Тюнингом.
Соавтор исследования Кэмерон Джонс, научный сотрудник лаборатории языка и когнитивных наук Университета Сан-Диего, отметил: “Проходят ли LLM тест Тюринга? Мы считаем, что это довольно убедительное доказательство того, что они проходят.”
Анализ результатов показал, что хотя GPT-4.5 продемонстрировал лучшие результаты, другая модель, LLaMa-3.1 от Meta, также была ошибочно идентифицирована участниками как человек в 56% случаев. Это свидетельствует о том, что даже если речь идет о новейших технологиях, задача еще не является полностью решенной.
Суть теста Тюринга
Основная цель теста Тюринга — не столько доказать, что машины могут мыслить, сколько проверить, могут ли они успешно имитировать поведение человека. Тест предполагает, что человек-допрашивающий задает вопросы двум невидимым сущностям: одному человеку и одной машине. Если участники не могут их отличить, модель считается прошедшей тест.
В новом тройном тесте, проведенном исследователями, участвовали 126 студентов и 158 человек из онлайн-пула данных Prolific. Тест включал пятиминутный обмен вопросами и ответами между участниками и LLM, которые пытались убедить всех, что они являются людьми. Важно отметить, что LLM получили подсказки для формирования личности, что существенно повлияло на результаты.
Исследование подчеркивает, что для успешного прохождения теста LLM необходимо не только выглядеть правдоподобно, но и иметь четкое представление о своей человеческой природе, что указывает на важность личностного подхода к взаимодействию с участниками теста.
Этот прогресс в развитии искусственного интеллекта открывает новые возможности для создания агентов, которые смогут более естественно общаться. В то же время возникает беспокойство по поводу рисков, связанных с использованием ИИ для манипуляций и социальной инженерии. Как отмечают исследователи, “некоторые из наихудших последствий от LLM могут возникать тогда, когда люди не знают, что общаются с искусственным интеллектом”.
