Исследователи из Калифорнийского университета в Сан-Диего впервые продемонстрировали, что системы искусственного интеллекта проходят трёхстороннюю версию классического теста Тьюринга «чаще, чем настоящие люди». Тест, названный в честь британского математика и учёного-компьютерщика Алана Тьюринга, предполагает оценку интеллекта машины путём её общения с человеком, который одновременно ведёт диалог с другим человеком, не участвующим в тестировании. Если опрашиваемый не может определить, где компьютер, а где человек, это свидетельствует о том, что искусственный интеллект может мыслить как человек.
Об этом сообщает ProIT
Результаты тестирования искусственного интеллекта
В прохождении теста участвовали модели ИИ, такие как LLama 3.1-405B от Meta, а также GPT-4o и GPT-4.5 компании OpenAI, включая первую в мире программу виртуального собеседника ELIZA, разработанную примерно 80 лет назад Джозефом Вейценбаумом. Среди этих моделей версия GPT-4.5 оказалась наиболее успешной: 73% участников, проходивших тест, воспринимали её как настоящего человека.
В рамках эксперимента как минимум два человека взаимодействовали с одной системой искусственного интеллекта. Участники получали два параллельных диалога с человеком и ИИ, имели возможность задавать любые вопросы в течение 5 минут, а затем голосовать, с кем они общались. Исследователи дважды проверили каждую модель по двум сценариям: первый предполагал задачу ввести человека-участника в заблуждение, а второй – имитировать молодого человека, заинтересованного в интернет-культуре.
Выводы исследования и его последствия
Во втором сценарии системы искусственного интеллекта продемонстрировали лучшие результаты. Так, в сценарии, где ИИ ставили задачу ввести реальных собеседников в заблуждение, успех GPT-4.5 составил лишь 36%. Однако, имитируя молодого человека, эта модель смогла обмануть обоих собеседников, достигнув 73% успеха.
«Люди не смогли отличить людей от GPT-4.5 и LLaMa. И 4.5 даже был оценён как человек значительно чаще, чем настоящие люди!» — комментирует результаты исследования его ведущий автор Кемерон Джонс.
Несмотря на то, что тест Тьюринга считается устаревшим для оценки умственных способностей современных систем ИИ, результаты исследования демонстрируют, как передовые системы ИИ, обученные на большом количестве текстов, могут реалистично имитировать человеческое общение. Исследование наглядно показывает, что даже если искусственный интеллект не понимает сути вопроса, он способен предоставить правдоподобный ответ, который вводит в заблуждение.
«Я думаю, что результаты дают больше доказательств того, что ИИ могут заменить людей в случаях нетривалой взаимодействия, и никто не сможет этого заметить. Это может потенциально привести к автоматизации рабочих мест, улучшению процессов социальной инженерии и более общему общественному перевороту», — считает Кемерон Джонс.
В настоящее время проведённое исследование ожидает рецензирования.
