Вчені зазначають, що великі мовні моделі (LLM) досягають таких високих рівнів майстерності в імітації людської поведінки, що GPT-4.5, за їхніми словами, зумів переконливо пройти тест Тюрінга. Це свідчить про значний прогрес у розвитку штучного інтелекту.
Про це розповідає ProIT
Нове дослідження та результати тесту
У новому дослідженні, опублікованому в базі даних препринтів arXiv, показано, що під час тристороннього тесту Тюрінга, GPT-4.5 зміг ввести учасників в оману, змусивши їх повірити, що спілкуються з людиною, у 73% випадків. Дослідники порівнювали різні моделі штучного інтелекту, і це є першим випадком, коли LLM успішно пройшов складнішу конфігурацію тесту, розроблену комп’ютерним вченим Аланом Тюрінгом.
Співавтор дослідження Кемерон Джонс, науковий співробітник лабораторії мови та когніції Університету Сан-Дієго, зазначив: “Чи LLM проходять тест Тюрінга? Ми вважаємо, що це досить переконливий доказ того, що вони проходять.”
Аналіз результатів показав, що хоча GPT-4.5 продемонстрував найкращі результати, інша модель, LLaMa-3.1 від Meta, також була помилково ідентифікована учасниками як людина в 56% випадків. Це свідчить про те, що навіть якщо йдеться про новітні технології, завдання ще не є повністю вирішеним.
Суть тесту Тюрінга
Основна мета тесту Тюрінга — не так довести, що машини можуть мислити, скільки перевірити, чи можуть вони успішно імітувати поведінку людини. Тест передбачає, що людина-допитувач ставить запитання двом невидимим сутностям: одній людині та одній машині. Якщо учасники не можуть відрізнити їх, модель вважається такою, що пройшла тест.
У новому тристоронньому тесті, проведеному дослідниками, взяли участь 126 студентів і 158 людей з онлайн-пулу даних Prolific. Тест включав п’ятихвилинний обмін запитами та відповідями між учасниками та LLM, які намагалися переконати всіх, що вони є людьми. Важливим виявилось, що LLM отримали підказки для формування особи, що суттєво вплинуло на результати.
Дослідження підкреслює, що для успішного проходження тесту LLM потрібно не лише виглядати правдоподібно, але й мати чітке уявлення про свою людську природу, що вказує на важливість особистісного підходу до взаємодії з учасниками тесту.
Цей прогрес у розвитку штучного інтелекту відкриває нові можливості для створення агентів, які зможуть більш природно спілкуватися. Водночас виникає занепокоєння щодо ризиків, пов’язаних із використанням AI для маніпуляцій та соціальної інженерії. Як зазначають дослідники, “деякі з найгірших збитків від LLM можуть виникати тоді, коли люди не знають, що спілкуються зі штучним інтелектом”.
