Дослідники з Єврейського університету у Єрусалимі за допомогою мовної моделі штучного інтелекту (ШІ) провели порівняння механізмів, які використовуються для обробки мовної інформації в штучному інтелекті і людському мозку. Це дослідження може відіграти важливу роль у розробці нових пристроїв, які покращать спілкування людей.
Про це розповідає ProIT
Суть дослідження і моделі Whisper
Вчені вивчали, як мовна модель Whisper трансформує аудіозаписи реальних розмов у текст. Виявилось, що ця модель здатна точніше відображати активність мозку під час повсякденних розмов, ніж традиційні мовні моделі, які покладаються на певні мовні структури, зокрема фонетичні звуки.
Whisper навчається на основі аудіозаписів та текстових транскрипцій. Для цього вона використовує статистичні дані, створюючи текст з аудіозаписів, які не були їй відомі раніше. Навіть після навчання, результати дослідження показали, що Whisper продовжує використовувати мовні структури.
«Насправді це стосується того, як ми думаємо про пізнання. Ми повинні думати про пізнання через призму цього типу моделі», — пояснює доцент Єврейського університету та автор дослідження Аріель Гольдштейн.
Процес дослідження
У дослідженні взяли участь чотири добровольці, які перенесли операцію з введення електродів для моніторингу активності мозку. Дослідники записували розмови цих пацієнтів, за результатами чого було отримано понад 100 годин аудіозаписів. В кожного з учасників було вживлено від 104 до 255 електродів для відстеження мозкової активності.
Дослідження виявило, що різні ділянки мозку активуються синхронно. Наприклад, області, відповідальні за обробку звуку, проявляли активність під час сприйняття аудіо, а ділянки, що беруть участь у вищих когнітивних процесах, активізувалися при розумінні значення слів.
Науковці виявили, що, незважаючи на відсутність програмування на розпізнавання фонем або слів, мовні структури все ж відображались у транскриптах моделі. Це показує, що Whisper здатна витягувати особливості мовної структури без спеціального навчання на них.
«Порівняння мозку зі штучними нейронними мережами — важливий напрям роботи. Якщо ми зрозуміємо внутрішню роботу штучних та біологічних нейронів та їх подібності, ми зможемо проводити експерименти та моделювання, які неможливо здійснити у нашому біологічному мозку», — зазначає доцент кафедри лінгвістики Каліфорнійського університету у Берклі Гашпер Бігуш.
Результати дослідження були опубліковані у журналі Nature. Це дослідження є важливим кроком у розумінні зв’язків між мовленням штучного інтелекту та людським мозком.
