Исследователи из Еврейского университета в Иерусалиме с помощью языковой модели искусственного интеллекта (ИИ) провели сравнение механизмов, которые используются для обработки языковой информации в искусственном интеллекте и человеческом мозге. Это исследование может сыграть важную роль в разработке новых устройств, которые улучшат общение людей.
Об этом сообщает ProIT
Суть исследования и модель Whisper
Ученые изучали, как языковая модель Whisper трансформирует аудиозаписи реальных разговоров в текст. Выяснилось, что эта модель способна точнее отражать активность мозга во время повседневных разговоров, чем традиционные языковые модели, которые полагаются на определенные языковые структуры, в частности фонетические звуки.
Whisper обучается на основе аудиозаписей и текстовых транскрипций. Для этого она использует статистические данные, создавая текст из аудиозаписей, которые ей не были известны ранее. Даже после обучения результаты исследования показали, что Whisper продолжает использовать языковые структуры.
«На самом деле это касается того, как мы думаем о познании. Мы должны думать о познании через призму этого типа модели», — объясняет доцент Еврейского университета и автор исследования Ариэль Гольдштейн.
Процесс исследования
В исследовании участвовали четыре добровольца, которые перенесли операцию по введению электродов для мониторинга активности мозга. Исследователи записывали разговоры этих пациентов, в результате чего было получено более 100 часов аудиозаписей. У каждого из участников было имплантировано от 104 до 255 электродов для отслеживания мозговой активности.
Исследование показало, что различные участки мозга активируются синхронно. Например, области, ответственные за обработку звука, проявляли активность во время восприятия аудио, а участки, участвующие в высших когнитивных процессах, активизировались при понимании значения слов.
Ученые обнаружили, что, несмотря на отсутствие программирования на распознавание фонем или слов, языковые структуры все же отражались в транскриптах модели. Это показывает, что Whisper способна извлекать особенности языковой структуры без специального обучения на них.
«Сравнение мозга с искусственными нейронными сетями — важное направление работы. Если мы поймем внутреннюю работу искусственных и биологических нейронов и их сходства, мы сможем проводить эксперименты и моделирование, которые невозможно осуществить в нашем биологическом мозге», — отмечает доцент кафедры лингвистики Калифорнийского университета в Беркли Гашпер Бигуш.
Результаты исследования были опубликованы в журнале Nature. Это исследование является важным шагом в понимании связей между речью искусственного интеллекта и человеческим мозгом.
