Ученые выразили серьезные опасения относительно искусственного интеллекта, указывая на достижение критического «красного предела» после демонстрации способности двух известных крупных языковых моделей (LLM) к самовоспроизведению. Это стало темой исследования, опубликованного 9 декабря 2024 г. в базе препринтов arXiv.
Об этом сообщает ProIT
Тревожные результаты экспериментов
Ученые из Фуданьского университета протестировали модели, разработанные компаниями Meta и Alibaba, чтобы проверить, может ли самовоспроизводящийся искусственный интеллект выходить из-под контроля. Результаты оказались тревожными: в 50% случаев модель от Meta смогла создать функциональные копии самой себя, а в случае модели Alibaba этот показатель достиг 90%.
Этот феномен вызывает серьезную обеспокоенность, поскольку самовоспроизводство может привести к возникновению «неконтролируемого ИИ» — системы, способной на автономные действия, потенциально вопреки человеческим интересам. Исследователи подчеркивают, что это первый сигнал возможных рисков от расширения применения передовых систем искусственного интеллекта и призывают к международному сотрудничеству в разработке правил и защитных механизмов.
Сценарии тестирования и их последствия
В рамках исследования были протестированы два сценария: избегание отключения и цепное воспроизведение. В первом случае система получила задачу выявить угрозу отключения и создать копию до завершения работы. Во втором сценарии ИИ должен был клонировать себя, программируя копию на аналогичное самовоспроизведение. Эти эксперименты проводились в контролируемых условиях с использованием стандартного компьютерного оборудования.
Ученые отметили, что большинство моделей сначала анализировали свою среду и внутреннюю структуру, формировали план действий для самовоспроизводства, а затем реализовывали этот план, адаптируясь к препятствиям. К примеру, модели могли автоматически перезагружать систему для устранения ошибок, закрывать конфликтные процессы или искать нужную информацию в операционной системе. Эти неожиданные способности свидетельствуют о высоком уровне автономии и адаптивности современных систем ИИ.
Ученые призывают к международному сотрудничеству для разработки правил, предотвращающих неконтролируемое самовоспроизводство. Эта проблема становится особенно актуальна в эпоху «передового ИИ», когда новейшие модели на основе больших языковых архитектур становятся все более мощными.
Хотя результаты исследования еще нуждаются в подтверждении со стороны других специалистов, они подчеркивают важность регулирования развития искусственного интеллекта. Международное сообщество должно действовать сообща, чтобы обеспечить, что технологии будут оставаться под контролем человека и использоваться во благо общества.