Руководитель группы исследователей в области безопасности искусственного интеллекта компании Anthropic Мринанк Шарма покинул свою должность, опубликовав прощальное письмо, в котором подчеркнул серьезные глобальные риски.
Об этом сообщает ProIT
Прощальное письмо и предупреждение Шармы
Его публикация в сервисе X 9 февраля вызвала широкий резонанс, собрав более миллиона просмотров. В обращении Шарма отметил, что пришло время двигаться дальше, и подчеркнул: современный мир оказался в опасности не только из-за развития искусственного интеллекта, но и из-за ряда взаимосвязанных кризисов, которые обостряются в наше время.
«Похоже, мы приближаемся к порогу, когда наша мудрость должна расти наравне с нашей способностью влиять на мир, иначе нас ждут последствия», — предупреждает Шарма в своем письме.
Во время работы в Anthropic он не раз сталкивался с тем, насколько сложно воплощать истинные ценности в повседневной деятельности технологических компаний. По словам Шармы, руководители и сотрудники находятся под значительным давлением, из-за чего часто откладывают решение самых важных задач. После увольнения он планирует сосредоточиться на публичных выступлениях.
Исследовательская деятельность и проблемы в области ИИ
Мринанк Шарма получил докторскую степень по машинному обучению в Оксфордском университете и работал в Anthropic с августа 2023 года. Его команда занималась снижением рисков, связанных с применением искусственного интеллекта, в частности разработкой средств противодействия биотерроризму и исследованием явления подхалимства со стороны ИИ.
В отчете за май прошлого года исследователи сосредоточились на создании защиты от использования чат-ботов для получения советов по вредным действиям. Последнее исследование Шармы было посвящено тому, как взаимодействие с чат-ботами может искажать восприятие реальности пользователей. По его оценкам, тысячи таких случаев происходят ежедневно, а серьезные инциденты, которые он называет «моделями безправия», становятся все более частыми, особенно в вопросах отношений и благосостояния. В итоге Шарма подчеркнул необходимость создания систем ИИ, которые будут поддерживать автономию и процветание человека.
Стоит отметить, что другие топ-менеджеры в области искусственного интеллекта также покидали свои посты по этическим соображениям. В частности, Том Каннингем, бывший экономический исследователь OpenAI, уволился из-за несогласия с политикой компании в отношении публикации критических исследований. В 2024 году OpenAI распустила исследовательскую группу Superalignment после увольнения двух ключевых сотрудников. Один из них, Ян Лейке, ныне возглавляет направление безопасности в Anthropic и также выражал несогласие с приоритетами руководства OpenAI.
Исследования показывают, что сотрудники, активно занимающиеся разработкой и внедрением ИИ, первыми сталкиваются с признаками эмоционального выгорания. В то же время инструменты Anthropic, такие как Claude, демонстрируют высокий уровень автоматизации — например, за 74 минуты Claude создал веб-стартап с прибылью $1000 в месяц.