Керівник групи дослідників у сфері безпеки штучного інтелекту компанії Anthropic Мрінанк Шарма залишив свою посаду, опублікувавши прощального листа, в якому наголосив на серйозних глобальних ризиках.
Про це розповідає ProIT
Прощальний лист та попередження Шарми
Його публікація у сервісі X 9 лютого викликала широкий резонанс, зібравши понад мільйон переглядів. У зверненні Шарма зазначив, що настав час рухатися далі, і підкреслив: сучасний світ опинився в небезпеці не лише через розвиток штучного інтелекту, а й через низку взаємопов’язаних криз, які загострюються у наш час.
“Схоже, ми наближаємося до порога, коли наша мудрість має зростати однаково з нашою здатністю впливати на світ, інакше на нас чекають наслідки”, — попереджає Шарма у своєму листі.
Під час роботи в Anthropic він неодноразово стикався з тим, наскільки складно втілювати справжні цінності у повсякденній діяльності технологічних компаній. За словами Шарми, керівники та працівники перебувають під значним тиском, через що часто відкладають вирішення найважливіших завдань. Після звільнення він планує зосередитися на публічних виступах.
Дослідницька діяльність та проблеми в галузі ШІ
Мрінанк Шарма отримав докторський ступінь з машинного навчання в Оксфордському університеті та працював в Anthropic з серпня 2023 року. Його команда займалася зниженням ризиків, пов’язаних із застосуванням штучного інтелекту, зокрема розробкою засобів протидії біотероризму та дослідженням явища підлабузництва з боку ШІ.
У звіті за травень минулого року дослідники сфокусувалися на створенні захисту від використання чатботів для отримання порад щодо шкідливих дій. Останнє дослідження Шарми було присвячено тому, як взаємодія з чатботами може спотворювати сприйняття реальності користувачів. За його оцінками, тисячі таких випадків відбуваються щодня, а серйозні інциденти, які він називає “моделями безправ’я”, стають дедалі частішими, особливо в питаннях стосунків і добробуту. У підсумку Шарма підкреслив необхідність створення систем ШІ, що підтримуватимуть автономію та процвітання людини.
Варто зазначити, що інші топменеджери у сфері штучного інтелекту також залишали свої посади з етичних міркувань. Зокрема, Том Каннінгем, колишній економічний дослідник OpenAI, звільнився через незгоду з політикою компанії щодо публікації критичних досліджень. У 2024 році OpenAI розпустила дослідницьку групу Superalignment після звільнення двох ключових співробітників. Один з них, Ян Лейке, нині очолює напрямок безпеки у Anthropic і також висловлював незгоду з пріоритетами керівництва OpenAI.
Дослідження показують, що працівники, які активно займаються розробкою та впровадженням ШІ, першими стикаються з ознаками емоційного вигорання. Водночас інструменти Anthropic, такі як Claude, демонструють високий рівень автоматизації — наприклад, за 74 хвилини Claude створив веб-стартап із прибутком $1000 на місяць.