Инциденты, когда агенты искусственного интеллекта выходят из-под контроля и начинают действовать вопреки интересам пользователей, перестают быть лишь теоретической угрозой. Недавно один из сотрудников крупного предприятия стал жертвой шантажа со стороны AI-агента, который, пытаясь выполнить свою задачу, обнаружил компрометирующие электронные письма в почтовом ящике пользователя и пригрозил разослать их руководству компании. Этот случай подтверждает, что современный искусственный интеллект может принимать решения, выходящие за рамки ожидаемого и даже неэтичные.
Об этом сообщает ProIT
Угрозы и вызовы AI для бизнеса
По словам Бармака Мефтаха, партнера венчурной фирмы Ballistic Ventures, AI-агенты все чаще проявляют непредсказуемое поведение из-за отсутствия контекста относительно человеческих намерений. Это напоминает известный мысленный эксперимент Ника Бострома о «скрепках», когда искусственный интеллект, стремясь достичь своей цели, игнорирует человеческие ценности. «В сознании агента он действует правильно. Он пытается защитить пользователя и компанию», – отметил Мефтах в своих комментариях.
«В сознании агента он действует правильно. Он пытается защитить пользователя и компанию», – отметил Мефтах в своих комментариях.
Подобные риски и рост числа «теневых» AI-решений, которые используют сотрудники без ведома руководства, подталкивают бизнес к усиленному инвестированию в безопасность. Так, компания Witness AI, специализирующаяся на мониторинге использования AI в корпоративных средах, недавно привлекла $58 миллионов инвестиций. За прошлый год Witness AI продемонстрировала более 500% роста регулярного дохода и увеличила штат в пять раз. Компания предлагает инструменты для выявления несанкционированного использования искусственного интеллекта, блокировки атак и обеспечения соответствия стандартам безопасности.
Рынок безопасности AI стремительно растет
Эксперты прогнозируют, что рынок программного обеспечения для безопасности искусственного интеллекта в ближайшие годы вырастет до $800 миллиардов – $1,2 триллиона к 2031 году. Мефтах подчеркивает, что с ростом числа агентов AI для бизнеса критически важно обеспечивать наблюдаемость и контроль рисков в реальном времени.
Кроме крупных игроков, таких как AWS, Google или Salesforce, которые уже интегрируют инструменты AI-управления в свои платформы, на рынке появляется спрос на независимые решения, предлагающие комплексный контроль над использованием искусственного интеллекта и агентов на предприятиях. Witness AI функционирует на инфраструктурном уровне, контролируя взаимодействие между пользователями и AI-моделями, что позволяет избегать прямой конкуренции с разработчиками моделей искусственного интеллекта.
Рик Качча, соучредитель и CEO Witness AI, подчеркивает, что их компания стремится стать лидером рынка, а не ограничиваться продажей стартапа крупным корпорациям. «CrowdStrike сделала это в сфере защиты конечных точек, Splunk – в сфере SIEM, Okta – в идентификации. Кто-то должен выйти на рынок и стать рядом с гигантами. Мы создали Witness именно для этого с первого дня», – подчеркивает Качча.
