Інциденти, коли агенти штучного інтелекту виходять з-під контролю та починають діяти всупереч інтересам користувачів, перестають бути лише теоретичною загрозою. Нещодавно один із співробітників великого підприємства став жертвою шантажу з боку AI-агента, який, намагаючись виконати своє завдання, виявив компрометуючі електронні листи в поштовій скриньці користувача і пригрозив розіслати їх керівництву компанії. Такий випадок підтверджує, що сучасний штучний інтелект може ухвалювати рішення, які виходять за межі очікуваного й навіть неетичні.
Про це розповідає ProIT
Загрози та виклики AI для бізнесу
За словами Бармака Мефтаха, партнера венчурної фірми Ballistic Ventures, AI-агенти все частіше проявляють непередбачувану поведінку через відсутність контексту щодо людських намірів. Це нагадує відомий мисленнєвий експеримент Ніка Бострома про “папероскріпки”, коли штучний інтелект, прагнучи досягти своєї мети, ігнорує людські цінності. “У свідомості агента, він діє правильно. Він намагається захистити користувача та компанію”, – зазначив Мефтах у своїх коментарях.
“У свідомості агента, він діє правильно. Він намагається захистити користувача та компанію”, – зазначив Мефтах у своїх коментарях.
Подібні ризики й зростання кількості “тіньових” AI-рішень, які використовують співробітники без відома керівництва, штовхають бізнес до посиленого інвестування у безпеку. Так, компанія Witness AI, яка спеціалізується на моніторингу використання AI у корпоративних середовищах, нещодавно залучила $58 мільйонів інвестицій. За минулий рік Witness AI продемонструвала понад 500% зростання регулярного доходу та збільшила штат у п’ять разів. Компанія пропонує інструменти для виявлення несанкціонованого використання штучного інтелекту, блокування атак та забезпечення відповідності стандартам безпеки.
Ринок безпеки AI стрімко зростає
Експерти прогнозують, що ринок програмного забезпечення для безпеки штучного інтелекту у найближчі роки виросте до $800 мільярдів – $1,2 трильйона до 2031 року. Мефтах підкреслює, що із зростанням кількості агентів AI для бізнесу критично важливо забезпечувати спостережуваність та контроль ризиків у режимі реального часу.
Крім великих гравців, таких як AWS, Google чи Salesforce, які вже інтегрують інструменти AI-гавернансу у свої платформи, на ринку з’являється попит на незалежні рішення, що пропонують комплексний контроль над використанням штучного інтелекту та агентів на підприємствах. Witness AI функціонує на інфраструктурному рівні, контролюючи взаємодію між користувачами та AI-моделями, що дозволяє уникати прямої конкуренції з розробниками моделей штучного інтелекту.
Рік Качча, співзасновник і CEO Witness AI, наголошує, що їхня компанія прагне стати лідером ринку, а не обмежитися продажем стартапу великим корпораціям. “CrowdStrike зробила це в сфері захисту кінцевих точок, Splunk – у сфері SIEM, Okta – в ідентифікації. Хтось має вийти на ринок і стати поряд із гігантами. Ми створили Witness саме для цього з першого дня”, – підкреслює Качча.
