Microsoft попереджає про ризики безпеки через галюцинації ШІ у Windows 11

|
Microsoft попереджає про ризики безпеки через галюцинації ШІ у Windows 11

Корпорація Microsoft анонсувала трансформацію Windows 11 в агентську операційну систему, інтегрувавши функцію штучного інтелекту, яка автоматизує виконання численних завдань на комп’ютері. Водночас компанія наголосила, що впроваджені ШІ-агенти наразі стикаються з низкою функціональних обмежень і можуть демонструвати неочікувану поведінку.

Про це розповідає ProIT

Можливості та обмеження агентного ШІ

За задумом розробників, агентний ШІ у Windows 11 здатен відповідати на запити користувача, виконувати складні операції та спрощувати взаємодію з системою. Проте існує проблема так званих «галюцинацій» — ситуацій, коли модель штучного інтелекту генерує некоректні або вигадані результати, які не відповідають реальності.

«Незважаючи на це, моделі ШІ як і раніше стикаються з функціональними обмеженнями, іноді видають несподівані результати та можуть створювати галюцинації».

Загрози безпеці та перехресні запити

Microsoft звертає увагу на підвищення ризиків кібербезпеки, пов’язаних із застосуванням агентного ШІ. Особливо небезпечними є так звані «перехресні запити» (XPIA): коли злоякісний контент у документах або елементах інтерфейсу може змінювати команди агента, що іноді призводить до несанкціонованого доступу до даних, їх крадіжки або встановлення шкідливого програмного забезпечення.

Компанія радить користувачам ознайомитися з особливостями роботи агентних ШІ та діючими обмеженнями. Водночас Microsoft визнає, що через недосконалість сучасних моделей штучного інтелекту не може гарантувати повне усунення зазначених ризиків у найближчій перспективі.