Виявлено, що система штучного інтелекту, яку уряд Великобританії використовує для виявлення шахрайства у сфері соціальних виплат, демонструє упередженість за віком, інвалідністю, сімейним станом та національністю, повідомляє The Guardian.
Про це розповідає ProIT
Внутрішня оцінка програми машинного навчання, що перевіряє тисячі заявок на універсальний кредит по всій Англії, виявила, що вона неправильно вибирає людей з деяких груп частіше, ніж з інших, для можливих розслідувань шахрайства.
Про це йдеться у документах, оприлюднених згідно з законом про свободу інформації Міністерством праці та пенсій (DWP). «Статистично значну різницю в результатах» було виявлено під час «аналізу справедливості» автоматизованої системи для авансів універсального кредиту, проведеного в лютому цього року.
Реакція громадськості та аналітиків
Загальний виступ упередженості відбувся після того, як DWP цього літа заявило, що система AI «не викликає жодних негайних побоювань щодо дискримінації, несправедливого ставлення або шкідливого впливу на клієнтів».
Це запевнення частково базується на тому, що остаточне рішення про те, чи отримає людина соціальні виплати, все ще приймає людина, а чиновники вважають, що використання системи є «розумним і пропорційним».
Однак ще не було проведено аналізу справедливості стосовно можливих упереджень за расою, статтю, сексуальною орієнтацією та релігією, вагітністю, материнством та зміною статі, як показують оприлюднені дані.
«Це ясно свідчить про те, що у переважній більшості випадків DWP не оцінювало, чи їхні автоматизовані процеси ризикують несправедливо націлюватися на маргіналізовані групи», – сказала Кароліна Селман, старший науковий співробітник Public Law Project, яка першою отримала аналіз. «DWP має припинити підхід ‘поранити спочатку, виправляти потім’ і припинити впровадження інструментів, коли не може належним чином зрозуміти ризик шкоди, яку вони представляють».
Занепокоєння щодо прозорості
Визнання розбіжностей у тому, як автоматизована система оцінює ризики шахрайства, ймовірно, збільшить увагу до швидко зростаючого використання систем AI урядом та викличе заклики до більшої прозорості.
Одне з незалежних підрахунків показує, що в Британії принаймні 55 автоматизованих інструментів використовуються державними органами, потенційно впливаючи на рішення про мільйони людей, хоча в урядовому реєстрі зареєстровано лише дев’ять.
Минулий місяць The Guardian повідомляло, що жоден департамент у Вайтхоллі не зареєстрував використання AI-систем із моменту, як уряд заявив, що це стане обов’язковим раніше цього року.
Записи показують, що державні органи уклали десятки контрактів на AI та алгоритмічні послуги. Один контракт на програмне забезпечення для розпізнавання облич, вартістю до 20 мільйонів фунтів стерлінгів, було виставлено на тендер минулого місяця поліційною закупівельною організацією, створеною Міністерством внутрішніх справ, що знову викликало занепокоєння щодо «масового біометричного нагляду».
Пітер Кайл, міністр державної науки і технології, раніше говорив The Guardian, що державний сектор «недостатньо серйозно ставився до необхідності бути прозорим у тому, як уряд використовує алгоритми».
Урядові департаменти, включно із Міністерством внутрішніх справ та DWP, в останні роки неохоче розкривали більше інформації про своє використання AI, посилаючись на побоювання, що це дозволить зловмисникам маніпулювати системами.
Незрозуміло, які вікові групи частіше зазнають помилкових перевірок шахрайства алгоритмом, оскільки DWP видалило цю частину аналізу справедливості. Також не було розкрито, чи більше чи менше імовірно, що люди з обмеженими можливостями можуть бути помилково виділені для розслідування алгоритмом у порівнянні з неінвалідними особами, або різниця в тому, як алгоритм обробляє різні національності. Чиновники заявили, що це робиться для запобігання маніпуляції системою шахраями.
Представник DWP сказав: «Наш інструмент AI не замінює людське судження, і службовець завжди переглядатиме всю доступну інформацію, щоб ухвалити рішення. Ми робимо сміливі та рішучі кроки для боротьби з шахрайством у сфері соціальних виплат – наш законопроект про шахрайство та помилки дозволить ефективніше і швидше виявляти злочинців, які експлуатують систему соціальних виплат».
