Корпорация Google приняла решение удалить часть своих искусственно-интеллектуальных резюме по здоровью после того, как выяснилось, что они содержат ложную и вводящую в заблуждение информацию, которая могла представлять угрозу для пользователей. Причиной стали случаи, когда такие резюме вводили людей в заблуждение относительно результатов медицинских тестов, в частности функциональных анализов печени.
Об этом сообщает ProIT
Ложные данные в ответах Google AI Overviews
AI Overviews — это функция Google, которая с помощью генеративного искусственного интеллекта формирует краткие резюме по сути запроса пользователя. Однако в ходе расследования выяснилось, что некоторые из таких резюме содержали неправильные сведения о пределах нормальных показателей печеночных тестов, не учитывая важные факторы — страну, пол, возраст и этническую принадлежность пациента. В результате этого люди с тяжелыми заболеваниями печени могли получить ложное представление о состоянии своего здоровья и не обращаться к врачу для дальнейшего обследования.
«Анализ функций печени или LFT — это совокупность различных анализов крови. Интерпретация результатов и дальнейшие действия гораздо сложнее, чем просто сравнение набора чисел. Но AI Overviews представляют список тестов жирным шрифтом, что может привести к тому, что читатели не заметят, что эти значения могут не соответствовать их конкретному тесту. Кроме того, AI Overviews не предупреждают, что даже при нормальных результатах человек может иметь серьезное заболевание печени и нуждаться в дальнейшей медицинской помощи. Такая ложная уверенность может быть очень вредной», — подчеркнула Ванесса Хебдич, директор по коммуникациям и политике Британского фонда печени.
Google уже удалил AI Overviews для запросов «какова нормальная граница для печеночных анализов» и «какова нормальная граница для тестов функции печени». Однако эксперты предупреждают, что изменение формулировки вопроса может снова вызвать появление рискованных AI-резюме.
Реакция экспертов и дальнейшие действия Google
В компании подчеркнули, что не комментируют отдельные случаи удаления информации из поиска, но подтвердили: в случае выявления недостаточного контекста в AI Overviews проводятся общие улучшения, а также принимаются меры в соответствии с политикой Google.
Ванесса Хебдич отметила, что хотя удаление опасных резюме — это положительный шаг, проблема неточных AI-резюме в сфере здравоохранения остается нерешенной. Сью Фаррингтон, глава форума Patient Information Forum, добавила, что это лишь первый шаг к восстановлению доверия к результатам поиска Google по медицинским вопросам, ведь примеров ложной информации все еще слишком много.
Эксперты подчеркивают, что миллионы людей по всему миру и так сталкиваются со сложностями в доступе к достоверной медицинской информации, поэтому поисковые системы должны направлять пользователей к проверенным источникам и рекомендациям от авторитетных организаций.
Расследование также выявило, что AI Overviews продолжают появляться по другим запросам, в частности касающимся онкологических заболеваний и психического здоровья, и некоторые из этих ответов эксперты назвали «полностью неправильными» и «действительно опасными». Google ответил, что оставляет такие резюме только в случаях, когда они основаны на данных авторитетных источников и содержат предупреждения о необходимости обращения к специалисту.
Внутренняя команда клиницистов компании также проанализировала предоставленные примеры и пришла к выводу, что в большинстве случаев информация была корректной и подтверждалась качественными веб-ресурсами. В то же время независимые аналитики подчеркивают, что Google еще должен усовершенствовать свои инструменты, чтобы избежать распространения вредной дезинформации в сфере здравоохранения.