Кэмпбелл Браун, известная телевизионная журналистка и бывшая руководительница новостей в Meta, сегодня сосредоточена на повышении достоверности информации, которую формируют системы искусственного интеллекта. Сейчас, когда искусственный интеллект существенно меняет то, как люди потребляют новости и данные, Браун стремится не допустить повторения ошибок, с которыми она сталкивалась в медиа-индустрии.
Об этом сообщает ProIT
Forum AI: оценка моделей и поиск экспертного консенсуса
В своей компании Forum AI, основанной 17 месяцев назад в Нью-Йорке, Браун концентрируется на проверке работы базовых моделей искусственного интеллекта в сложных темах: геополитика, психическое здоровье, финансы, трудоустройство. Она подчеркивает, что эти сферы характеризуются многозначностью и отсутствием однозначных ответов. Для оценки моделей Forum AI привлекает ведущих экспертов, среди которых Нiall Фергюсон, Фарид Закария, бывший госсекретарь США Тони Блинкен, экс-спикер Палаты представителей Кевин Маккарти и экс-руководительница кибербезопасности при администрации Обамы Энн Нойбергер. Привлеченные эксперты помогают сформировать ориентиры для тренировки AI-«судей» — цель заключается в достижении как минимум 90% совпадения решений между AI и людьми, и, по словам Браун, Forum AI уже достигла этой отметки.
Проблемы точности и вызовы ответственности AI
Браун упоминает, что идея Forum AI возникла после ее опыта в Meta, когда впервые был представлен ChatGPT. Она почувствовала, что искусственный интеллект станет основным каналом распространения информации, однако его качество оставляло желать лучшего. Особенно ее беспокоило то, как это повлияет на младшее поколение. Она обращает внимание, что разработчики базовых моделей сосредоточены преимущественно на программировании и математике, и часто игнорируют вопросы точности в сфере новостей.
Во время тестирования ведущих AI-моделей команда Forum AI выявила ряд серьезных проблем: например, Gemini использовал данные с сайтов Коммунистической партии Китая для историй, не связанных с Китаем, а большинство моделей имели политические перекосы. Кроме явных ошибок, модели часто упускали важный контекст, не учитывали альтернативные точки зрения или искажали аргументы оппонентов. Браун отмечает, что «еще много нужно сделать, но есть и простые решения, которые могут существенно улучшить результаты».
«Сейчас это может пойти в любом направлении,» сказала она; компании могут предоставить пользователям то, что они хотят, или они могут «предоставить людям то, что реально, честно и правдиво.» Она признала, что идеалистическая версия этого — AI, оптимизирующий правду — может звучать наивно. Но она считает, что бизнес может стать маловероятным союзником в этом вопросе. Компании, использующие AI для кредитных решений, кредитования, страхования и найма, заботятся о юридической ответственности, и «они захотят, чтобы вы оптимизировали для достижения правильного результата.»
Браун подчеркивает, что нынешняя система проверки соответствия AI — «это шутка». Ее компания делает ставку на реальный спрос со стороны предприятий, которые используют искусственный интеллект для кредитования, страхования, приема на работу и других сфер, где точность критически важна из-за юридической ответственности. Она уверена, что бизнес будет заинтересован в том, чтобы AI работал правильно, хотя превращение этого интереса в стабильный доход является сложной задачей, учитывая распространение формальных аудитов и недостаточных стандартных проверок.
Согласно опыту Браун, для реальной оценки AI нужны специалисты-практики, способные учитывать не только типичные, но и нестандартные ситуации. Она подчеркивает, что универсальные подходы здесь не работают.
В то же время она отмечает разрыв между видением топ-менеджмента технологических компаний и реальным опытом пользователей: несмотря на обещания революционных изменений, обычные пользователи часто сталкиваются с недостоверной информацией от чат-ботов. Доверие к искусственному интеллекту остается на очень низком уровне, и, по мнению Браун, скептицизм многих людей вполне оправдан.