Microsoft представила открытый стандарт для контроля поведения AI-агентов

|
Microsoft представила открытый стандарт для контроля поведения AI-агентов

Корпорация Microsoft анонсировала внедрение нового открытого стандарта Agent Control Specification (ACS), который имеет целью предоставить разработчикам более детализированные и согласованные возможности контроля поведения AI-агентов в различных приложениях, рабочих процессах и продуктах.

Об этом сообщает ProIT

Agent Control Specification: ключевые возможности

Благодаря ACS разработчики, а также команды по управлению соответствием и безопасностью, могут самостоятельно определять политики и правила, которых должны придерживаться AI-агенты. В этих политиках четко описывается, какие действия агенту разрешено выполнять, какие строго запрещены, в каких случаях требуется разрешение человека, а также какой объем информации и доказательств следует сохранять для дальнейшего аудита. Проверка соблюдения политик происходит на нескольких «точках перехвата» во время выполнения агентом задач, что позволяет гарантировать соблюдение установленных ограничений.

«Спецификация по сути позволяет разработчикам, командам по соблюдению норм и безопасности определять свои собственные политики для следования агентами. Правила могут определять, что агент может делать, что ему нельзя делать, когда человеку следует одобрить действие и какие доказательства должны быть зафиксированы для последующего рассмотрения. Эти файлы политик проверяются на нескольких ‘точках перехвата’, когда агент выполняет задачу, чтобы убедиться, что он остается в рамках установленных ограничений».

Интеграция, безопасность и возможности для разработчиков

Ранее разработчики были вынуждены импровизировать и создавать собственные системы контроля за поведением AI, прописывая инструкции в системных подсказках, добавляя кастомные проверки в код приложений или используя классификаторы для фильтрации нежелательных входов и выходов. Однако такие подходы часто создавали фрагментированные и сложные для аудита системы, которые было трудно масштабировать и использовать в различных средах и рамках.

ACS позволяет интегрировать все эти механизмы в единый уровень управления. Новый стандарт предполагает проверку действий агента на нескольких этапах — до получения входных данных, перед использованием инструмента, после получения результата от инструмента и перед передачей финального ответа пользователю. Политики могут разрешать, блокировать или редактировать действия агента, а также требовать вмешательства человека для подтверждения определенных решений.

Разработчики имеют возможность использовать классификаторы для категоризации информации, прогнозирования результатов или определения реакций агента, а также применять LLM-модели в качестве «судей» для дополнительной проверки политик. Дополнительно можно настраивать логику проверки выбора инструментов, точности входных данных, использования выходных результатов и т.д.

Все политики оформляются в виде отдельных файлов, которые можно «прикрепить» к агенту, что позволяет соблюдать единую политику безопасности во время работы агента в различных средах или фреймворках.

ACS поставляется в виде SDK с поддержкой плагинов для LangChain, OpenAI Agents SDK, Anthropic Agents SDK, AutoGen, CrewAI, Semantic Kernel, Microsoft.Extensions.AI, MCP tools и других популярных платформ для разработки AI-агентов.