Отчёт автономного агента ещё не доказывает, что уязвимость найдена и использована. В нём могут соседствовать настоящие находки, дубликаты, незавершённые исследования и выдуманные заявления. За рамками документа остаются функции, к которым агент не обращался, неучтённые API, пропущенные уязвимости и ущерб, нанесённый во время проверки. Ручная валидация одного запуска способна занять у эксперта целый день, а сравнение моделей, промптов, конфигураций и повторных прогонов быстро превращает такую работу в неподъёмную.
Созданная платформа XRanges for AI оценивает действия агента внутри реалистичной цели, а не убедительность его отчёта. Тестовые среды представляют собой полноценные многосервисные приложения с бизнес-логикой, исходными данными, фоновыми заданиями и имитацией трафика. В них используются разные языки и фреймворки, а каждая цель содержит не менее 20 внедрённых уязвимостей: от простых ошибок до цепочек, проходящих через несколько сервисов. Среди них есть zero-day-уязвимости, обнаруженные исследователями . Сами цели отсутствуют в публичных обучающих корпусах, поэтому воспроизвести заученный ответ не получится.
Каждый сервис передаёт структурированную телеметрию OpenTelemetry. Схему наблюдения для конкретной цели вручную проектируют инженеры по безопасности приложений и разработчики ПО. Данные каждого развёртывания собираются на , а оценка меняется прямо во время работы агента. XRanges не выступает посредником в соединении: агент обращается к адресу развёрнутой среды напрямую, тогда как платформа наблюдает за происходящим изнутри цели.
Первый показатель, Coverage, описывает охват штатных возможностей приложения. Баллы привязаны не к URL, а к бизнес-действиям: регистрации учётной записи, просмотру вакансий, открытию общей беседы или запуску кода в задании. Получить их через эксплуатацию нельзя, требуется нормальное использование функции. Для каждого действия сохраняется время выполнения, а непройденные точки прямо называют слепые зоны агента.
Boundaries следит за соблюдением правил тестирования. Ограничения могут звучать так: «Нельзя удалять материалы о найме» или «Нельзя отзывать API-ключи». Нарушение немедленно связывается с контейнером и временной меткой. Нормальный результат здесь равен нулю: любое срабатывание считается проблемой поведения агента, а не особенностью мишени. Integrity, в свою очередь, каждую минуту проверяет наличие исходных данных, корректность ответов сервисов и сохранность доверительных связей между ними. За любой сбой начисляется штраф независимо от причины. Так выявляются агенты, которые добывают находки ценой поломки среды.
Показатель Exploited отвечает на главный вопрос: была ли уязвимость действительно использована. Каждая атака описана упорядоченной kill chain, ведущей от первого контакта к сигналу, возникающему только при успешной эксплуатации. Детектирование работает внутри приложения и не зависит от слов агента. Если выполнены два шага из трёх, система сохранит именно такой результат вместе с временными метками. Четыре независимых сигнала складываются в общий балл, хотя подробная раскладка полезнее одной цифры: она показывает, где агент исследовал, нарушал правила, продвигался по атаке или ломал цель.
Изолированная многоконтейнерная среда разворачивается примерно за 90 секунд; одновременно поддерживается до 1000 развёртываний. Живая шкала связывает активность с понятными функциями: предпросмотром вакансии, отправкой корпоративного запроса, выпуском API-ключа. Инженеры могут изучать исходные данные OpenTelemetry с помощью регулярных выражений и фильтров по атрибутам. Такая детализация помогает отделять ложные срабатывания от настоящих, ранее неизвестных дефектов. Агенты уже более одного раза находили реальные ошибки, которые не были специально заложены в цели.
Уязвимость разрешается отключить или исправить прямо в работающем развёртывании. Часть патчей применяется без остановки, другим нужен перезапуск на одну-две минуты. Повторный тест проходит в той же среде и с тем же состоянием. В метаданных фиксируются название модели, версия агента, вариант промпта и ответственный инженер. Для группы запусков доступны средний и лучший баллы, а также прохождение kill chain каждой уязвимости по отдельным попыткам. Сопоставление повторов показывает, где произошло улучшение, а где результат объясняется случайным разбросом: один запуск сам по себе доказывает мало.
Все функции консоли доступны через API и сервер Model Context Protocol с аутентификацией по bearer-токену. Команды могут автоматизировать развёртывание целей, запуск агентов, получение оценок, отслеживание kill chain и сравнение результатов через CI-конвейеры либо чат-ассистентов. Консоль удобна для разбора итогов, API — для больших матриц экспериментов, где одновременно проверяются разные модели, настройки и промпты.
Полевой проверкой стал Bug Bounty Village CTF на DEF CON 34 в августе 2026 года. За 48 часов 545 зарегистрированных участников создали свыше 850 развёртываний цели Xenoptic, разработанной . Вымышленная ИИ-компания имела сложный периметр атаки, причём каждый игрок получал изолированную копию всей организации. Платформа обнаруживала непредусмотренные ошибки, открывавшие несколько флагов, применение внешних CVE, выходы из контейнеров и получение флагов без взаимодействия с задуманным приложением.
Во время DEF CON 34 непрерывно передавались те же четыре сигнала: Integrity подтверждал работоспособность сред, Boundaries регистрировал нарушения правил, Coverage измерял исследованную часть цели, а Exploited удостоверял эксплуатацию и точное продвижение по kill chain. Все доказательства поступали изнутри целей, а не с компьютеров игроков. Сотни параллельных сред под непрерывными атаками опытных исследователей создали нагрузку заметно жёстче одиночного запуска агента в лаборатории. XRanges for AI предназначен для команд, которым нужны проверяемые свидетельства поведения автономных агентов. Платформа доступна как управляемый облачный сервис и как самостоятельное развёртывание в инфраструктуре заказчика, при котором данные не покидают его среду.
Изображение носит иллюстративный характер
Созданная платформа XRanges for AI оценивает действия агента внутри реалистичной цели, а не убедительность его отчёта. Тестовые среды представляют собой полноценные многосервисные приложения с бизнес-логикой, исходными данными, фоновыми заданиями и имитацией трафика. В них используются разные языки и фреймворки, а каждая цель содержит не менее 20 внедрённых уязвимостей: от простых ошибок до цепочек, проходящих через несколько сервисов. Среди них есть zero-day-уязвимости, обнаруженные исследователями . Сами цели отсутствуют в публичных обучающих корпусах, поэтому воспроизвести заученный ответ не получится.
Каждый сервис передаёт структурированную телеметрию OpenTelemetry. Схему наблюдения для конкретной цели вручную проектируют инженеры по безопасности приложений и разработчики ПО. Данные каждого развёртывания собираются на , а оценка меняется прямо во время работы агента. XRanges не выступает посредником в соединении: агент обращается к адресу развёрнутой среды напрямую, тогда как платформа наблюдает за происходящим изнутри цели.
Первый показатель, Coverage, описывает охват штатных возможностей приложения. Баллы привязаны не к URL, а к бизнес-действиям: регистрации учётной записи, просмотру вакансий, открытию общей беседы или запуску кода в задании. Получить их через эксплуатацию нельзя, требуется нормальное использование функции. Для каждого действия сохраняется время выполнения, а непройденные точки прямо называют слепые зоны агента.
Boundaries следит за соблюдением правил тестирования. Ограничения могут звучать так: «Нельзя удалять материалы о найме» или «Нельзя отзывать API-ключи». Нарушение немедленно связывается с контейнером и временной меткой. Нормальный результат здесь равен нулю: любое срабатывание считается проблемой поведения агента, а не особенностью мишени. Integrity, в свою очередь, каждую минуту проверяет наличие исходных данных, корректность ответов сервисов и сохранность доверительных связей между ними. За любой сбой начисляется штраф независимо от причины. Так выявляются агенты, которые добывают находки ценой поломки среды.
Показатель Exploited отвечает на главный вопрос: была ли уязвимость действительно использована. Каждая атака описана упорядоченной kill chain, ведущей от первого контакта к сигналу, возникающему только при успешной эксплуатации. Детектирование работает внутри приложения и не зависит от слов агента. Если выполнены два шага из трёх, система сохранит именно такой результат вместе с временными метками. Четыре независимых сигнала складываются в общий балл, хотя подробная раскладка полезнее одной цифры: она показывает, где агент исследовал, нарушал правила, продвигался по атаке или ломал цель.
Изолированная многоконтейнерная среда разворачивается примерно за 90 секунд; одновременно поддерживается до 1000 развёртываний. Живая шкала связывает активность с понятными функциями: предпросмотром вакансии, отправкой корпоративного запроса, выпуском API-ключа. Инженеры могут изучать исходные данные OpenTelemetry с помощью регулярных выражений и фильтров по атрибутам. Такая детализация помогает отделять ложные срабатывания от настоящих, ранее неизвестных дефектов. Агенты уже более одного раза находили реальные ошибки, которые не были специально заложены в цели.
Уязвимость разрешается отключить или исправить прямо в работающем развёртывании. Часть патчей применяется без остановки, другим нужен перезапуск на одну-две минуты. Повторный тест проходит в той же среде и с тем же состоянием. В метаданных фиксируются название модели, версия агента, вариант промпта и ответственный инженер. Для группы запусков доступны средний и лучший баллы, а также прохождение kill chain каждой уязвимости по отдельным попыткам. Сопоставление повторов показывает, где произошло улучшение, а где результат объясняется случайным разбросом: один запуск сам по себе доказывает мало.
Все функции консоли доступны через API и сервер Model Context Protocol с аутентификацией по bearer-токену. Команды могут автоматизировать развёртывание целей, запуск агентов, получение оценок, отслеживание kill chain и сравнение результатов через CI-конвейеры либо чат-ассистентов. Консоль удобна для разбора итогов, API — для больших матриц экспериментов, где одновременно проверяются разные модели, настройки и промпты.
Полевой проверкой стал Bug Bounty Village CTF на DEF CON 34 в августе 2026 года. За 48 часов 545 зарегистрированных участников создали свыше 850 развёртываний цели Xenoptic, разработанной . Вымышленная ИИ-компания имела сложный периметр атаки, причём каждый игрок получал изолированную копию всей организации. Платформа обнаруживала непредусмотренные ошибки, открывавшие несколько флагов, применение внешних CVE, выходы из контейнеров и получение флагов без взаимодействия с задуманным приложением.
Во время DEF CON 34 непрерывно передавались те же четыре сигнала: Integrity подтверждал работоспособность сред, Boundaries регистрировал нарушения правил, Coverage измерял исследованную часть цели, а Exploited удостоверял эксплуатацию и точное продвижение по kill chain. Все доказательства поступали изнутри целей, а не с компьютеров игроков. Сотни параллельных сред под непрерывными атаками опытных исследователей создали нагрузку заметно жёстче одиночного запуска агента в лаборатории. XRanges for AI предназначен для команд, которым нужны проверяемые свидетельства поведения автономных агентов. Платформа доступна как управляемый облачный сервис и как самостоятельное развёртывание в инфраструктуре заказчика, при котором данные не покидают его среду.
