Что на самом деле стоит за заявленной точностью 95,95% у новой модели Microsoft для поиска уязвимостей?

Microsoft добавила в MDASH — свою систему из нескольких моделей для поиска и устранения уязвимостей — первую модель, заточенную конкретно под кибербезопасность. Назвали её MAI-Cyber-1-Flash. Работает она не сама по себе, а в паре с GPT-5.4, и именно эта связка выдала результат, который компания активно продвигает: 95,95% на бенчмарке CyberGym. Важная деталь, которую легко пропустить в пресс-релизах — это показатель не модели, а всей системы MDASH целиком, где MAI-Cyber-1-Flash работает вместе с GPT-5.4.
Вторая цифра, которой хвастается Microsoft — снижение стоимости на 50% по сравнению с прежней лучшей связкой MDASH, которая состояла из GPT-5.4, GPT-5.4 mini и GPT-5.3 Codex. На странице продукта об этом сказано так: система обеспечивает «сопоставимую производительность за 50% стоимости ведущих моделей». Звучит эффектно, но проверить эти цифры со стороны почти невозможно — Microsoft не раскрыла ни объём использованных токенов, ни количество запросов, ни задержки, ни распределение задач, ни то, как считались вычислительные ресурсы. Экономия заявлена, но остаётся на слово.
Доступ к модели строго ограничен. Получить её можно только через одобренных клиентов MDASH, и доставляется она через приватное превью Azure AI Foundry. MAI-Cyber-1-Flash нельзя вызвать как отдельную публичную модель, у неё нет универсального API — работает исключительно внутри MDASH и ни в каком другом виде.
Логика распределения задач внутри системы устроена так: MAI-Cyber-1-Flash берёт на себя до 90% всех задач MDASH, а GPT-5.4 оставляют для самых сложных 10%. При этом, судя по карточке модели от самой Microsoft, MAI-Cyber-1-Flash заменил 80% моделей, которые раньше использовались в MDASH. Именно это переключение подняло результат на CyberGym с 88,4% до 95,95%. Тут стоит различать две цифры — 80% это доля замененных моделей, а 90% это максимальная доля задач, которую новая модель способна взять на себя. Главный технический тезис Microsoft — не сама модель, а стратегия маршрутизации: большинство задач уходит к MAI-Cyber-1-Flash, а самый сложный остаток передаётся GPT-5.4, и результат заявлен на уровне всей системы.
Что вообще измеряет CyberGym на уровне первого уровня сложности? Агенту дают описание уже известной уязвимости и непатченный исходный код, а затем проверяют, сможет ли он воспроизвести работающий proof-of-concept. То есть тест проверяет умение воспроизвести уже найденную проблему, а не способность найти уязвимость самостоятельно с нуля. И уж точно тест не оценивает, правильно ли составлен патч для устранения этой уязвимости.
28 июля 2026 года на публичном лидерборде CyberGym результата 95,95% от Microsoft вообще не было. На тот момент первое место занимал агент Atlas от компании Wiz с результатом 90,9%, поданным 27 июля. Собственный показатель Microsoft в таблице был указан как 88,4% — из заявки от 12 мая. Отправляла ли компания результат 95,95% на публичную проверку и почему он не появился в таблице — материалы Microsoft этого не объясняют.
Есть ещё более раннее число — 96,55%, полученное в июне на связке MDASH. Оно не помогает разобраться в динамике, потому что считалось по другому принципу: тогда засчитывался любой crash программы, включая те, что не относились к целевой уязвимости — критерий заметно мягче. В июльских материалах не указано, использовался ли тот же критерий для 95,95%. Из-за этого сравнивать 96,55% и 95,95% как показатель роста или падения качества со временем просто нельзя — методики разные.
Карточка модели раскрывает архитектуру: разреженный трансформер с механизмом mixture-of-experts, 137 миллиардов параметров всего и 5 миллиардов активных, окно контекста в 256 тысяч токенов. По происхождению это дообученная под кибербезопасность версия MAI-Code-1-Flash, которая в свою очередь выросла из промежуточной контрольной точки обучения модели MAI-Thinking-1.
В карточке модели приведены и другие результаты, полученные через упрощённый терминальный харнесс — со своими шкалами и задачами, никак не сводимыми к единому баллу CyberGym. На CVEBench модель набрала 0,314, на CyberSecEval4 в части анализа угроз — 0,553, в тесте на анализ малвари — 0,33, на CRSBench при значении POV=1200 — 0,651. А вот на ExploitGym, где агенту нужно превратить переданную уязвимость или входные данные, вызывающие сбой, в рабочий эксплойт с выполнением произвольного кода, результат по всем трём категориям — ядро, пользовательское пространство, браузер — оказался нулевым.
Виктор Ким (Taesoo Kim), вице-президент Microsoft по агентной безопасности, ещё в июне описал философию MDASH одной фразой: «Модель — это один вход, а система вокруг неё — это и есть продукт». Формулировка объясняет, почему компания так настойчиво говорит об архитектуре маршрутизации, а не о показателях отдельной модели саму по себе.
Все тестирования проходили в изолированной от сети среде — без доступа к продуктивным системам, публичному интернету или внешним сервисам. В карточке модели прямо предупреждают: сгенерированный текст или код может быть неточным или неполным, и перед использованием в реальных задачах его нужно проверять.
Запуск MAI-Cyber-1-Flash в составе MDASH — это первый объявленный сценарий применения более широкого проекта Microsoft под названием Project Perception, задача которого — координировать работу защитных агентов безопасности между собой. Публичное превью проекта запланировано на 3 августа, а в дальнейшем компания собирается вывести модель за пределы работы с уязвимостями в софте и подключить её к другим направлениям безопасности.


Новое на сайте

Ссылка