Когда Гессиан не нужен: альтернативный взгляд на оценку неопределенности в машинном обучении

Традиционные методы оценки неопределенности, использующие аппроксимацию Лапласа с вычислением Гессиана, часто оказываются ресурсозатратными и не всегда точными. Альтернативный подход, заменяющий Гессиан на единичную матрицу, может обеспечить более эффективное и точное определение неопределенности модели. Этот метод, получивший название Identity Curvature Laplace Approximation (ICLA), показывает сравнимые и даже лучшие результаты по сравнению с классическими методами аппроксимации Лапласа, а также некоторыми небайесовскими подходами, особенно в задачах обнаружения аномалий (out-of-distribution detection).
Когда Гессиан не нужен: альтернативный взгляд на оценку неопределенности в машинном обучении
Изображение носит иллюстративный характер

Аппроксимация Лапласа, использующая информацию о кривизне параметров модели (Гессиане), для оценки дисперсии распределения, является мощным инструментом в машинном обучении. Однако, вычисление Гессиана, требующее значительных вычислительных ресурсов, становится проблематичным для нейронных сетей с большим количеством параметров. Попытки аппроксимации Гессиана, такие как матрица Фишера или K-FAC, не всегда приводят к удовлетворительным результатам. В то же время, ICLA, использующий простую единичную матрицу вместо Гессиана, оказывается удивительно эффективным.

Исследования показали, что эффективность ICLA напрямую связана со сложностью данных, определяемой как средняя поклассовая косинусная близость кластеров эмбеддингов (MCCS). На датасетах с высокой разделимостью классов традиционная аппроксимация Лапласа работает хуже, чем ICLA. Это связано с тем, что Гессиан имеет спектральное распределение с длинным хвостом, что не соответствует структуре ковариации классов в таких данных. Таким образом, отказ от информации о кривизне (Гессиане) может не только ускорить вычисления, но и повысить точность оценки неопределенности.

В итоге, ICLA, заменяя Гессиан на единичную матрицу, демонстрирует значительное улучшение в оценке неопределенности модели, особенно на сложных данных с высокой разделимостью классов. Этот метод не только упрощает вычисления, но и позволяет создавать более безопасные и надежные системы машинного обучения, способные адекватно оценивать свою неуверенность в сложных и изменчивых условиях.


Новое на сайте

21016Как уязвимость SGLang раскрыла данные 18 агентов и около 100 пользователей NEAR AI? 21015Ошибка в типах PostgreSQL открывает путь к выполнению кода на сервере 21014Майнер с root-доступом: атака на 21 сервер N-central 21013Почему уязвимость UnrealIRCd позволяет обычному пользователю получить права сервера? 21012Как утечка ключа Fireworks AI привела к заражённому расширению Claude Code? 21011Почему Meta оштрафовали в Италии на €805 млн? 21010Операция Endgame: удар по вредоносным сетям и что делать пострадавшим 21009Как скрытый модуль в кошельках Trezor мог похитить фразы восстановления? 21008ИИ-агент в чужой сессии: кто отвечает за его действия 21007Какие версии Zoom Workplace для Windows уязвимы для удалённого повышения привилегий? 21006Как две уязвимости в Xen Orchestra открыли путь к захвату XCP-ng? 21005Поддельные сайты ИИ превращают опечатки в ловушки 21004Как обновление Node.js закрывает уязвимости HTTP/2 и TLS? 21003Почему Claude Fable5.2 обошёл GPT-6 Cyber в испытании многоэтапных кибератак? 21002Две уязвимости Red Hat Quay открыли доступ к чужим образам
Ссылка