Class Activation Maps (CAM) позволяют понять, какие области изображения наиболее важны для модели при принятии решения, показывая, какие признаки извлекает модель на разных слоях свертки и как они влияют на прогноз конкретного класса. CAM можно реализовать вручную для задач классификации, используя сверточные нейросети.
Архитектура YOLO NAS включает backbone, neck и head. Backbone извлекает признаки, neck передает их, а head принимает решение о классификации и локализации объекта. CAM строится на головах, так как оттуда можно извлечь веса, влияющие на прогноз. На backbone визуализируют активации. Для извлечения данных используют hook-методы PyTorch, «подключаясь» к слоям сети. При инференсе необходимо установить fuse_model=False, иначе информативность карт снижается.
Анализ показал, что с увеличением номера stage (уровня свертки) модель анализирует более крупные области. Медианные значения активаций различаются на ранних этапах, но стабилизируются на уровне голов. Локализация усиливается с увеличением номера головы, так как более поздние головы используют выходы более поздних stages, фокусируясь на более специфичных признаках.
CAM помогает визуализировать влияние входных данных на прогноз модели на каждом уровне архитектуры, глубже понять работу архитектуры и оценить стабильность модели. Анализ стабильности помогает выявить чувствительность модели к шуму и искажениям, повышая надежность моделей в реальных условиях.
Изображение носит иллюстративный характер
Архитектура YOLO NAS включает backbone, neck и head. Backbone извлекает признаки, neck передает их, а head принимает решение о классификации и локализации объекта. CAM строится на головах, так как оттуда можно извлечь веса, влияющие на прогноз. На backbone визуализируют активации. Для извлечения данных используют hook-методы PyTorch, «подключаясь» к слоям сети. При инференсе необходимо установить fuse_model=False, иначе информативность карт снижается.
Анализ показал, что с увеличением номера stage (уровня свертки) модель анализирует более крупные области. Медианные значения активаций различаются на ранних этапах, но стабилизируются на уровне голов. Локализация усиливается с увеличением номера головы, так как более поздние головы используют выходы более поздних stages, фокусируясь на более специфичных признаках.
CAM помогает визуализировать влияние входных данных на прогноз модели на каждом уровне архитектуры, глубже понять работу архитектуры и оценить стабильность модели. Анализ стабильности помогает выявить чувствительность модели к шуму и искажениям, повышая надежность моделей в реальных условиях.
