DeepSeek Janus-7B: новый этап в мультимодальном ИИ

DeepSeek Janus-7B представляет собой мультимодальную модель, способную обрабатывать и генерировать как текст, так и изображения. Её ключевая особенность — применение архитектуры LlamaGen для генерации изображений, которая основана на принципах предсказания следующего токена, аналогично языковым моделям, но с визуальными токенами. Эта технология позволяет значительно улучшить качество генерации с увеличением параметров модели.
DeepSeek Janus-7B: новый этап в мультимодальном ИИ
Изображение носит иллюстративный характер

В отличие от традиционных диффузионных моделей, где изображение поэтапно превращается в шум и обратно, LlamaGen использует подход, схожий с обработкой текста, предсказывая следующие «визуальные слова». Такой метод открывает потенциал для значительного улучшения качества генерации изображений по мере увеличения мощности модели, что уже превосходит DALL-E 3 и Stable Diffusion XL, даже на начальном этапе развития.

Распознавание изображений в Janus-7B базируется на энкодере SigLIP, архитектура которого основана на CLIP. Хотя это не является революционным, использование передовых технологий в этой области позволяет обеспечить качественный ввод данных для последующей обработки и генерации. Модель сжимает изображения до размера 384x384 пикселей.

Несмотря на впечатляющие возможности, на данный момент Janus-7B имеет ограничения, в частности, генерация изображений ограничена разрешением 384x384, что не позволяет полноценно оценить ее потенциал для задач, требующих более высокого разрешения. Тем не менее, модель вызывает интерес благодаря своей мультимодальности и потенциалу для улучшения качества генерации изображений.


Новое на сайте

21008ИИ-агент в чужой сессии: кто отвечает за его действия 21007Какие версии Zoom Workplace для Windows уязвимы для удалённого повышения привилегий? 21006Как две уязвимости в Xen Orchestra открыли путь к захвату XCP-ng? 21005Поддельные сайты ИИ превращают опечатки в ловушки 21004Как обновление Node.js закрывает уязвимости HTTP/2 и TLS? 21003Почему Claude Fable5.2 обошёл GPT-6 Cyber в испытании многоэтапных кибератак? 21002Две уязвимости Red Hat Quay открыли доступ к чужим образам 21001После сигнала: почему для расследования нужны подробные сетевые данные 21000Критическая ошибка PTC Windchill и FlexPLM открывает путь к удалённому выполнению кода 20999Слепые зоны идентичности: чего не хватает SOC при расследовании атак 20998Обновления Apple закрыли лазейки в групповых чатах и Bluetooth 20997Уязвимость iPhone может открыть приложениям доступ к чужим файлам 20996Что раскрыла расширенная проверка утечки Fireworks AI? 20995Уязвимость в Apache HTTP/2: удалённое выполнение кода без входа 20994Как защитить виртуальные машины Google Cloud от утечек на AMD Turin?
Ссылка