DeepSeek выпустила генеративную модель Janus-Pro с открытым исходным кодом, которая, по заявлению разработчиков, превосходит Dall-E 3 и Stable Diffusion в некоторых бенчмарках. Модель представлена в двух вариантах: с 1 и 7 миллиардами параметров. Janus-Pro способна понимать текст и изображения, а также генерировать изображения по текстовым описаниям.
Технически, Janus-Pro использует раздельные методы кодирования для мультимодального понимания и генерации изображений, применяя SigLIP кодировщик для извлечения семантических признаков и VQ токенизатор для преобразования изображений в дискретные токены. В бенчмарках GenEval и DPG-Bench модель Janus-Pro-7B продемонстрировала более высокие результаты, чем Dall-E 3 и Stable Diffusion 3 Medium, что свидетельствует о ее способности следовать инструкциям и генерировать изображения.
Несмотря на заявленные успехи, качество сгенерированных Janus-Pro изображений вызвало сомнения. Нарушения пропорций лиц и тел, а также трудности с рендерингом текста, ставят под вопрос утверждения о превосходстве над Dall-E 3. К тому же, разрешение изображений ограничено 384x384 пикселями, что может сказываться на детализации.
Janus-Pro доступен для скачивания и использования на Hugging Face, где можно также опробовать демо-версию. Модель поддерживает как научное, так и коммерческое использование. Однако, как показала практика, заявленные возможности не всегда соответствуют действительности, и для получения качественных изображений может потребоваться дополнительная настройка. Несмотря на это, появление таких открытых моделей подстегивает развитие ИИ в области генерации изображений.
Изображение носит иллюстративный характер
Технически, Janus-Pro использует раздельные методы кодирования для мультимодального понимания и генерации изображений, применяя SigLIP кодировщик для извлечения семантических признаков и VQ токенизатор для преобразования изображений в дискретные токены. В бенчмарках GenEval и DPG-Bench модель Janus-Pro-7B продемонстрировала более высокие результаты, чем Dall-E 3 и Stable Diffusion 3 Medium, что свидетельствует о ее способности следовать инструкциям и генерировать изображения.
Несмотря на заявленные успехи, качество сгенерированных Janus-Pro изображений вызвало сомнения. Нарушения пропорций лиц и тел, а также трудности с рендерингом текста, ставят под вопрос утверждения о превосходстве над Dall-E 3. К тому же, разрешение изображений ограничено 384x384 пикселями, что может сказываться на детализации.
Janus-Pro доступен для скачивания и использования на Hugging Face, где можно также опробовать демо-версию. Модель поддерживает как научное, так и коммерческое использование. Однако, как показала практика, заявленные возможности не всегда соответствуют действительности, и для получения качественных изображений может потребоваться дополнительная настройка. Несмотря на это, появление таких открытых моделей подстегивает развитие ИИ в области генерации изображений.
