Как дискретные диффузионные модели преодолевают недостатки авторегрессии в генерации текста?

Авторегрессионные модели, генерируя текст последовательно, страдают от потери глобальной согласованности, поскольку далекие токены слабо связаны. Дискретные диффузионные модели, маскируя слова и восстанавливая их параллельно, предлагают альтернативный путь, потенциально ускоряя генерацию и обеспечивая лучшую согласованность текста.
Как дискретные диффузионные модели преодолевают недостатки авторегрессии в генерации текста?
Изображение носит иллюстративный характер

Метод дискретной диффузии сталкивается с проблемой игнорирования связности между токенами, так как при «зашумлении» предполагается одновременная маскировка всего текста, а восстановление происходит через независимые вероятности для каждого слова. Energy-based diffusion language models (EDLM) решают эту проблему, оценивая локальную согласованность через функцию энергии, минимизация которой обеспечивает лучшее качество текста.

EDLM, на каждом шаге обратной диффузии, генерирует несколько вариантов, оценивает их энергию и выбирает вариант с наименьшей энергией, что соответствует наиболее вероятному и связному тексту. Для оценки энергии EDLM использует предобученные LLM или обучает её с помощью Noise Contrastive Estimation, что позволяет отличать реальные данные от шума.

Результаты тестирования EDLM на Text8 и OpenWebText показали, что модель достигла уровня производительности, сравнимого с авторегрессионными моделями, при этом значительно превзойдя другие дискретные диффузионные подходы. Это указывает на перспективность EDLM как конкурентоспособной альтернативы в области генерации текста.


Новое на сайте

21016Как уязвимость SGLang раскрыла данные 18 агентов и около 100 пользователей NEAR AI? 21015Ошибка в типах PostgreSQL открывает путь к выполнению кода на сервере 21014Майнер с root-доступом: атака на 21 сервер N-central 21013Почему уязвимость UnrealIRCd позволяет обычному пользователю получить права сервера? 21012Как утечка ключа Fireworks AI привела к заражённому расширению Claude Code? 21011Почему Meta оштрафовали в Италии на €805 млн? 21010Операция Endgame: удар по вредоносным сетям и что делать пострадавшим 21009Как скрытый модуль в кошельках Trezor мог похитить фразы восстановления? 21008ИИ-агент в чужой сессии: кто отвечает за его действия 21007Какие версии Zoom Workplace для Windows уязвимы для удалённого повышения привилегий? 21006Как две уязвимости в Xen Orchestra открыли путь к захвату XCP-ng? 21005Поддельные сайты ИИ превращают опечатки в ловушки 21004Как обновление Node.js закрывает уязвимости HTTP/2 и TLS? 21003Почему Claude Fable5.2 обошёл GPT-6 Cyber в испытании многоэтапных кибератак? 21002Две уязвимости Red Hat Quay открыли доступ к чужим образам
Ссылка