Ssylka

Как дискретные диффузионные модели преодолевают недостатки авторегрессии в генерации текста?

Авторегрессионные модели, генерируя текст последовательно, страдают от потери глобальной согласованности, поскольку далекие токены слабо связаны. Дискретные диффузионные модели, маскируя слова и восстанавливая их параллельно, предлагают альтернативный путь, потенциально ускоряя генерацию и обеспечивая лучшую согласованность текста.
Как дискретные диффузионные модели преодолевают недостатки авторегрессии в генерации текста?
Изображение носит иллюстративный характер

Метод дискретной диффузии сталкивается с проблемой игнорирования связности между токенами, так как при «зашумлении» предполагается одновременная маскировка всего текста, а восстановление происходит через независимые вероятности для каждого слова. Energy-based diffusion language models (EDLM) решают эту проблему, оценивая локальную согласованность через функцию энергии, минимизация которой обеспечивает лучшее качество текста.

EDLM, на каждом шаге обратной диффузии, генерирует несколько вариантов, оценивает их энергию и выбирает вариант с наименьшей энергией, что соответствует наиболее вероятному и связному тексту. Для оценки энергии EDLM использует предобученные LLM или обучает её с помощью Noise Contrastive Estimation, что позволяет отличать реальные данные от шума.

Результаты тестирования EDLM на Text8 и OpenWebText показали, что модель достигла уровня производительности, сравнимого с авторегрессионными моделями, при этом значительно превзойдя другие дискретные диффузионные подходы. Это указывает на перспективность EDLM как конкурентоспособной альтернативы в области генерации текста.


Новое на сайте

15287Жидкость, восстанавливающая форму: нарушение законов термодинамики 15286Аркадия ведьм: загадка Чарльза годфри Леланда и её влияние на современную магию 15285Кто станет новым героем Звёздных войн в 2027 году? 15283Ануше Ансари | Почему космические исследования важны для Земли 15282Гизем Гумбуская | Синтетический морфогенез: самоконструирующиеся живые архитектуры по... 15281Как предпринимателю остаться хозяином своей судьбы? 15280Люси: путешествие к древним обломкам солнечной системы 15279Роберт Лиллис: извлеченные уроки для экономически эффективных исследований дальнего... 15278Почему супермен до сих пор остаётся символом надежды и морали? 15277Райан Гослинг в роли нового героя «Звёздных войн»: что известно о фильме Star Wars:... 15276Почему экваториальная Гвинея остаётся одной из самых закрытых и жестоких диктатур мира? 15275Почему морские слизни становятся ярче под солнцем? 15274Глен Вейль | Можем ли мы использовать ИИ для построения более справедливого общества? 15273Лириды: где и как увидеть древний звездопад в этом апреле? 15272Сдержит ли налог на однодневных туристов в Венеции наплыв гостей?