Для ускорения инференса больших языковых моделей (LLM) применяют дистилляцию знаний, которая позволяет переносить знания из большой LLM в компактную модель, сохраняя при этом значительную часть ее возможностей. Существуют различные методы дистилляции, такие как Hard-label, Soft-label и On-policy, каждый из которых имеет свои особенности и преимущества. On-policy дистилляция особенно эффективна, поскольку она решает проблему смещения воздействия, возникающую из-за обучения на примерах, сгенерированных моделью-учителем.
Квантизация – еще один важный инструмент, который позволяет сократить объемы потребляемых вычислительных ресурсов и повысить скорость инференса. В частности, использование форматов FP8 (E4M3, E3M4) для квантизации активаций может обеспечить lossless-результаты по качеству и ускорение до 1.4x по сравнению с 16-битным инференсом. SpinQuant, метод W4A4-квантизации, также демонстрирует SOTA-результаты на бенчмарках качества и ускорение 2.7x на этапе генерации.
Метод спекулятивного декодирования EAGLE отличается от привычной схемы несколькими аспектами. Передача скрытых состояний последнего слоя исходной модели в draft-голову и обучение ее их же предсказывать на выход позволяет итоговой модели использовать больше информации для «угадывания» будущих токенов и в результате даёт больший Acceptance Rate. Древовидные драфты значительно увеличивают среднее количество принятых токенов, поскольку по факту дают возможность верифицировать сразу несколько цепочек, причём делать это эффективно и почти настолько же быстро, как с одной цепочкой.
Оптимизация KV-cache играет важную роль в задачах с длинным контекстом. Квантизация KV-cache позволяет линейно сжать его в два раза для 8-битной квантизации и в четыре – для 4-битной по сравнению с FP16. KV-cache reuse, PagedAttention и Dynamic Memory Compression (DMC) – другие эффективные техники сжатия и управления KV-cache. Кроме того, использование Continuous Batching и ragged tensors может дополнительно повысить утилизацию GPU и ускорить инференс.
Изображение носит иллюстративный характер
Квантизация – еще один важный инструмент, который позволяет сократить объемы потребляемых вычислительных ресурсов и повысить скорость инференса. В частности, использование форматов FP8 (E4M3, E3M4) для квантизации активаций может обеспечить lossless-результаты по качеству и ускорение до 1.4x по сравнению с 16-битным инференсом. SpinQuant, метод W4A4-квантизации, также демонстрирует SOTA-результаты на бенчмарках качества и ускорение 2.7x на этапе генерации.
Метод спекулятивного декодирования EAGLE отличается от привычной схемы несколькими аспектами. Передача скрытых состояний последнего слоя исходной модели в draft-голову и обучение ее их же предсказывать на выход позволяет итоговой модели использовать больше информации для «угадывания» будущих токенов и в результате даёт больший Acceptance Rate. Древовидные драфты значительно увеличивают среднее количество принятых токенов, поскольку по факту дают возможность верифицировать сразу несколько цепочек, причём делать это эффективно и почти настолько же быстро, как с одной цепочкой.
Оптимизация KV-cache играет важную роль в задачах с длинным контекстом. Квантизация KV-cache позволяет линейно сжать его в два раза для 8-битной квантизации и в четыре – для 4-битной по сравнению с FP16. KV-cache reuse, PagedAttention и Dynamic Memory Compression (DMC) – другие эффективные техники сжатия и управления KV-cache. Кроме того, использование Continuous Batching и ragged tensors может дополнительно повысить утилизацию GPU и ускорить инференс.
