DeepSeek выпустила мощные LLM, включая R1 и ее дистилляты, превосходящие OpenAI по бенчмаркам. Для локального запуска можно использовать дистиллированные версии моделей, например, DeepSeek-R1-Distill-Qwen-32B, которая, как говорят, превосходит O1-mini, или более компактные варианты 7b Qwen и 8b Llama.
Для запуска потребуется Linux, видеокарта NVIDIA, Docker и Python. Модели, представленные в формате GGUF, совместимы с llama.cpp, обеспечивая быстрый и удобный инференс. Веса моделей можно скачать с помощью hf_transfer, выбрав нужные файлы из репозитория.
Готовый Docker-контейнер упрощает запуск: необходимо указать путь к моделям. Llama.cpp также предлагает базовый UI, позволяющий тестировать модели, сохраняя историю общения и настройки. Скорость инференса на 2080 Ti составит примерно 103 токена в секунду для начального промпта и около 8 токенов в секунду при генерации длинного текста для 7B модели.
Также возможно использование LM Studio на Windows для тестирования квантованных моделей, хотя и с меньшей производительностью. Преимущество подхода с llama.cpp заключается в возможности развертывания на сервере для командной работы и последующего использования в продакшене на более мощном железе.
Изображение носит иллюстративный характер
Для запуска потребуется Linux, видеокарта NVIDIA, Docker и Python. Модели, представленные в формате GGUF, совместимы с llama.cpp, обеспечивая быстрый и удобный инференс. Веса моделей можно скачать с помощью hf_transfer, выбрав нужные файлы из репозитория.
Готовый Docker-контейнер упрощает запуск: необходимо указать путь к моделям. Llama.cpp также предлагает базовый UI, позволяющий тестировать модели, сохраняя историю общения и настройки. Скорость инференса на 2080 Ti составит примерно 103 токена в секунду для начального промпта и около 8 токенов в секунду при генерации длинного текста для 7B модели.
Также возможно использование LM Studio на Windows для тестирования квантованных моделей, хотя и с меньшей производительностью. Преимущество подхода с llama.cpp заключается в возможности развертывания на сервере для командной работы и последующего использования в продакшене на более мощном железе.
