Ssylka

Локальный запуск DeepSeek-R1: сборка и производительность

Для локального запуска мощной ИИ-модели DeepSeek-R1, специализирующейся на логике, математике и программировании, требуется специализированная сборка ПК. Ключевым моментом является обеспечение высокой пропускной способности и большого объема оперативной памяти, поскольку модель размером 650 Гб в Q8-квантизации полностью загружается в RAM.
Локальный запуск DeepSeek-R1: сборка и производительность
Изображение носит иллюстративный характер

Основой системы является материнская плата с двумя сокетами AMD EPYC, поддерживающая 24 канала DDR5 RAM. Два процессора AMD EPYC 9004/9005 обеспечивают достаточную вычислительную мощность, поскольку скорость инференса LLM в большей степени ограничена пропускной способностью памяти, чем мощностью CPU. Для максимальной производительности нужно 768 ГБ оперативной памяти, реализованной через 24 модуля DDR5 RDIMM по 32 ГБ.

Быстрый NVMe SSD на 1 ТБ необходим для оперативной загрузки весов модели в RAM. В качестве корпуса используется модель, совместимая с серверными материнскими платами, а питание обеспечивается блоком на 1000 Вт. Для охлаждения используются кулеры, совместимые с сокетом SP5, с заменой вентиляторов на более тихие модели.

Настройка программного обеспечения включает установку фреймворка llama.cpp, скачивание модели DeepSeek-R1 и запуск через командную строку. Данная конфигурация позволяет достичь 6-8 токенов в секунду при длине контекста до 100,000 токенов. Использование GPU для ускорения инференса возможно, но требует больших затрат на видеопамять, хотя частичная выгрузка на GPU может дать некоторый прирост.


Новое на сайте

13509Что скрывает загадочный клад Мелсонби? 13508Может ли новый резервуар предотвратить наводнения? 13507Венеция: чудо из дерева, грязи и воды 13506Может ли купание под звёздами преобразить ваше восприятие мира? 13505Как распространение спортивной ходьбы трансформировало спортивную сферу в XIX столетии? 13504Защита критических данных с помощью PAM 13503Перестановка в «Малкольме»: новый Дьюи возрождает культовый сериал 13502Ошибочная декофеинизация: отзыв кофейного продукта в США 13501Как уличная фотография меняет модный мир? 13500Лучшее снаряжение для солнечного затмения 2025 13499Отмена тура FKA Twigs из-за визовых проблем 13498Как выбрать надежный трехрядный SUV за менее чем 30 000 долларов? 13497Как миф о превосходстве моногамии разрушается научными данными? 13496Любовный треугольник на южном побережье: как пара скопа справится с конкуренцией? 13495Революционное открытие: прото­планетные диски оказались значительно меньше, чем считалось...