Для локального запуска мощной ИИ-модели DeepSeek-R1, специализирующейся на логике, математике и программировании, требуется специализированная сборка ПК. Ключевым моментом является обеспечение высокой пропускной способности и большого объема оперативной памяти, поскольку модель размером 650 Гб в Q8-квантизации полностью загружается в RAM.
Основой системы является материнская плата с двумя сокетами AMD EPYC, поддерживающая 24 канала DDR5 RAM. Два процессора AMD EPYC 9004/9005 обеспечивают достаточную вычислительную мощность, поскольку скорость инференса LLM в большей степени ограничена пропускной способностью памяти, чем мощностью CPU. Для максимальной производительности нужно 768 ГБ оперативной памяти, реализованной через 24 модуля DDR5 RDIMM по 32 ГБ.
Быстрый NVMe SSD на 1 ТБ необходим для оперативной загрузки весов модели в RAM. В качестве корпуса используется модель, совместимая с серверными материнскими платами, а питание обеспечивается блоком на 1000 Вт. Для охлаждения используются кулеры, совместимые с сокетом SP5, с заменой вентиляторов на более тихие модели.
Настройка программного обеспечения включает установку фреймворка llama.cpp, скачивание модели DeepSeek-R1 и запуск через командную строку. Данная конфигурация позволяет достичь 6-8 токенов в секунду при длине контекста до 100,000 токенов. Использование GPU для ускорения инференса возможно, но требует больших затрат на видеопамять, хотя частичная выгрузка на GPU может дать некоторый прирост.
Изображение носит иллюстративный характер
Основой системы является материнская плата с двумя сокетами AMD EPYC, поддерживающая 24 канала DDR5 RAM. Два процессора AMD EPYC 9004/9005 обеспечивают достаточную вычислительную мощность, поскольку скорость инференса LLM в большей степени ограничена пропускной способностью памяти, чем мощностью CPU. Для максимальной производительности нужно 768 ГБ оперативной памяти, реализованной через 24 модуля DDR5 RDIMM по 32 ГБ.
Быстрый NVMe SSD на 1 ТБ необходим для оперативной загрузки весов модели в RAM. В качестве корпуса используется модель, совместимая с серверными материнскими платами, а питание обеспечивается блоком на 1000 Вт. Для охлаждения используются кулеры, совместимые с сокетом SP5, с заменой вентиляторов на более тихие модели.
Настройка программного обеспечения включает установку фреймворка llama.cpp, скачивание модели DeepSeek-R1 и запуск через командную строку. Данная конфигурация позволяет достичь 6-8 токенов в секунду при длине контекста до 100,000 токенов. Использование GPU для ускорения инференса возможно, но требует больших затрат на видеопамять, хотя частичная выгрузка на GPU может дать некоторый прирост.
