Тестирование связки из четырех видеокарт AMD Radeon RX 7900 XTX показало их пригодность для инференса языковых моделей, особенно в сценариях с большим объемом видеопамяти. Хотя по скорости они в среднем на 20% уступают NVIDIA RTX 4090, но стоимость решения с несколькими картами AMD может быть более выгодной. Поддержка FP16 и квантованных моделей работает хорошо, а вот FP8 пока не поддерживается на Radeon, но это критично в основном для графики и vision-моделей.
Эксперименты с разными языковыми моделями, включая Gemma, T-Pro и Llama, выявили, что для корректной работы на нескольких GPU требуется настройка параметров ядра Linux (IOMMU). Разные модели показали разную скорость и качество ответов, причем российские модели лучше справлялись с русским языком. Однако, все модели, включая GigaChat Max от Сбера, продемонстрировали ошибки при использовании в роли игрового бота в настольной игре.
Интеграция ИИ в настольные игры продемонстрировала, что даже базовые модели способны генерировать непредсказуемое поведение, что может сделать игру интереснее и сложнее по сравнению с традиционными ботами, работающими по заданным программам. Выявлены проблемы с пониманием промтов, требующие дальнейшей доработки, возможно, с использованием отдельных промтов для каждой модели, что, в частности, позволит избавиться от путаницы с правой и левой сторонами игрового поля.
ROCm, программная платформа для работы с GPU от AMD, значительно улучшилась, и теперь делает возможным использование этих карт для работы с нейросетями в многопроцессорной конфигурации. Применение ИИ в настольных играх открывает возможности для создания чат-ботов и мобильных помощников, которые могут управлять игровыми персонажами и создавать более сложные и динамичные игровые сценарии.
Изображение носит иллюстративный характер
Эксперименты с разными языковыми моделями, включая Gemma, T-Pro и Llama, выявили, что для корректной работы на нескольких GPU требуется настройка параметров ядра Linux (IOMMU). Разные модели показали разную скорость и качество ответов, причем российские модели лучше справлялись с русским языком. Однако, все модели, включая GigaChat Max от Сбера, продемонстрировали ошибки при использовании в роли игрового бота в настольной игре.
Интеграция ИИ в настольные игры продемонстрировала, что даже базовые модели способны генерировать непредсказуемое поведение, что может сделать игру интереснее и сложнее по сравнению с традиционными ботами, работающими по заданным программам. Выявлены проблемы с пониманием промтов, требующие дальнейшей доработки, возможно, с использованием отдельных промтов для каждой модели, что, в частности, позволит избавиться от путаницы с правой и левой сторонами игрового поля.
ROCm, программная платформа для работы с GPU от AMD, значительно улучшилась, и теперь делает возможным использование этих карт для работы с нейросетями в многопроцессорной конфигурации. Применение ИИ в настольных играх открывает возможности для создания чат-ботов и мобильных помощников, которые могут управлять игровыми персонажами и создавать более сложные и динамичные игровые сценарии.
