Сравнение Qwen 2.5 Coder и ChatGPT в задаче кодирования: поиск реальной экономии

Анализ производительности различных моделей Qwen 2.5 Coder и ChatGPT при конвертации кода в C показал, что модели Qwen с 3 млрд параметров не справляются с задачей, демонстрируя ошибки и неспособность исправить их даже после уточняющих запросов. Модели с 14 млрд параметров демонстрируют частичное понимание кода, но допускают ошибки в расчёте контрольной суммы.
Сравнение Qwen 2.5 Coder и ChatGPT в задаче кодирования: поиск реальной экономии
Изображение носит иллюстративный характер

Только модель Qwen 2.5 Coder с 32 млрд параметров в квантизации Q5_k_m достигает уровня, сравнимого с ChatGPT, исправив ошибку во втором запросе, но работает крайне медленно на мощном ПК. Квантизация Q4 ускоряет работу 32B модели, но снижает качество ответов.

Не специализированная модель Qwen2.5-72B-instruct, хотя и доступна онлайн, демонстрирует аналогичные ошибки, что и модели с 3 млрд параметров, что свидетельствует о недостатке специализированного обучения для задач кодирования.

Таким образом, на текущий момент, локальное использование моделей Qwen 2.5 Coder для экономии на подписке ChatGPT затруднительно из-за низкой производительности и нестабильности результатов. Для эффективной работы требуется более мощное оборудование, а не только специализированная модель.


Новое на сайте

21008ИИ-агент в чужой сессии: кто отвечает за его действия 21007Какие версии Zoom Workplace для Windows уязвимы для удалённого повышения привилегий? 21006Как две уязвимости в Xen Orchestra открыли путь к захвату XCP-ng? 21005Поддельные сайты ИИ превращают опечатки в ловушки 21004Как обновление Node.js закрывает уязвимости HTTP/2 и TLS? 21003Почему Claude Fable5.2 обошёл GPT-6 Cyber в испытании многоэтапных кибератак? 21002Две уязвимости Red Hat Quay открыли доступ к чужим образам 21001После сигнала: почему для расследования нужны подробные сетевые данные 21000Критическая ошибка PTC Windchill и FlexPLM открывает путь к удалённому выполнению кода 20999Слепые зоны идентичности: чего не хватает SOC при расследовании атак 20998Обновления Apple закрыли лазейки в групповых чатах и Bluetooth 20997Уязвимость iPhone может открыть приложениям доступ к чужим файлам 20996Что раскрыла расширенная проверка утечки Fireworks AI? 20995Уязвимость в Apache HTTP/2: удалённое выполнение кода без входа 20994Как защитить виртуальные машины Google Cloud от утечек на AMD Turin?
Ссылка