Разработка системы автоматического код-ревью с использованием локальных LLM для Swift-проектов показала свою перспективность. Главным требованием было сохранение приватности данных, что исключало использование облачных сервисов. Использование n8n как инструмента для workflow позволило создать пайплайн обработки кода, включающий парсинг изменений из Gitlab, разделение кода на фрагменты, передачу в LLM для анализа и добавление комментариев обратно в Gitlab.
Тестирование различных моделей (Codeqwen, Llama3, Deepseek-coder) выявило их различия в информативности и качестве ответов. Codeqwen:7b показала себя наиболее подходящей для задач ревью. Настройка промптов и температуры модели помогла стабилизировать ответы и снизить количество ошибок. Было важно настроить промпты под конкретные задачи (например, анализ UI) и адаптировать модели под стандарты команды.
LLM способны выявлять сложные ошибки, такие как дедлоки и присваивания переменным самих себя, которые не всегда видят статические анализаторы. Специализированные модели быстрее и эффективнее универсальных, особенно для конкретных языков программирования. Анализ времени ревью показал, что время анализа невелико, особенно при использовании более легких моделей.
Несмотря на успехи, существуют риски ложных срабатываний, которые могут подорвать доверие команды. Для минимизации ложных срабатываний необходимы настройки правил, постоянная обратная связь и ограничение автоматизации для сложных логических проверок. Подход к автоматическому ревью кода, описанный здесь, потенциально применим и к другим языкам программирования, а также и к анализу других видов документов.
Изображение носит иллюстративный характер
Тестирование различных моделей (Codeqwen, Llama3, Deepseek-coder) выявило их различия в информативности и качестве ответов. Codeqwen:7b показала себя наиболее подходящей для задач ревью. Настройка промптов и температуры модели помогла стабилизировать ответы и снизить количество ошибок. Было важно настроить промпты под конкретные задачи (например, анализ UI) и адаптировать модели под стандарты команды.
LLM способны выявлять сложные ошибки, такие как дедлоки и присваивания переменным самих себя, которые не всегда видят статические анализаторы. Специализированные модели быстрее и эффективнее универсальных, особенно для конкретных языков программирования. Анализ времени ревью показал, что время анализа невелико, особенно при использовании более легких моделей.
Несмотря на успехи, существуют риски ложных срабатываний, которые могут подорвать доверие команды. Для минимизации ложных срабатываний необходимы настройки правил, постоянная обратная связь и ограничение автоматизации для сложных логических проверок. Подход к автоматическому ревью кода, описанный здесь, потенциально применим и к другим языкам программирования, а также и к анализу других видов документов.
