Применение больших языковых моделей (LLM) в разработке программного обеспечения сталкивается с фундаментальными проблемами. LLM предоставляются как единый, неразборный продукт, что противоречит принципу декомпозиции задач на составные части, который является краеугольным камнем вычислительной техники. Невозможность тестирования, модификации и контроля над внутренними процессами LLM ограничивает их применение в качестве надежных компонентов программных продуктов.
Проблемы с безопасностью, конфиденциальностью и юридической ответственностью также препятствуют широкому распространению LLM. Отсутствие прозрачности в обучении моделей и невозможность гарантировать, что они не используют чужие разработки, затрудняют интеграцию LLM в коммерческие решения. Кроме того, огромные вычислительные затраты на обучение LLM идут вразрез с тенденцией к снижению углеродного следа.
Вместо того, чтобы полагаться на LLM как на готовые сервисы, разработчикам следует стремиться к созданию искусственного интеллекта, который можно проверить, воспроизвести, объяснить и модифицировать. Ошибки ИИ должны быть исправимы, а его процессы должны быть прозрачными. Использование LLM в их текущем виде может привести к потере контроля над технологическим процессом и замедлить инновации.
Адаптация LLM под нужды конкретных компаний, например, дообучение на их уникальных данных, является перспективным направлением. Такой подход позволяет компаниям создавать корпоративных ИИ-ассистентов, способных работать с конфиденциальной информацией. Одним из способов такого дообучения является In-Context fine-tuning, объединяющий методы RAG и fine-tuning, который позволяет обучать модели на примерах запросов и ответов, создавая ассистентов без необходимости написания кода.
Изображение носит иллюстративный характер
Проблемы с безопасностью, конфиденциальностью и юридической ответственностью также препятствуют широкому распространению LLM. Отсутствие прозрачности в обучении моделей и невозможность гарантировать, что они не используют чужие разработки, затрудняют интеграцию LLM в коммерческие решения. Кроме того, огромные вычислительные затраты на обучение LLM идут вразрез с тенденцией к снижению углеродного следа.
Вместо того, чтобы полагаться на LLM как на готовые сервисы, разработчикам следует стремиться к созданию искусственного интеллекта, который можно проверить, воспроизвести, объяснить и модифицировать. Ошибки ИИ должны быть исправимы, а его процессы должны быть прозрачными. Использование LLM в их текущем виде может привести к потере контроля над технологическим процессом и замедлить инновации.
Адаптация LLM под нужды конкретных компаний, например, дообучение на их уникальных данных, является перспективным направлением. Такой подход позволяет компаниям создавать корпоративных ИИ-ассистентов, способных работать с конфиденциальной информацией. Одним из способов такого дообучения является In-Context fine-tuning, объединяющий методы RAG и fine-tuning, который позволяет обучать модели на примерах запросов и ответов, создавая ассистентов без необходимости написания кода.
