Архитектура и ключевые компоненты LLM Llama 3

Llama 3 анализирует текст, преобразуя его в последовательность числовых идентификаторов токенов, используя токенизатор Tiktoken. Затем эти идентификаторы преобразуются в векторы в 4096-мерном пространстве с помощью механизма эмбеддинга, что позволяет модели обрабатывать текст как числовые данные.

Трансформер, ядро Llama 3, состоит из 32 последовательных блоков TransformerBlock, каждый из которых играет ключевую роль в обработке информации.

Внутри TransformerBlock модуль self-attention вычисляет связи между токенами в тексте, определяя, на какие части текста следует обратить внимание при анализе каждого отдельного токена. Этот процесс включает преобразование исходных векторов в векторы запросов (Query), ключей (Key) и значений (Value), а также использование механизма кэширования (KV-cache) для оптимизации вычислений.

Завершает обработку блок FeedForward, который анализирует каждый токен независимо от других, уточняя его смысл и определяя общий контекст предложения. После прохождения через все блоки трансформера, линейный слой преобразует полученный вектор обратно в слово, выбирая наиболее вероятный токен на основе полученных оценок вероятности.

Источник: franticticktick