Как PyTorch Управляет Тензорами и Вычислениями

В основе PyTorch лежит понятие тензора как многомерного массива, чьи данные хранятся в одномерном массиве. Для представления формы и доступа к элементам используются атрибуты shape и stride. Операция транспонирования создает «вид» на те же данные, а не копию. Изменение типа данных создаёт копию тензора. Методы .view() и .reshape() используются для изменения формы тензора, при этом .view() создает представление, а .reshape() может и копировать данные.

Широковещание в PyTorch позволяет выполнять операции с тензорами разных форм без копирования данных. Градиенты в таком случае накапливаются в меньших измерениях. Перемножение матриц обрабатывается с учетом широковещания, а фактически является пакетным умножением.

Движок автоматического дифференцирования строит граф вычислений, опираясь на производные базовых скалярных операций. Операции вроде изменения формы влияют на градиенты аналогично тому, как они влияют на значения тензора.

Для оптимизации вычислений применяются транспонирование и блочное умножение матриц. PyTorch не хранит промежуточные активации, которые не требуются для обратного распространения. Пакетная обработка позволяет обрабатывать несколько операций одновременно.

Транспонирование: Операция .t() возвращает view (представление) на те же данные, а не создаёт новую копию. Изменения в одном view влияют на другой.

Типы данных: Приведение типов данных (например, из int64 в float16) создаёт новый тензор с копией данных.

Хранилище данных: Данные в PyTorch хранятся в виде одномерного массива (torch.Storage), а форма и шаг (stride) используются для доступа к элементам.

Stride: Шаг определяет, как двигаться по одномерному массиву для доступа к элементам с разными индексами в многомерном тензоре.

.view() vs.reshape(): .view() создаёт представление (view) с той же памятью, а .reshape() может создавать копию данных при несовместимости форм.

Широковещание (Broadcasting): Применяется при операциях с тензорами разных форм, и не копирует данные, а лишь ссылается на существующие элементы. При широковещании градиенты накапливаются по элементам в меньшем измерении.

Перемножение матриц: Осуществляется с учетом широковещания оставшихся измерений. Фактически, происходит пакетное перемножение матриц.

Обратное распространение: Строится на производных базовых скалярных операций. Операции, не меняющие значения, аналогично воздействуют и на градиенты.

Оптимизация перемножения матриц: Транспонирование и блочное умножение могут повысить производительность, уменьшая промахи кэша.

Оптимизация памяти: PyTorch не хранит промежуточные активации, если они не требуются для обратного распространения.

Пакетная обработка: Перемножение матриц обрабатывает несколько операций одновременно.

Источник: ph_piter