В статье рассматривается реализация вычислительного графа на NumPy, аналогичного графу в PyTorch. Цель – глубже понять принципы работы нейронных сетей, отказавшись от использования готовых библиотек. Автор переходит от ручного вычисления градиентов к автоматическому, представляя вычисления в виде графа, где каждый узел хранит значение и локальные производные. Вводится класс Tensor, переопределяются основные математические операции (сложение, умножение, вычитание, деление, возведение в степень) для работы с графом.
Ключевая идея – в каждом узле вычислять не только значение, но и производные. Для этого локальные градиенты хранятся в виде функций, которые могут применять chain rule для расчёта градиентов. Это позволяет автоматизировать вычисление градиентов для произвольных функций, построенных из базовых операций. Дополнительно реализуются матричное умножение, reshape, transpose, sum, softmax, и другие функции. Класс Tensor также позволяет отслеживать форму значений и предоставляет удобное представление значений.
После создания основных инструментов, реализуются слои Flatten, ReLU, Linear, и Conv2d, что позволяет строить несложные модели. Подробно рассматривается реализация свёрточного слоя на основе матричных операций и скользящих окон. В конечном итоге создаётся простая свёрточная сеть для обучения на MNIST, но возникают проблемы с обучением этой сети. В заключении показывается, что разработанный подход позволяет разобраться с каждой строчкой кода типичного примера обучения нейросети, и даже заметить, что import torch и torch.nn можно заменить на свою собственную библиотеку.
Изображение носит иллюстративный характер
Ключевая идея – в каждом узле вычислять не только значение, но и производные. Для этого локальные градиенты хранятся в виде функций, которые могут применять chain rule для расчёта градиентов. Это позволяет автоматизировать вычисление градиентов для произвольных функций, построенных из базовых операций. Дополнительно реализуются матричное умножение, reshape, transpose, sum, softmax, и другие функции. Класс Tensor также позволяет отслеживать форму значений и предоставляет удобное представление значений.
После создания основных инструментов, реализуются слои Flatten, ReLU, Linear, и Conv2d, что позволяет строить несложные модели. Подробно рассматривается реализация свёрточного слоя на основе матричных операций и скользящих окон. В конечном итоге создаётся простая свёрточная сеть для обучения на MNIST, но возникают проблемы с обучением этой сети. В заключении показывается, что разработанный подход позволяет разобраться с каждой строчкой кода типичного примера обучения нейросети, и даже заметить, что import torch и torch.nn можно заменить на свою собственную библиотеку.
