Как рост ресурсов повлиял на развитие ИИ?

Современный прогресс в области искусственного интеллекта обусловлен в большей степени увеличением масштаба систем, чем фундаментальными научными открытиями. Масштабирование предполагает увеличение объема обучающих данных, размера моделей (параметров) и вычислительных ресурсов, необходимых для обучения. Увеличение всех трех параметров приводит к более эффективным и многофункциональным ИИ.
Как рост ресурсов повлиял на развитие ИИ?
Изображение носит иллюстративный характер

ИИ модели работают как сложные системы распознавания закономерностей. Чем больше данных они получают, тем больше они узнают о нюансах и сложностях предметной области. Объем данных, используемый для обучения ИИ, вырос с 40 точек данных в 1950 году до триллионов в современных системах. Для примера, набор данных для обучения GPT-4 эквивалентен в 2000 раз больше всего текста английской Википедии.

Для эффективного обучения на данных ИИ моделям нужны параметры. Параметры модели можно рассматривать как «ручки», которые можно настраивать для улучшения обработки и прогнозирования информации. Ранние нейронные сети имели сотни или тысячи параметров, а современные крупные модели, такие как GPT-3, имеют 175 миллиардов параметров. С 2010 года количество параметров в моделях ИИ удваивалось ежегодно.

Рост данных и параметров также увеличивает вычислительные потребности. Ранние модели могли тренироваться часами, а современные модели требуют сотен дней непрерывных вычислений даже с десятками тысяч специализированных компьютеров. Вычисления, данные и параметры взаимосвязаны, и увеличение одного параметра должно сопровождаться увеличением других.


Новое на сайте

21025Что произошло с облачной защитой почты N-able в трёх регионах? 21024Хакеры ускоряют создание эксплойтов с помощью ИИ 21023Почему Apache Roller оказался под угрозой удалённого захвата? 21022Что изменится для PHP после критических уязвимостей 2026 года? 21021Apple меняет разрешения macOS из-за рисков ИИ-агентов 21020Разрешение отказано, микрофон пишет: как дыра в аудиосервисе Apple месяцами оставалась... 21019Почему N-central2026.4 HF3 требует срочного обновления? 21018Почему атаки на ScreenConnect продолжаются после расследования ConnectWise? 21017Почему SHA-пиннинг не гарантирует безопасность GitHub Actions? 21016Как уязвимость SGLang раскрыла данные 18 агентов и около 100 пользователей NEAR AI? 21015Ошибка в типах PostgreSQL открывает путь к выполнению кода на сервере 21014Майнер с root-доступом: атака на 21 сервер N-central 21013Почему уязвимость UnrealIRCd позволяет обычному пользователю получить права сервера? 21012Как утечка ключа Fireworks AI привела к заражённому расширению Claude Code? 21011Почему Meta оштрафовали в Италии на €805 млн?
Ссылка