Ssylka

Как рост ресурсов повлиял на развитие ИИ?

Современный прогресс в области искусственного интеллекта обусловлен в большей степени увеличением масштаба систем, чем фундаментальными научными открытиями. Масштабирование предполагает увеличение объема обучающих данных, размера моделей (параметров) и вычислительных ресурсов, необходимых для обучения. Увеличение всех трех параметров приводит к более эффективным и многофункциональным ИИ.
Как рост ресурсов повлиял на развитие ИИ?
Изображение носит иллюстративный характер

ИИ модели работают как сложные системы распознавания закономерностей. Чем больше данных они получают, тем больше они узнают о нюансах и сложностях предметной области. Объем данных, используемый для обучения ИИ, вырос с 40 точек данных в 1950 году до триллионов в современных системах. Для примера, набор данных для обучения GPT-4 эквивалентен в 2000 раз больше всего текста английской Википедии.

Для эффективного обучения на данных ИИ моделям нужны параметры. Параметры модели можно рассматривать как «ручки», которые можно настраивать для улучшения обработки и прогнозирования информации. Ранние нейронные сети имели сотни или тысячи параметров, а современные крупные модели, такие как GPT-3, имеют 175 миллиардов параметров. С 2010 года количество параметров в моделях ИИ удваивалось ежегодно.

Рост данных и параметров также увеличивает вычислительные потребности. Ранние модели могли тренироваться часами, а современные модели требуют сотен дней непрерывных вычислений даже с десятками тысяч специализированных компьютеров. Вычисления, данные и параметры взаимосвязаны, и увеличение одного параметра должно сопровождаться увеличением других.


Новое на сайте

15287Жидкость, восстанавливающая форму: нарушение законов термодинамики 15286Аркадия ведьм: загадка Чарльза годфри Леланда и её влияние на современную магию 15285Кто станет новым героем Звёздных войн в 2027 году? 15283Ануше Ансари | Почему космические исследования важны для Земли 15282Гизем Гумбуская | Синтетический морфогенез: самоконструирующиеся живые архитектуры по... 15281Как предпринимателю остаться хозяином своей судьбы? 15280Люси: путешествие к древним обломкам солнечной системы 15279Роберт Лиллис: извлеченные уроки для экономически эффективных исследований дальнего... 15278Почему супермен до сих пор остаётся символом надежды и морали? 15277Райан Гослинг в роли нового героя «Звёздных войн»: что известно о фильме Star Wars:... 15276Почему экваториальная Гвинея остаётся одной из самых закрытых и жестоких диктатур мира? 15275Почему морские слизни становятся ярче под солнцем? 15274Глен Вейль | Можем ли мы использовать ИИ для построения более справедливого общества? 15273Лириды: где и как увидеть древний звездопад в этом апреле? 15272Сдержит ли налог на однодневных туристов в Венеции наплыв гостей?