Современный прогресс в области искусственного интеллекта обусловлен в большей степени увеличением масштаба систем, чем фундаментальными научными открытиями. Масштабирование предполагает увеличение объема обучающих данных, размера моделей (параметров) и вычислительных ресурсов, необходимых для обучения. Увеличение всех трех параметров приводит к более эффективным и многофункциональным ИИ.
ИИ модели работают как сложные системы распознавания закономерностей. Чем больше данных они получают, тем больше они узнают о нюансах и сложностях предметной области. Объем данных, используемый для обучения ИИ, вырос с 40 точек данных в 1950 году до триллионов в современных системах. Для примера, набор данных для обучения GPT-4 эквивалентен в 2000 раз больше всего текста английской Википедии.
Для эффективного обучения на данных ИИ моделям нужны параметры. Параметры модели можно рассматривать как «ручки», которые можно настраивать для улучшения обработки и прогнозирования информации. Ранние нейронные сети имели сотни или тысячи параметров, а современные крупные модели, такие как GPT-3, имеют 175 миллиардов параметров. С 2010 года количество параметров в моделях ИИ удваивалось ежегодно.
Рост данных и параметров также увеличивает вычислительные потребности. Ранние модели могли тренироваться часами, а современные модели требуют сотен дней непрерывных вычислений даже с десятками тысяч специализированных компьютеров. Вычисления, данные и параметры взаимосвязаны, и увеличение одного параметра должно сопровождаться увеличением других.
ИИ модели работают как сложные системы распознавания закономерностей. Чем больше данных они получают, тем больше они узнают о нюансах и сложностях предметной области. Объем данных, используемый для обучения ИИ, вырос с 40 точек данных в 1950 году до триллионов в современных системах. Для примера, набор данных для обучения GPT-4 эквивалентен в 2000 раз больше всего текста английской Википедии.
Для эффективного обучения на данных ИИ моделям нужны параметры. Параметры модели можно рассматривать как «ручки», которые можно настраивать для улучшения обработки и прогнозирования информации. Ранние нейронные сети имели сотни или тысячи параметров, а современные крупные модели, такие как GPT-3, имеют 175 миллиардов параметров. С 2010 года количество параметров в моделях ИИ удваивалось ежегодно.
Рост данных и параметров также увеличивает вычислительные потребности. Ранние модели могли тренироваться часами, а современные модели требуют сотен дней непрерывных вычислений даже с десятками тысяч специализированных компьютеров. Вычисления, данные и параметры взаимосвязаны, и увеличение одного параметра должно сопровождаться увеличением других.
