Ssylka

Загадка Перевёрнутой тарелки: почему искусственный интеллект теряет овощи?

Современные большие языковые модели (LLM), впечатляющие своими способностями к генерации текста, всё ещё сталкиваются с трудностями в решении простых задач, требующих базового пространственного мышления. Эксперимент с перевёрнутой тарелкой, на которой лежат овощи, наглядно демонстрирует эту проблему. Человек, представив ситуацию, сразу поймет, что овощи упадут, но LLM часто выбирают неверные ответы, сосредотачиваясь на второстепенных деталях, например, на вопросе о том, является ли помидор овощем или фруктом.
Загадка Перевёрнутой тарелки: почему искусственный интеллект теряет овощи?
Изображение носит иллюстративный характер

Идея в том, что LLM, по сути, моделируют язык, а не реальность. Они стремятся предсказать следующее слово в предложении, а не проанализировать причинно-следственные связи, лежащие в основе ситуации. Это приводит к тому, что в простых ситуациях, где требуется не только знание языка, но и понимание физических законов или социальных норм, они терпят неудачу. Для LLM не существует понятия «важности» той или иной детали, кроме как ее влияние на следующее слово.

Проект "Simple Bench" предлагает набор подобных простых вопросов, которые могут легко решить большинство людей, но которые ставят LLM в тупик. Подобные тесты помогают выявить фундаментальные ограничения моделей, не сводящиеся к простому заучиванию ответов или проблемам токенизации. В основе лежит неспособность LLM моделировать ситуации в реальном мире и делать выводы на основе этой симуляции.

Успех LLM в некоторых областях, таких как сдача экзаменов, обусловлен тем, что знания и факты часто встречаются в языковой форме, которую модели хорошо умеют обрабатывать. Однако, как только модель выходит за пределы этого «комфортного» языкового поля и сталкивается с необходимостью анализировать ситуацию, опираясь на понимание реальности, она становится уязвимой. Прогресс в области искусственного интеллекта, возможно, потребует выхода за рамки простого масштабирования языковых моделей.


Новое на сайте

14869Хронические задержки в приёмных покоях: грядущий кризис для пожилых пациентов США 14868Математика идеального броска: как наука меняет боулинг 14867Почему именно бурбон и золотой сироп делают пасхальные булочки неповторимыми? 14866Пасхальные цыплята Peeps: как рождается икона американских сладостей 14865Почему Китай строит самые высокие мосты в мире? 14864Как BPFDoor остаётся невидимым и атакует телеком и финансы в Азии и на ближнем Востоке? 14863Какие опасные заблуждения могут разрушить ваш пенсионный план? 14862Когда неравенство не приговор: археология опровергает мифы о богатстве и власти 14861Будет ли гепотидацин прорывом в лечении гонореи? 14859BPFDoor: новое оружие для незаметного распространения атак на Linux-серверах 14858Следы древних гигантов: новые открытия на острове Скай раскрывают тайны юрского периода 14857В поисках оптимального самолёта для маршрута между Гернси и олдерни