В недавних исследованиях специалисты из MIT выявили, что классические методы проверки точности могут серьёзно подвести в задачах пространственного прогнозирования. Это особенно важно для таких сфер, как прогноз погоды или оценка уровня загрязнения воздуха, где надёжный анализ определяет качество решения практических задач.
Примером подобных ситуаций служит обычная привычка брать зонт, опираясь на прогноз погоды, или оценивать риски для здоровья при повышенном уровне загрязнения воздуха. Учёные традиционно полагались на стандартные методики валидации, доказавшие свою эффективность в других областях, однако оказалась, что пространственная специфика выводит эти подходы за пределы корректности.
Для решения проблемы инициаторами работы выступили Тамара Бродерик, доцент MIT в подразделении Electrical Engineering and Computer Science (EECS) и член ряда исследовательских институтов, а также ведущий автор Дэвид Р. Бёрт и соавтор Юньи Шэнь, аспирант EECS. Их статья будет представлена на конференции International Conference on Artificial Intelligence and Statistics (AISTATS 2025) и уже доступна на сервере arXiv.
В ходе работы команда разработала технику, позволяющую оценивать, насколько адекватен метод проверки при пространственном прогнозировании. Было доказано, что два популярных классических метода могут быть «принципиально ошибочны» в подобных задачах. Учёные пояснили механизм этих сбоев и предложили новую систему валидации, ориентированную специально на данные, зависящие от расположения. Практические опыты с реальными и моделируемыми наборами данных показали превосходство нового подхода в точности.
Оказалось, что классические методики валидации полагаются на предположение о независимой и одинаково распределённой выборке (i.i.d.), что не характерно для реальных пространственных данных. Так, датчики Агентства по охране окружающей среды США (EPA) порой устанавливаются с учётом уже имеющихся станций, а значит, распределения показателей загрязнения воздуха не являются полностью независимыми. К тому же валидационную часть могут составлять показания в городе, тогда как основная задача – прогноз для удалённых населённых пунктов и природных зон.
Новое решение базируется на допущении, что характеристики наблюдаемых явлений «изменяются плавно в пространстве». Это делает возможным более точный расчёт вероятности ошибки в конкретной точке, будь то скорость ветра или уровень загрязнения. Подход особенно важен в климатических исследованиях, где требуется предсказывать, например, температуру поверхности моря, а также в эпидемиологии, когда оценивается роль загрязнения воздуха в распространении болезней.
Проверка осуществлялась на сымитированных и полуреальных наборах данных, а также при прогнозировании скорости ветра в аэропорту Чикаго О'Хара, заблаговременном определении температуры воздуха в пяти городах США и оценке стоимости квартир в Англии в зависимости от локации. Итоги показали, что новый метод даёт более надёжные результаты по сравнению с двумя основными классическими алгоритмами валидации.
В дальнейшем авторы планируют применять предложенную технику для повышения точности оценки неопределённости в задачах, где пространственные зависимости оказывают ключевое влияние. Кроме того, они намерены исследовать, сможет ли аналогичный подход приносить пользу в обработке временных рядов и в других областях анализа данных.
Изображение носит иллюстративный характер
Примером подобных ситуаций служит обычная привычка брать зонт, опираясь на прогноз погоды, или оценивать риски для здоровья при повышенном уровне загрязнения воздуха. Учёные традиционно полагались на стандартные методики валидации, доказавшие свою эффективность в других областях, однако оказалась, что пространственная специфика выводит эти подходы за пределы корректности.
Для решения проблемы инициаторами работы выступили Тамара Бродерик, доцент MIT в подразделении Electrical Engineering and Computer Science (EECS) и член ряда исследовательских институтов, а также ведущий автор Дэвид Р. Бёрт и соавтор Юньи Шэнь, аспирант EECS. Их статья будет представлена на конференции International Conference on Artificial Intelligence and Statistics (AISTATS 2025) и уже доступна на сервере arXiv.
В ходе работы команда разработала технику, позволяющую оценивать, насколько адекватен метод проверки при пространственном прогнозировании. Было доказано, что два популярных классических метода могут быть «принципиально ошибочны» в подобных задачах. Учёные пояснили механизм этих сбоев и предложили новую систему валидации, ориентированную специально на данные, зависящие от расположения. Практические опыты с реальными и моделируемыми наборами данных показали превосходство нового подхода в точности.
Оказалось, что классические методики валидации полагаются на предположение о независимой и одинаково распределённой выборке (i.i.d.), что не характерно для реальных пространственных данных. Так, датчики Агентства по охране окружающей среды США (EPA) порой устанавливаются с учётом уже имеющихся станций, а значит, распределения показателей загрязнения воздуха не являются полностью независимыми. К тому же валидационную часть могут составлять показания в городе, тогда как основная задача – прогноз для удалённых населённых пунктов и природных зон.
Новое решение базируется на допущении, что характеристики наблюдаемых явлений «изменяются плавно в пространстве». Это делает возможным более точный расчёт вероятности ошибки в конкретной точке, будь то скорость ветра или уровень загрязнения. Подход особенно важен в климатических исследованиях, где требуется предсказывать, например, температуру поверхности моря, а также в эпидемиологии, когда оценивается роль загрязнения воздуха в распространении болезней.
Проверка осуществлялась на сымитированных и полуреальных наборах данных, а также при прогнозировании скорости ветра в аэропорту Чикаго О'Хара, заблаговременном определении температуры воздуха в пяти городах США и оценке стоимости квартир в Англии в зависимости от локации. Итоги показали, что новый метод даёт более надёжные результаты по сравнению с двумя основными классическими алгоритмами валидации.
В дальнейшем авторы планируют применять предложенную технику для повышения точности оценки неопределённости в задачах, где пространственные зависимости оказывают ключевое влияние. Кроме того, они намерены исследовать, сможет ли аналогичный подход приносить пользу в обработке временных рядов и в других областях анализа данных.
