Новая инициатива, возглавляемая U.S. National Science Foundation National Radio Astronomy Observatory (NSF NRAO), предлагает открытый и стандартизированный формат обработки радиоастрономических данных. Техническим руководителем проекта выступает Ян-Виллем Стиб, а разработку программного обеспечения координирует Джефф Керн. Основной акцент делается на совместимость, что позволит научным учреждениям из разных стран объединять усилия и эффективнее использовать накопленные результаты наблюдений.
Цель модели заключается в том, чтобы преодолеть ограничения старых форматов, которые применялись уже более 30 лет. Проект направлен на обеспечение внутренней согласованности всего накопленного материала, а также на упрощение обмена данными между организациями в США и в мире. В списке международных партнеров значатся Square Kilometer Array Observatory (SKAO), South African Radio Astronomy Observatory (SARAO), European Southern Observatory (ESO), National Astronomical Observatory of Japan (NAOJ) и Joint Institute for Very Long Baseline Interferometry European Research Infrastructure Consortium (JIVE).
«Устанавливая этот международный стандарт, NRAO берет на себя ведущую роль в обеспечении того, чтобы наши глобальные партнеры могли эффективно использовать и обмениваться астрономическими данными. Эта базовая работа имеет решающее значение, поскольку мы готовимся к огромным объемам данных, ожидаемым от таких проектов, как модернизация Wideband Sensitivity для Atacama Large Millimeter/submillimeter Array и Square Kilometer Array Observatory в Австралии и Южной Африке», — подчеркнул Ян-Виллем Стиб.
Джефф Керн отмечает, что новая архитектура специально рассчитана на возрастающие объемы информации: «Новая модель спроектирована, чтобы решить проблемы устаревших форматов, которые используются уже более 30 лет и создавались в условиях совсем других вычислительных возможностей. Она обновляет архитектуру данных в соответствии с настоящими и будущими потребностями, а также способна обрабатывать колоссальные объемы информации, ожидаемые от инструментов следующего поколения. Модель будет масштабируемой, что позволит ей справляться с экспоненциальным ростом данных благодаря дальнейшему развитию радио-телескопов».
Проект учитывает специфику как уже действующих, так и планируемых радиотелескопов: Wideband Sensitivity Upgrade к комплексу Atacama Large Millimeter/submillimeter Array, массив Square Kilometer Array Observatory в Австралии и Южной Африке, Australian Square Kilometer Array Pathfinder и будущую Next Generation Very Large Array от NSF NRAO. Гибкость формата позволит обрабатывать данные, полученные при изучении разных участков неба и на множестве длин волн.
В процессе проверки модель прошла тестирование на более чем десяти различных инструментах, включая Australian Square Kilometer Array Pathfinder. Кроме того, использовались смоделированные наборы данных для следующего поколения оснащения, включая Next Generation Very Large Array. Такой комплексный подход гарантирует широкую совместимость, а также безопасность и устойчивость формата в долгосрочной перспективе.
По словам Яна-Виллема Стиба, все инструменты будут обеспечены дополнительными материалами и руководствами: «Новая модель данных полностью открыта и интегрирована в экосистему Python, что делает ее легко доступной и удобной для широкой научной аудитории. Наш проект содействует доступности и простоте использования, и мы надеемся, что это стимулирует широкое внедрение и непрерывное развитие». NSF NRAO планирует выпустить дополнительные примеры наборов данных от международных партнеров и способствовать дальнейшему росту сообщества, работающего над совершенствованием формата.
Изображение носит иллюстративный характер
Цель модели заключается в том, чтобы преодолеть ограничения старых форматов, которые применялись уже более 30 лет. Проект направлен на обеспечение внутренней согласованности всего накопленного материала, а также на упрощение обмена данными между организациями в США и в мире. В списке международных партнеров значатся Square Kilometer Array Observatory (SKAO), South African Radio Astronomy Observatory (SARAO), European Southern Observatory (ESO), National Astronomical Observatory of Japan (NAOJ) и Joint Institute for Very Long Baseline Interferometry European Research Infrastructure Consortium (JIVE).
«Устанавливая этот международный стандарт, NRAO берет на себя ведущую роль в обеспечении того, чтобы наши глобальные партнеры могли эффективно использовать и обмениваться астрономическими данными. Эта базовая работа имеет решающее значение, поскольку мы готовимся к огромным объемам данных, ожидаемым от таких проектов, как модернизация Wideband Sensitivity для Atacama Large Millimeter/submillimeter Array и Square Kilometer Array Observatory в Австралии и Южной Африке», — подчеркнул Ян-Виллем Стиб.
Джефф Керн отмечает, что новая архитектура специально рассчитана на возрастающие объемы информации: «Новая модель спроектирована, чтобы решить проблемы устаревших форматов, которые используются уже более 30 лет и создавались в условиях совсем других вычислительных возможностей. Она обновляет архитектуру данных в соответствии с настоящими и будущими потребностями, а также способна обрабатывать колоссальные объемы информации, ожидаемые от инструментов следующего поколения. Модель будет масштабируемой, что позволит ей справляться с экспоненциальным ростом данных благодаря дальнейшему развитию радио-телескопов».
Проект учитывает специфику как уже действующих, так и планируемых радиотелескопов: Wideband Sensitivity Upgrade к комплексу Atacama Large Millimeter/submillimeter Array, массив Square Kilometer Array Observatory в Австралии и Южной Африке, Australian Square Kilometer Array Pathfinder и будущую Next Generation Very Large Array от NSF NRAO. Гибкость формата позволит обрабатывать данные, полученные при изучении разных участков неба и на множестве длин волн.
В процессе проверки модель прошла тестирование на более чем десяти различных инструментах, включая Australian Square Kilometer Array Pathfinder. Кроме того, использовались смоделированные наборы данных для следующего поколения оснащения, включая Next Generation Very Large Array. Такой комплексный подход гарантирует широкую совместимость, а также безопасность и устойчивость формата в долгосрочной перспективе.
По словам Яна-Виллема Стиба, все инструменты будут обеспечены дополнительными материалами и руководствами: «Новая модель данных полностью открыта и интегрирована в экосистему Python, что делает ее легко доступной и удобной для широкой научной аудитории. Наш проект содействует доступности и простоте использования, и мы надеемся, что это стимулирует широкое внедрение и непрерывное развитие». NSF NRAO планирует выпустить дополнительные примеры наборов данных от международных партнеров и способствовать дальнейшему росту сообщества, работающего над совершенствованием формата.
