Технические требования Поставка и установка центрального вычислителя (включая модернизацию инженерной инфраструктуры) в ГВЦ Росгидромета (стр. 4 )

На региональном уровне технологии, требующие ресурсов высокопроизводительных вычислительных комплексов для задач регионального масштаба, функционируют в РСМЦ в г. г. Новосибирск и Хабаровск.

Для целей исследований климата по Проекту-1 в ФГБУ «ГГО им. » установлен и функционирует вычислительный комплекс, аналогичный по вычислительным ресурсам комплексам в РСМЦ в г. г. Новосибирске и Хабаровске.

Практика эксплуатации высокопроизводительных вычислительных комплексов, интегрированных в информационно-телекоммуникационную структуру, подтвердила, что  учреждения Росгидромета обладают достаточным опытом эксплуатации комплексов, как векторного, так и скалярного типов и получили навыки удаленного мониторинга работоспособности ИТ-структур и диагностики их неисправностей.

На текущий момент в ММЦ в г. Москве эксплуатируются технологии:

Краткосрочный прогноз и усвоение данных

Для целей краткосрочного (на срок до 3-х суток) введены в эксплуатацию прогностические технологии на базе мезомасштабных моделей COSMO-RU с шагом 7 и 2,2 км, WRF с шагом 3 км, технология усвоения данных метеорологических наблюдений, включая спутниковые, класса 3D-VAR. В соответствии с планами НИОКР Росгидромета ведутся большие исследовательские и технологические  работы по совершенствованию этих и других моделей и технологий.

Глобальный среднесрочный прогноз

Основной глобальной моделью является полулагранжева модель ПЛАВ. В настоящее время оперативная версия модели имеет достаточно грубое разрешение – около 70 км при 28 уровне по вертикали (размерность сетки 400х251х28). Вычислительные затраты составляют менее 8 процессоро-часов на сеанс. В настоящее время в рамках НИОКР Росгидромета производится наладка и авторские испытания новой версии модели ПЛАВ с разрешением около 20 км в средних широтах северного полушария. Размерность сетки модели составляет 1600х866х51, для расчета прогноза на 10 суток необходимо около 2000 процессоро-часов на не менее чем 450 процессоров для соблюдения сроков готовности прогностической продукции.

В ММЦ Москва оперативно эксплуатируется глобальная спектральная модель с разрешением около 70 км Т169L31. Расчет среднесрочного прогноза с помощью этой модели требует около 30 процессоро-часов на не менее чем 32 процессорах.

Спектральная модель Гидрометцентра России, основана на решении стандартной системы гидротермодинамических уравнений для бароклинной атмосферы, записанных в сигма-системе координат, а именно уравнений: движения, гидростатики, неразрывности, притока тепла, переноса влаги, а также диагностических соотношений для вертикальных составляющих скорости ветра в p - и -системах координат. Прогностическими переменными в модели являются температура, вихрь и дивергенция скорости, приземное давление.

Система уравнений решается с помощью спектрально-сеточного метода. При этом основные переменные модели аппроксимируются  усеченными сходящимися рядами, построенными на базисе ортогональных функций, определенных во всей области решения. Эффекты физических процессов подсеточного масштаба рассчитываются в сеточном пространстве. В модели используется так называемая гауссова сетка - регулярная по долготе и слабо нерегулярная по широте. Используется полунеявная схема интегрирования по времени.

Месячный и сезонный прогноз

Для месячных прогнозов в ММЦ Москва пока применяется  спектральная модель T40L15, не требующая особых вычислительных затрат, однако в рамках НИОКР Росгидромета ведутся работы по применению версии глобальной полулагранжевой модели ПЛАВ с разрешением 1,4х1,1 градуса, 28 уровней по вертикали для расчета месячных прогнозов. Данная версия модели атмосферы ПЛАВ оперативно применяется для расчета ансамблевых сезонных прогнозов. Расчет ансамбля требует 160 процессоро-часов на 40 процессорах и осуществляется в паузах между оперативного сеанса кратко - и среднесрочного прогноза погоды. Любые усовершенствования модели сезонного прогноза требуют пересчета набора исторических сезонных прогнозов за 30 лет, что требует уже 4800 процессоро-часов для каждой стартовой даты (не реже, чем раз в месяц). В настоящее время отрабатывается сезонный прогноз погоды с помощью совместной модели атмосферы и океана.

Модели химической погоды

В Гидрометцентре России работы по численному прогнозу уровня качества воздуха начались в содружестве с Нижегородским институтом прикладной физики РАН в 2008 году. Работы ориентированы на использование раздельных моделей атмосферы и химико-транспортной модели:

Модель атмосферы WRF ARW разработана Национальным центром атмосферных исследований США (NCAR) в содружестве с рядом других научных организаций США. Основана на упругих негидростатических уравнениях, группам подсеточных процессов соответствуют несколько вариантов параметризации. Используется версия 3.1.1, распространяемая с августа 2009. Сайт: http://www. wrf-model. org.

Химико-транспортная модель (ХТМ) CHIMERE разработана в Национальном центре научных исследований Франции, предназначена для восстановления и прогноза концентраций химических соединений и аэрозолей. Используется версия V200709D, подготовленная в сентябре 2009 года. 2 блока газофазных реакций: MELCHIOR 1 (~80 веществ, >300 реакций) и MELCHIOR 2 (44 вещества, 116 реакций). Аэрозоли разделяются на 8 градаций по размерам. Сайт: http://www. lmd. polytechnique. fr/chimere.

При счете CHIMERE используются вложенные сетки: внешняя сетка с разрешением 1мх1м, вложенная с разрешением 0.1м (широта) х0.2м (долгота). Граничными условиями при счете CHIMERE на внешней области являются рассчитанные климатические концентрации, на внутренней – результаты расчетов на внешней сетке.

Расчет химической погоды в настоящее время требует около 240 процессоро-часов.

Начальные данные для глобальных моделей готовятся с помощью блока объективного анализа, работающего по схеме трехмерного вариационного анализа, на основе внешних полей первого приближения. Существующая версия объективного анализа потребляет достаточно мало ресурсов – менее 10 процессоро-часов.

В 2009 – 2013 годах вычислительные мощности высокопроизводительных вычислительных комплексов поставленных в рамках Проекта-1 (SGI Altix4700, SGI Altix ICE-8200, РСК “Торнадо”) и внедренных помимо Проекта-1 (SGI ICE-X и SGI UV2000 - на указанных кластерах удалось развернуть оперативную схему метеобеспечения Олимпиады Сочи-2014) исчерпаны полностью. Оперативные задачи занимают весьма существенную долю вычислительных ресурсов комплексов, что приводит к серьезному ограничению на использование ресурсов для научно-исследовательских работ по развитию и испытанию перспективных моделей и систем усвоения данных наблюдений.

Эксперименты, проведенные специалистами учреждений Росгидромета, показали, что на данном этапе задачи, решаемые на высокопроизводительных комплексах, весьма требовательны к объемам оперативной памяти в пересчете на процессорное ядро (3-4ГБ на процессорное ядро). Применение ускорителей (графические ускорители NVIDIA, сопроцессоры Intel Xeon Phi) по этой причине весьма проблематично.

Как показал опыт практического использования в 2010-2014 годах, технологии, развитие которых в учреждениях Росгидромета стало возможным по результатам Проекта-1, весьма требовательны не только к вычислительным ресурсам, но и к объемам дисковой памяти. В первую очередь это связано с необходимости привлечения значительных объемов спутниковой информации. Кроме того, резко (на несколько порядков) увеличился объем выходной прогностической информации за счет больших детальности  (3 км вместо 75 км) и периодичности. Для анализа, получения обобщенных оценок, выполнения НИР выходную информацию и продукцию нужно определенное время (не менее нескольких месяцев) хранить.

Архитектура существующей информационной системы

В 2009 году в ММЦ в г. Москве и РСМЦ в гг Новосибирск и Хабаровск установлены высокопроизводительные вычислительные комплекс, в 2011-2013 годах вычислительные возможности комплексов расширены.

Структура комплекса состоит из следующих основных компонентов (Рисунок  1 -1):

Рисунок 1‑1 Типовая структурная схема вычислительных комплексов ММЦ в г. Москве, РСМЦ в г. г. Новосибирск и Хабаровск.

Вычислитель выполняет функции оперативного и научно-исследовательского счета, ресурсной поддержки научно-исследовательских разработок. Дифференциация задач выполняется по технологическим схемам каждого из центров установки. В комплект системы входит системная консоль организации доступа ко всем узлам системы для инженерного персонала.

Система управления данными состоит из:

дисковой системы хранения данных, обеспечивающей хранение данных на накопителях ЖМД и предоставляющей ресурсы для подсистем ввода-вывода Вычислителей, серверов баз данных и оперативных систем; ленточной системы хранения данных, состоящей из автоматизированной ленточной библиотеки, серверов системы управления данными, включая серверы архивирования и резервного копирования, иерархического хранения данных.

Серверы оперативной системы и баз данных включают в себя вычислительные серверы, локальные серверы оперативного назначения, в число которых входят серверы обмена оперативной информацией, серверы информационных систем Росгидромета, файловые серверы, обеспечивающие файловый и транзакционный обмен данными для клиентов ЛВС.

Серверы общего назначения обеспечивают функционирование основных сетевых сервисов, таких как DHCP, NTP, локальных DNS и почтового сервиса.

Абонентские рабочие места оперативного и научно-исследовательского назначения включают персональные компьютеры и станции визуализации оперативного и неоперативного персонала.

Локальная вычислительная сеть объединяет все компоненты информационной системы. Связь с существующей ЛВС осуществляется посредством двух интерфейсов Ethernet 10/100/1000 Base-T. Для обеспечения функционирования осуществляется мониторинг и управление сетевым оборудованием.

Вычислители выполняют функции оперативного и научно-исследовательского счета, ресурсной поддержки научно-исследовательских разработок. Дифференциация задач выполняется по технологическим схемам центра установки. В комплект системы входит системная консоль организации доступа ко всем узлам системы для инженерного персонала.