К ОПРЕДЕЛЕНИЮ СТАНДАРТОВ ПРОМЕЖУТОЧНОГО ПО НАУЧНЫХ ПРИЛОЖЕНИЙ НА GRID
1, 2, 3, 2, 3, 1, 2, 1, 3, 2, 1, 1
1) Институт высокопроизводительных вычислений и информационных систем, Санкт-Петербург,
2) Институт теплофизики экстремальных состояний Объединённого института высоких температур РАН, Москва,
3) Институт вычислительной математики и математической геофизики СО РАН, Новосибирск
Тел.: (8, e-mail: *****@***ru
Современные научные задачи требуют объединения разрозненных информационных и вычислительных ресурсов. При создании научного приложения, использующего многочисленные, неоднородные, значительно распределенные ресурсы разных организаций, предлагается решать задачу в комплексе, т. е. во-первых, подобрать решение, которое универсально и не зависит от конкретной инфраструктуры ресурсов, во-вторых, обеспечить многократное использование кода разными группами пользователей, в-третьих, поддерживать процесс вычислений как единое целое с учетом размещения данных приложения, в-четвертых, обеспечить достаточное качество выполнения приложения по надежности, производительности.
Для реализации поставленных нами задач выбрана мощная современная технология Grid, который стал промышленным стандартом для объединения ресурсов. Существует ряд интегрированных решений предложенных крупными компаниями, из которых самые известные Sun, IBM. Однако эти решения являются дорогими для применения в научных разработках. Поэтому существует несколько групп разработчиков, которые пытаются предложить дешевые решения. Разумеется, они не всегда совместимы друг с другом.
Нами опробован один из вариантов стандарта практической реализации Grid для научных целей в рамках международного проекта CrossGrid.
В рассматриваемом контексте термин Grid употребляется для обозначения инфраструктуры в целом, содержащей разнообразные ресурсы и программные средства промежуточного уровня для управления этими ресурсами.
Для сегмента Grid необходимо обеспечение следующих базовых сервисов [1, 2]: средства безопасности Grid; механизм обнаружения ресурсов в Grid; Grid-механизм, инициирующий выполнение заданий; базовый механизм управления передачей данных; механизм планирования заданий Grid. Кроме того, в набор основных сервисов входит средство поддержки коммуникаций, учитывающее структуру безопасности Grid (например, Globus I/O).
Для обеспечения базовых сервисов Grid нами выбран широко распространенный пакет Globus Toolkit 2.4: GSI обеспечивает безопасность, GIS/MDS отвечают за работу информационного сервиса (механизма обнаружения ресурсов), Globus GRAM инициирует выполнение задания в Grid, GridFTP является средством передачи данных в Grid, Globus I/O – библиотека ввода/вывода, совместимая с системой защиты.
Для управления ресурсами на более высоком уровне на Globus Toolkit устанавливается пакет LCG-2, который был разработан в проекте LHC [3]. LCG позволяет упорядочить базовые сервисы Grid, повысить надежность, упрощает использование сервисов, а также дополняет базовый функции. Нами используется модифицированный вариант LCG-2 – пакет ПО CG3 [4].
Рассматриваемая базовая конфигурация Grid сегмента состоит из 5 компьютерных систем [6], на которых устанавливаются соответствующие элементы LCG: LCFG Server – сервер конфигурации, Computing Element (CE) – вычислительный элемент, Storage Element (SE) – элемент хранения данных, User Interface(UI) – элемент для пользовательского интерфейса и Working Node(WN) – рабочий узел.
Через элемент с пользовательским интерфейсом осуществляется доступ к ресурсам сегмента Grid. Пользователь входит на эту машину, чтобы выбирать Grid-ресурсы, устанавливать свое задание на выполнение, получить вывод приложения, перемещать данные. С сервера конфигурации LCFG осуществляется полуавтоматическая установка и конфигурация (как первоначальная, так и вторичная) всех элементов управления базового уровня пакета LCG. Вычислительный элемент является основной рабочей точкой на локальном сайте. Этот узел обеспечивает единый интерфейс нижележащих вычислительных ресурсов. В его функции входит прием заданий, распределение их на выполнение, возвращение результатов работы. На нем же может быть расположена локальная система управления заданиями, которая работает с рабочими узлами. Рабочие узлы находятся за вычислительным элементом, на них осуществляется выполнение пользовательских вычислительных заданий. На практике сайт содержит несколько рабочих узлов. Элемент хранения данных обеспечивает единый доступ к хранилищам данных. Он прячет детали работы конечных систем хранения данных и обеспечивает универсальный доступ пользователю Grid. Элемент хранения может контролировать большие дисковые массивы, системы хранения данных и т. п.
Дополнение и объединение средств управления ресурсами в CG3 осуществляется за счет централизованных сервисов: брокер ресурсов – RB (resource broker), система мониторинга ресурсов – OCM-G, информационный каталог ресурсов – II (information index), поддержка универсального пользовательского интерфейса – MD (migrating desktop), сервер виртуальных организаций (VO – virtual organization).
На сегодняшний день российских сегмент Grid состоит из трех сайтов на базе следующих организаций:
– Институт высокопроизводительных вычислений и информационных систем (Санкт-Петербург);
– Институт теплофизики экстремальных состояний Объединённого института высоких температур РАН (Москва);
– Институт вычислительной математики и математической геофизики СО РАН (Новосибирск).
На данное время российский сегмент Grid для научных приложений входит в европейский сегмент Grid, построенного в рамках проекта CrossGrid. Информацию о текущем техническом состоянии сайтов можно найти на странице [5].
В дальнейшем планируется поднять центральные сервисы на российских сайтах и продолжать заниматься развитием Grid инфраструктуры для научных приложений России. Учитывая нехватку вычислительных ресурсов, мы планируем наращивать мощности нашего сегмента и предоставлять его ресурсы для тестирования и работы всем заинтересованным научным организациям.
Литература
1. Johnston W. E., The NASA IPG Engineering Team, and The DOE Science Grid Team "Implementing production Grids", в книге "Grid Computing Making the Global Infrastructure a Reality" под редакцией F. Berman, G. Fox, T. Hey, John Wiley & Sons, Великобритания, 2003, гл. 5, с. 117-167.
2. , , "Куда идет Grid?", (принято к печати в сентябре 2004) Публикации международной конференции "Распределенные вычисления и Grid-технологии в науке и образовании", Дубна, 2004.
3. lhc-new-homepage. web. cern. ch/lhc-new-homepage/.
4. www. eu-crossgrid. org.
5. http://www. lip. pt/computing/cg-pro/testbed-sites. htm.
6. "LCFGng Cluster Installation Guide Version 2.0 (LCG-2)", http://cgi. di. uoa. gr/~xgrid/archive. htm.
