МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ
имени М. В.ЛОМОНОСОВА
НАУЧНО-ИССЛЕДОВАТЕЛЬСКИЙ ИНСТИТУТ ЯДЕРНОЙ ФИЗИКИ
имени Д. В.СКОБЕЛЬЦЫНА
УДК 004.75
Инв.№ 000/07
УТВЕРЖДАЮ
И. о директора НИИЯФ МГУ
______________
«25» сентября г. 2007 г.
ОТЧЕТ
О НАУЧНО-ИССЛЕДОВАТЕЛЬСКОЙ РАБОТЕ
Создание стартового центра функциональности уровня Tier2, с компьютерными ресурсами 200 KSI2K/60 TB в НИИЯФ МГУ
(промежуточный)
по теме:
Составление функциональной и операционной модели стартового комплекса SINP RuTier2. Установка и техническая наладка оборудования в ресурсных центрах комплекса SINP RuTier2
Руководитель работ | ________ |
Москва 2007 г.
СПИСОК ИСПОЛНИТЕЛЕЙ
Руководитель работ, д-р физико-математических наук | _________________ | (Введение, Заключение) |
Исполнители | _________________ | (разделы 2,3,5) |
_________________ | (разделы 4,7 ) | |
_________________ | (реферат, раздел 6) |
Реферат
отчета по теме:
Составление функциональной и операционной модели стартового комплекса SINP RuTier2. Установка и техническая наладка оборудования в ресурсных центрах комплекса SINP RuTier2
Отчет: 28 с., 6 рис., 2 таблицы, 10 источников
Ключевые слова: распределенные вычисления, грид, Большой Адронный Коллайдер
Данный отчет отражает результаты, полученные в результате выполнения работ по Договору № 000-07 на первом этапе “ Составление функциональной и операционной модели стартового комплекса SINP RuTier2. Установка и техническая наладка оборудования в ресурсных центрах комплекса SINP RuTier2 ”.
Стартовый комплекс SINP RuTier2 должен обеспечить унифицированные общесистемные средства для подготовки и выполнения в распределенной вычислительной среде проблемно-ориентированных приложений в разных областях науки и техники, которые связаны с ресурсоемкими расчетами, обменом и обработкой больших объемов информации.
В ходе выполнения поставленных на первом этапе задач был проведен анализ требований к компонентам ресурсного центра LCG грид-инфраструктуры для Монте-карло моделирования событий на Большом адронном коллайдере, а так же определен необходимый баланс компонент ресурсного центра Tier-2 уровня.
Для определения наиболее оптимальных решений, в качестве компонент ресурсного центра, проанализирован современный рынок компьютерных и информационных технологий.
На основе проведенного анализа предложено конкретное решение для ресурсного центра LCG грид-инфраструктуры Tier-2 уровня, закуплено и введено в эксплуатацию соответствующее стартовое оборудование.
Содержание
Обозначения и сокращения……………………………………………………………………… 5
1 Введение. 6
2 Анализ научно-технической литературы, нормативно-технической документации и других материалов 6
3 Разработка функциональной модели стартового комплекса SINP RuTier2. 9
3.1 Tier-2 сервисы. 9
3.2 Компоненты ресурс центра Tier-2. 10
3.3 Анализ вычислительных узлов. 11
3.4 Анализ системы хранения данных уровня Tier-2. 12
3.5 Анализ архитектуры локальной вычислительной сети (LAN) вычислительной Tier-2 центра. 15
4 Обоснование принятого направления исследований и работ по проекту. 17
5 Разработка методики проведения сервисных и производственных испытаний в соответствии с требованиями проекта WLCG и экспериментов БАК.. 21
5.1 Объект испытаний: 21
5.2 Общие положения. 21
5.3 Технические требования. 22
5.4 Порядок проведения испытаний. 23
5.5 Методы испытаний. 23
5.6 Испытания программных компонент ЦБГС и их взаимодействие. 24
6 Закупка и установка оборудования. 26
7 Техническая наладка установленного оборудования в соответствии с производственными требованиями проекта WLCG.. 27
8 Заключение. 27
9 Список использованных источников. 28
Обозначения и сокращения
БАК Большой Адронный Коллайдер
ИВК информационно-вычислительный комплекс
ЦБГС Центр Базовых Грид-Сервисов
ППО промежуточное программное обеспечение
LHC большой адронный коллайдер (Large Hadron Collider)
LCG вычислительный проект грид для LHC (LHC Computing GRID)
EGEE развертывание грид-систем для e-науки (The Enabling Grids for E-sciencE)
gLite промежуточное программное обеспечение проекта EGEE (Lightweight Middleware for Grid Computing)
CE вычислительный элемент (Computing Element)
SE накопитель данных (Storage Element)
RB сервис распределения ресурсов (Resource Broker)
VOMS сервис принадлежности к ВО (Virtual Organisation Membership Service)
RLS сервис репликации (Replica Location Service )
WMS подсистема управления рабочим пространством (Workspace Management Service)
PBS портируемая система пакетной обработки (Portable Batch System)
LSF средство разделения загрузки (Load Sharing Facility)
GSI система безопасности (Grid Security Infrastructure)
SRM средство управления ресурсами хранения (Storage Resource Manager)
1 Введение
Данный отчет отражает результаты, полученные в результате выполнения работ по Договору № 000-07 на первом этапе “ Составление функциональной и операционной модели стартового комплекса SINP RuTier2. Установка и техническая наладка оборудования в ресурсных центрах комплекса SINP RuTier2 ”.
Стартовый комплекс SINP RuTier2 должен обеспечить унифицированные общесистемные средства для подготовки и выполнения в распределенной вычислительной среде проблемно-ориентированных приложений в разных областях науки и техники, которые связаны с ресурсоемкими расчетами, обменом и обработкой больших объемов информации. Данный комплекс по своему составу и функционированию должен обеспечить также совместимость с подобными комплексами, создаваемыми международными организациями типа EGEE и Globus Alliance в контакте с основными фирмами-производителями средств вычислительной техники, крупными научными центрами в США, Европе и Азии и основываться на открытых стандартах и протоколах. Такая совместимость (интероперабельность) обеспечит, в частности, полноценное участие научных центров Российской Федерации выполнение совместных крупномасштабных исследований в области физики высоких энергий.
2 Анализ научно-технической литературы, нормативно-технической документации и других материалов
Россия участвует в крупнейшем международном проекте по физике высоких энергий "Большой адронный коллайдер" (БАК, ЦЕРН, Швейцария) [1]. Эти работы ведутся на основе Протокола от 01.01.01 г., подписанного Миннауки по поручению Правительства РФ. Начало работы ускорителя (получение первых данных) планируется на 2008 г. Эксперименты на БАК позволят проверить теоретические построения последних десятилетий – основной целью является поиск новых элементарных частиц и фундаментальных взаимодействий, а также новых состояний вещества. Ведущие российские исследовательские центры различных ведомств ведут работы по проекту БАК, как по созданию самого ускорителя, так и всех четырех его детекторов - ALICE, ATLAS, CMS и LHCb.
Следуя рекомендациям проекта MONARC [4], в котором были проанализированы основные проблемы организации информационно-вычислительного комплекса (ИВК) БАК, за основу принята распределенная модель обработки и хранения данных - весь объем информации с детекторов БАК после первичной реконструкции будет направляться для дальнейшей обработки и для анализа в региональные центры.
В процессе создания баз данных в экспериментах БАК будут производиться следующие типы данных (событий) [5]:
l RAW - данные, записываемые после on-line обработки;
l ESD (Event Summary Data) - результат работы программ реконструкции;
l AOD (Physics Analysis Object Data) - запись событий в компактном формате, пригодном для физического анализа.
Оценки размера различных типов данных (для 1-го события) приведены в Таблице 1.
Таблица 1. Оценки размера различных типов данных (для 1-го события)
ALICE | ATLAS | CMS | LHCb | |
RAW (Мбайт) | 1/25 | 2.0 | 1.0 | 0.125 |
ESD (Мбайт) | 0.1/2.5 | 0.5 | 0.5 | 0.1 |
AOD (Кбайт) | 10/250 | 10 | 10 | 20 |
В таблице 2 представлены объемы основных данных, поступающие с детектора CMS. Как видно из этой таблицы, поток данных только с одного детектора составит порядка десяти петабайт в год.
Таблица 2. Объемы основных данных, поступающие с детектора CMS
Формат данных | Содержание | Объем, Пбайт/год |
RAW | Данные, полученные с детектора и прошедшие тригерную обработку | 5,0 |
RECO | Реконструированные объекты (треки, джеты, электроны, мюоны и т. д.) | 2,1 |
AOD | Данные для анализа | 2,6 |
Как следствие, возникает проблема хранения, а так же обработки данных такого масштаба. Для решения данной задачи был выбрана иерархическая система хранения и анализа данных, поступающих с коллайдера. Такая система предполагает создание центров разных уровней (Tier). Уровни должны различаться как по масштабу вычислительных и архивных ресурсов, так и по выполняемым функциям. Иерархический принцип организации информационно-вычислительной системы LHC схематически изображен на рис. 1.
Рис. 1. Иерархическая система распределения данных LHC.
Иерархический принцип организации ИВК БАК предполагает создание центров разных ярусов (Tier's): Tier0(CERN) - Tier1 - Tier2 - Tier3 - рабочие станции пользователей. Ярусы различаются как по масштабу вычислительных и архивных ресурсов, так и по выполняемым функциям [8]:
l Tier0 (CERN) - первичная реконструкция, создание ESD, калибровка, хранение копий полных баз данных;
l Tier1 - репликация и хранение ESD (их частичная реконструкция), создание и хранение AOD, моделирование, анализ;
l Tier2 - репликация и хранение AOD; моделирование и анализ;
l Tier3 - кластеры институтов и отдельных исследовательских групп.
Уровень Tier-0 распределяет как сырые, так и обработанные данные в систему Tier-1 центров. Эти центры обеспечивают архивацию данных, реконструкцию, калибровку, отбор событий, а также другие задачи анализа, связанные с большими потоками данных. Затем, данные распределяются в более многочисленный набор уровней Tier-2. Каждый из этих центров является меньшим по масштабу в сравнении с предыдущими уровнями. Но тем ни менее, обладая существенными ресурсами CPU, обеспечивают непосредственный анализ данных, калибровку и моделирование по методу Монте-Карло. Все центры Tier-2 взаимодействуют с уровнями Tier-1 для доступа к большим объемам данных, а так же для безопасного хранения новых данных, которые они производят.
Задачи и грид-службы Tier2 подробно рассматриваются в следующем разделе.
3 Разработка функциональной модели стартового комплекса SINP RuTier2
Компоненты Tier-2 центра должны отвечать требованиям, которые приводятся в Technical Design Report (TDR) [6], [7]. Ожидается, что большинство Tier-2 центров будет состоять из набора компьютерных ресурсов, соединенных высокоскоростной сетью, расположенных в едином центре, и будут управляться единой группой поддержки. По другому варианту ресурсы Tier-2 центра могут быть физически расположены в разных организациях и соответственно связаны между собой World Area Network (WAN).
3.1 Tier-2 сервисы.
Перечислим основные сервисы, которые должны реализоваться в Tier-2 центре:
· Средне-продолжительное или долгосрочное хранение выбранных данных. Для анализа в основном используется AOD с небольшой долей RECO. RAW данные могут потребоваться для калибровки и исследования детектора.
· Передача, буферизация и кратковременное кэширование выбранных данных с уровня Tier-1, а также передача обработанных данных в Tier-1 для их хранения.
· Предоставление и управление локальным «рабочим пространством» для анализа данных.
· Поддержка удаленного запуска заданий.
· Поддержка интерактивного поиска ошибок, в том числе невыполненных заданий.
· Оптимизированный доступ к центральным базам данных CMS, для получения условий и данных калибровки.
· Механизм для установки приоритетов между удаленными и локальными пользователями, в соответствии с двумя политиками: CMS и локальной.
Вышеупомянутые сервисы являются так называемыми «user-level», то есть это сервисы, которые доступны и видны для пользователей Tier-2. Помимо этих сервисов, в Tier-2 центре должен реализовываться большой набор других, так называемых «system-level» сервисов, перечислим наиболее важные из них [9]:
· управление рабочей нагрузкой;
· разделение и создание очередей, установление приоритетов для доступа к ресурсам, таким как: CPU, дисковое пространство, а также к ресурсам передачи данных, для групп и отдельных пользователей;
· отслеживание заданий;
· поддержка локальной загрузки заданий.
3.2 Компоненты ресурс центра Tier-2
Tier-2 центр представляет собой набор вычислительных ресурсов а так же систему хранения дынных, объединенных локальной сетью и соединенные с грид инфраструктурой по средствам WAN. На всех компонентах должно быть установлено промежуточное программное обеспечение (ППО, MiddleWare), которое обеспечивает работу всех компонент ресурс-центра в единой вычислительной среде, а так же служит для взаимодействия Tier-2 центра с другими центрами GRID инфраструктуры [10]. Основные компоненты Tier-2 центра представлены на рис. 2.
Рис. 2. Компоненты Tier-2 центра.
Вычислительные узлы (Work Nodes, WN) – это высокопроизводительные компьютеры, выполняющие задачи анализа, моделирования, а так же другие вычислительные процессы. Computing Element (CE) – сервер управления вычислениями. Система хранения данных Tier-2 центра базируется на сервере управления данными (Storage Element, SE) и файловых серверах, которые обладают непосредственно дисковыми массивами. Все вышеперечисленные компоненты объединены локальной вычислительной сетью LAN (Local Area Network). Для связи с другими центрами используется WAN. Если рассматривать Tier-2 центр как часть GRID-инфраструктуры, то это – SE и CE, которые взаимодействую с локальными ресурсами (CPU, системы хранения).
3.3 Анализ вычислительных узлов.
В результате анализа возможных серверных решений, можно выделить следующие пункты, которыми должны обладать сервера в рамках их использования для ресурсного центра Tier-2:
· Форм фактор «Rack». Данный форм фактор позволяет более эффективно разместить сервера в ресурс центре. Данный аспект немаловажен с учетом больших потребностей в вычислительных ресурсах.
· Двухпроцессорные сервера являются наиболее предпочтительными в виду специфики GRID Инфраструктуры, частью которой является Tier-2 центр.
· AMD или Intel являются лидерами производства микропроцессорных решений. Эти компании выпускают линейку серверных процессоров, схожих как и по производительности, так и по цене, но процессоры компании AMD обладают меньшим энергопотреблением (тепловыделением) при одинаковой производительности по сравнению с процессорами Intel
- MultiCore. Данная технология на сегодняшний день активно развивается. Решение на базе мультиядерных процессоров оказывается выгоднее, чем использование одноядерных процессоров.
Принимая во внимание вышеизложенные факторы, в качестве Work Node сервера для Tier-2 центра необходимо использовать сервера на базе двух процессоров DualCore. Такой сервер должен иметь возможность монтажа в серверную стойку. Требование к дискам вычислительного узла являются несущественными. Сервер должен иметь диск небольшого объема для установки операционной системы, необходимого программного обеспечения, а так же для временного хранения используемых файлов. Рекомендации к оперативной памяти сервера – это 4 Гбайт на один сервер.
3.4 Анализ системы хранения данных уровня Tier-2.
Целью данного раздела является анализ системы хранения данных для уровня Tier-2. Рассмотрим схематическое изображение Tier-2 центра, как сегмента GRID инфраструктуры (рис. 3).
Рис.3. Система хранения Tier-2 центра.
В выделенном фрагменте заключена система хранения данных на уровне Tier-2. Данная система состоит из сервера управления данными (SE), а так же из дисковых массивов. Дисковый массив может быть в виде файл-сервера или внешней системы хранения данных. Далее будет проведен анализ компонент системы хранения и рассмотрены различные варианты архитектуры ее построения с учетом требований к Tier-2 центру.
Анализ носителей информации показывает, что SAS технология, обладая рядом преимуществ по сравнению с последовательным SCSI, направлена на вытеснение последнего. Цена на диски сравнима с аналогичными SCSI дисками, тем самым, делая доступной эту технологию при рассмотрении варианта о построении системы хранения на SCSI или на SAS. Оба типа дисков характеризуются большой скоростью записи/чтения, благодаря высокой частоте вращения шпинделя (15000 оборотов в минуту), а так же высокой надежностью. Данное решение идеально в случае работы с важными данными, которые требуют постоянное обращения к ним. SATA технология на данный момент активно развивается, по мимо вышедшей недавно спецификации SATA II (300 Мбайт/сек) анонсирован выход спецификации, поддерживающей скорости до 600 МБ/сек. На данный момент уже выпускаются SATA диски, скорость вращения шпинделя которых составляет 10 000 оборотов в минуту, что делает их сравнимыми по производительности со SCSI дисками (10K). SATA диски обладают меньшей надежностью, чем SCSI, но и цена на них ниже. В случае Tier-2 центра выгоднее использовать технологию SATA, так как данный тип дисков экономически выгоден, при этом удовлетворяет требованиям и особенностям системы хранения Tier-2 центра.
Требование к большим объемам системы хранения данных подразумевает под собой использование большого количества физических дисков, тем самым повышается вероятность выхода из строя компонент системы хранения (жестких дисков). Существуют несколько решения для создания отказоустойчивой системы, позволяющие избежать потери данных, а также избежать простоя ресурсов центра, из-за отказа одного из компонент системы хранения. Анализ показывает, что наиболее предпочтительной является технология RAID (Redundant Array of Independent Disks - массив независимых дисковых накопителей с избыточностью).
Таким образом, предлагаемое решение для системы хранения данных Tier-2 центра состоит из сервера управления данными и файловых серверов или внешних систем хранения данных, которые содержат дисковые массивы. В дисковых массивах используются SATA диски, так как они наиболее выгодны для использования в системе хранения Tier-2 центра. В качестве дискового массива может использоваться файловый сервер. Данный вариант представлен на рис. 4.
Рис. 4. Организация системы хранения с использованием файловых серверов.
В качестве расширения уже существующего файлового сервера может использоваться внешняя система хранения, подключаемая по интерфейсу SCSI.
По мимо файловых серверов, в сетях Ethernet могут подключатся внешние системы хранения данных, работающие по протоколу iSCSI. Архитектура такой сети показана на рис. 5.
Рис. 5. Организация системы хранения с использованием файловых серверов, а также внешних систем хранения iSCSI
Таким образом, вариант использования файловых серверов в системе хранения Tier-2 центра оказывается наиболее выгоден.
3.5 Анализ архитектуры локальной вычислительной сети (LAN) вычислительной Tier-2 центра.
Со стороны Tier-1 центра должны быть доступны Storage Element (SE) и Computing Element (CE). Внутри Tier-2 центра CE и SE должны иметь доступ ко всем вычислительным узлам (WN). В свою очередь сервер управления данными должен соединятся с файловыми серверами. Требования к пропускной способности Tier-2 центра:
· Выход на Tier-1 (WAN) – 1 Гбит/сек
· Вычислительные узлы – 1 Гбит/сек
· Вычислительные узлы – система хранения – 10 Гбит/сек
Технология Gigabit Ethernet - это расширение IEEE 802.3 Ethernet, использующее такую же структуру пакетов, формат и поддержку протокола CSMA/CD, полного дуплекса, контроля потока и прочее, но при этом предоставляя теоретически десятикратное увеличение производительности. Технология Ethernet являются обратно совместимой. Таким образом, в одной сети возможно использование всех трех стандартов. Стоит заметить, что технология 10/1000/1000 Ethernet является массовой и доступной. Практически все современные материнские платы поставляются с уже интегрированным сетевым адаптером 1 Gigabit Ethernet.
Технология 10 Gigabit Ethernet. Данный стандарт передачи данных стандартизирован уже несколько лет назад, но в продаже только начинает появляться. В теории технология 10 Gigabit Ethernet должна обеспечивать скорость передачи данных в 10 раз большую, чем 1 Gigabit Ethernet. На данный момент рынок 10 гигабитных решений пока не сформирован, а существующие продукты являются дорогостоящими по сравнению с широко распространенной технологией 1 Gigabit Ethernet.
Для того, что бы объединить большое количество компонент локальной сети в одну инфраструктуру применяются коммутаторы. Архитектура сети Tier-2 центра с применением технологии 1/10 Gigabit Ethernet. Архитектура локальной вычислительной сети Tier-2 центра с применением технологии 10 Gigabit Ethernet показана на рис. 6.
Рис. 6. Сетевая инфраструктура Tier-2 центра с использованием технологии
10 Gigabit Ethernet
4 Обоснование принятого направления исследований и работ по проекту
Актуальность этой задачи обусловлена тем, что по планам международного проекта БАК в 2008 году начнется первый физический сеанс, и начнут поступать первые экспериментальные данные со всех четырех экспериментов БАК (ALICE, ATLAS, CMS и LHCb).
Комплекс RuTier2 должен обеспечивать выполнение следующих основных функций (в соответствии с архитектурой глобальной грид системы WLCG): анализ данных экспериментов БАК, генерация моделирующих данных, хранение пользовательских данных. Вклад Российского комплекса RuTier2 в общий производственный цикл глобальной системы региональных центров БАК должен быть на уровне 3-5%, то есть на уровне общего вклада России в этот международный проект.
Ресурсный комплекс RuTier2 должен быть интегрирован в глобальную грид инфраструктуру LCG/EGEE.
Комплекс RuTier2 должен базироваться на ресурсных центрах, размещенных в институтах, участвующих в международном проекте БАК. Институтские ресурсные центры должны состоять из слабо связанных вычислительных кластеров и дисковых массивов для хранения данных экспериментов БАК. Технические параметры стартового комплекса RuTier2, включая процессорную мощность, объем дисковых массивов и емкость линий связи, должны соответствовать российским планам участия в анализе данных БАК, и быть согласованы с общей структурой глобальной иерархической системы региональных центров БАК Tier0-Tier1-Tier2-Tier3 по каждому из экспериментов БАК (ALICE, ATLAS, CMS и LHCb).
Предлагаются следующие основные подходы к решению поставленной задачи:
· использование инновационной технологии типа «грид» (GRID) для организации распределенного хранения данных и исполнения задач пользователей, для чего комплекс RuTier2 должен быть интегрирован в глобальную грид инфраструктуру LCG/EGEE через российский сегмент этой инфраструктуры - Российский грид для интенсивных операций с данными (РДИГ). Для обеспечения полной интеграции комплекса RuTier2 в грид инфраструктуру LCG/EGEE предлагается использование промежуточного программного обеспечения gLite проекта EGEE-II. Предлагается также использовать опыт построения прототипа комплекса RuTier2, и его эксплуатации в составе глобальной системы региональных центров грид системы LCG на первой фазе этого международного проекта (до 2006 года), а также в период сервисного тестирования в 2006 году;
· процессорные мощности должны быть основаны на использовании слабо связанных кластеров, состоящих из вычислительных узлов на основе микропроцессоров массового производства. Это обосновывается структурой пользовательских заданий в проекте БАК, которые состоят из большого набора однотипных задач, каждая из которых может быть выполнена на отдельном процессоре за приемлемое время. Отказ от использования сильно связанных кластеров или суперкомпьютерных центров приведет к существенному удешевлению этого ресурса (примерно на 50%). Конструктивно вычислительные узлы должны монтироваться в стоечном варианте (rackmount), что при небольшом увеличении стоимости (примерно на 10%) позволит сильно сэкономить на обслуживании. Обязательна трехлетняя гарантия на это оборудование с оперативной заменой вышедших из строя вычислительных узлов;
· дисковые массивы также должны быть основаны на комплектующих массового производства, с трехлетней гарантией и возможностью оперативной замены вышедших из строя дисков. Конструктивно дисковые массивы должны монтироваться также в стоечном варианте с целью удешевления их обслуживания. Должно быть соблюдено оптимальное соотношение объема дисковых массивов и процессорной мощности, установленных в одном институте, порядка 0.2-0.3 в единицах Терабайт/KSI2000;
· базовые каналы связи, как международные, так и между основными центрами комплекса RuTier2 должны быть мощности не менее 1 Гигабит/с и должны быть выделенными (dedicated circuits) для обслуживания только задач БАК.
Предлагаемый подход к решению поставленной задачи, прежде всего выбор грид технологий, в силу их инновационности, определяет новизну поставленной задачи и обосновывает в целом выбранный вариант решения поставленной задачи с точки зрения достижения целевых значений технико-экономических показателей компьютерных услуг физикам, проводящим анализ данных с экспериментов БАК. Если принимать во внимание проблему человеческого фактора (проблему мобилизации кадров необходимой квалификации и проблему привлечения физиков непосредственно к созданию и эксплуатации комплекса RuTier2), то выбранный подход построения распределенной информационно-вычислительной системы не имеет альтернативы и находится в соответствии с современными тенденциями развития информационных технологий в мире. Предлагаемые работы находятся на самом высоком технологическом уровне с привлечением самых последних достижений в сфере информационных технологий. Работы будут выполняться самостоятельно в тесной кооперации с зарубежными научными центрами, участниками международного проекта WLCG, уникального по своей новизне и технологической новизне в мире. Это обуславливает отсутствие конкурентов, как внутри России, так и за рубежом.
Конкретной научно-технической продукцией в результате работ в рамках настоящей заявки будет система слабо связанных вычислительных кластеров и дисковых массивов, работающих как единый информационно-вычислительный комплекс функциональности Tier2-Tier3 в глобальной системе региональных центров по обработке данных с экспериментов международного проекта БАК (ALICE, ATLAS, CMS и LHCb).
Основные технические параметры стартового комплекса на конец 2007 года:
· суммарная процессорная мощность порядка 2500 KSI2000,
· суммарная емкость хранения данных экспериментов БАК на дисковых массивах не менее 500 Терабайт,
· емкость линий связи между базовыми центрами комплекса RuTier2, а также с центрами уровня Tier1 в глобальной системе LCG, не менее 1 Гигабит/с. А для остальных центров RuTier2 (уровня Tier3) не менее 155 Мегабит/с.
В процессе создания Российского грид комплекса RuTier2 будет создана новая интеллектуальная собственность, которая будет иметь статус свободно распространяемого программного обеспечения. Соответственно, необходимо будет провести работы по определению патентной чистоты вновь созданной интеллектуальной собственности. Статус свободно распространяемого программного обеспечения является одной из наиболее эффективной формой защиты интеллектуальной собственности в мире в этой сфере. Он также является одной из наиболее оптимальной формой защиты интеллектуальной собственности для дальнейшего продвижения по пути ее коммерческого применения.
Социально-экономические эффекты от использования грид комплекса RuTier2 будут состоять в следующем:
· существенное повышение производительности труда физиков, выполняющих анализ данных экспериментов БАК, за счет использования грид технологий распределенного хранения данных (эффективное разделение по экспериментам и дисковым ресурсами в участвующих институтах) и совместного использования процессорного ресурса распределенного по участвующим институтам. Такой подход дает возможность оперативно менять нагрузку вычислительных кластеров и оптимально использовать свободное дисковое пространство в зависимости от динамически меняющейся картины запросов физиков из разных институтов;
· использование грид технологий позволит значительно повысить производственную безопасность, так как будет применены новые технологии дупликации данных при распределенном их хранении, а также технологии контроля успешности выполнения заданий пользователей;
· внедрение грид технологий в процесс анализа данных физических экспериментов приведет к повышению уровня автоматизации производства. Пользователю теперь не нужно будет заботиться о целом ряде рутинных действий по передаче промежуточных данных, обеспечению надежности вычислений и операций с данными, а также обеспечению безопасности работ с данными – все это переводится на уровень сервисного обслуживания, скрытого от самого пользователя, освобождая рабочее время физиков для более интеллектуальной работы;
· будет обеспечена большая гибкость производства, так как создаваемый грид комплекс RuTier2 позволит эффективно развивать и внедрять новые методы обработки данных.
Все эти социально-экономические эффекты могут найти применение и в промышленности и других сферах, в том числе и в виде коммерческих проектов, использующих грид технологии. Важнейшим условием для этого является успешная эксплуатация создаваемого грид комплекса в условиях уникально интенсивной его загрузки в процессе анализа данных экспериментов БАК. В процессе такой эксплуатации выявятся слабые места, которые будут устраняться, и в результате будет получена уникальная технология распределенного хранения данных масштаба нескольких Петабайт, и выполнения массовых прикладных задач, использующих эти распределенные данные, на распределенных вычислительных ресурсах. Такие грид системы могут найти практическое применение для построения крупных и средних корпоративных иформационно-вычислительных систем нового поколения.
5 Разработка методики проведения сервисных и производственных испытаний в соответствии с требованиями проекта WLCG и экспериментов БАК
5.1 Объект испытаний:
Наименование
Стартовый центр функциональности уровня Tier2 в НИИЯФ МГУ
Область применения
В соответствии с архитектурой глобальной грид системы WLCG, комплекс RuTier2 должен обеспечивать выполнение следующих основных функций: анализ данных экспериментов БАК, генерация моделирующих данных, хранение пользовательских данных.
Цель испытаний
Целью испытаний является проверка выполнения требований Технического задания к комплексу SINP RuTier2.
5.2 Общие положения
Место и продолжительность испытаний. Предварительные испытания проводятся на стартовом комплексе SINP RuTier2 в НИИЯФ МГУ. Испытания должны проводиться согласно разработанной Исполнителем и согласованной с Заказчиком методикой испытаний. Ход проведения испытаний документируется в Протоколе проведения испытаний.
Состав предъявляемой документации:
· Техническое задание
· Методика испытаний
· Техническая документация на оборудование
Объем испытаний
Перечень этапов испытаний
Испытания проводятся в три этапа:
1. Проверка комплектности программных и технических средств
2. Испытания установленного оборудования
3. Испытания программных компонент gLite комплекса SINP RuTier2 и их взаимодействия
Перечень работ, проводимых после завершения испытаний
В случае выявления несоответствия комплекса отдельным требованиям Технического задания Исполнитель проводит корректировку по результатам испытаний в сроки, согласованные с Заказчиком.
По завершении корректировки Исполнитель проводит повторные испытания согласно настоящей Методики в объеме, требуемом для проверки проведения корректировок.
5.3 Технические требования
Требования к средствам проведения испытаний
Испытания оборудования комплекса SINP RuTier2 проводится с помощью стандартных средств тестирования, в соответствии с технической документацией на оборудование.
Испытания программных компонент gLite комплекса SINP RuTier2 проводятся с помощью Центра базовых грид-сервисов в НИИЯФ МГУ со следующей функциональностью:
· брокер ресурсов (Resource Broker, RB);
· информационная система (BDII);
· сервер виртуальных организаций (VOMS Server);
· сервер безопасного хранения прокси-сертификатов (MyProxy Server);
· сервер передачи данных (LFC или FTS).
При этом сам комплекса SINP RuTier2 должен обладать следующей функциональностью:
l вычислительный элемент (Computing Element, CE);
l рабочего узла (Worker Node, WN);
l узел хранения данных (Storage Element, SE).
Требования к подготовке прототипа ЦБГС к испытаниям
На всех компьютерах ЦБГС должно быть
l установлена ОС «Scientific Linux»;
l установлено и настроено программное обеспечение соответствующее функциональному назначению компьютера.
На всех ресурсных центрах, участвующих в проведении испытаний на время проведения испытаний должен быть запрещен запуск каких-либо задач, кроме тестовых.
Требования к персоналу, осуществляющему испытания
К проведению испытаний допускается персонал, прошедший обучение, изучивший эксплуатационную документацию комплекса SINP RuTier2.
Требования безопасности
Во время проведения испытаний необходимо соблюдать правила техники безопасности при обращении с компьютерами.
5.4 Порядок проведения испытаний
Условия проведения испытаний.
Испытания ЦБГС должны проводиться в нормальных климатических условиях по ГОСТ . Условия проведения испытаний приведены ниже:
l температура окружающего воздуха, °С - 20 ± 5;
l относительная влажность, % - от 30 до 80;
l атмосферное давление, кПа - от 84 до 106;
l частота питающей электросети, Гц - 50 ± 0,5;
l напряжение питающей сети переменного тока, В - 220 ± 4,4.
Меры, обеспечивающие безопасность и безаварийность проведения испытаний
При проведении испытаний Заказчик должен обеспечить соблюдение требований безопасности, установленных ГОСТ 12.2.007.0–75, ГОСТ 12.2.007.3 – 75, «Правилами техники безопасности при эксплуатации электроустановок потребителей», и «Правилами технической эксплуатации электроустановок потребителей».
5.5 Методы испытаний
Проверка комплектности состава технических и программных средств.
Методика испытаний: провести проверку соответствия комплектности состава технических и программных средств техническому заданию.
Критерий прохождения испытаний: комплекс SINP RuTier2 считается выдержавшим испытание, если представленный комплект технических и программных средств соответствует требованиям Технического задания.
Проверка совместимости с операционной системой Scientific Linux
Методика испытаний: проверить сообщения об ошибках программного обеспечения ЦБГС со стороны операционной системы.
Критерий прохождения испытаний: комплекс SINP RuTier2 считается выдержавшим испытание, если в процессе проведения предварительных испытаний сообщения об ошибках программного обеспечения со стороны операционной системы отсутствовали.
Проверка оборудования комплекса SINP RuTier2
Методика испытаний: проверить соответствие характеристик оборудования комплекса стандартными средствами, в соответствии с его технической документацией.
Критерий прохождения испытаний: комплекс SINP RuTier2 считается выдержавшим испытание, если характеристики оборудования соответствуют п. 4 Технического задания.
5.6 Испытания программных компонент ЦБГС и их взаимодействие.
Проверка корректности мониторинга комплекса SINP RuTier2
Методика испытаний: проверить наличие достоверной свежей информации на сайте мониторинга российского сегмента грид.
Критерий прохождения испытаний: в случае наличия на сайте мониторинга российского сегмента грид достоверной свежей информации испытание считается пройденным.
Проведение испытаний:
Зайдите на web-сайт мониторинга российского сегмента грид (http://rocmon. *****:8080/). Щелкните на ссылки Farms->CPUs->History. Убедитесь в наличии данных для текущей даты (отслеживается по горизонтальной шкале) о количестве процессоров (по вертикальной шкале) в ресурсных центрах. Щелкните на ссылки VO JOBS->ALICE->History (вместо Alice можно выбрать другую виртуальную организацию). Убедитесь в наличии данных для текущей даты (отслеживается по горизонтальной шкале) о количестве выполняющихся (Running jobs по вертикальной шкале) и ожидающих выполнения (Waiting jobs по вертикальной шкале) заданий по каждой виртуальной организации.
Проверка запуска заданий на вычислительные ресурсы комплекса
Методика испытаний: проверить работу полного цикл выполнения задачи для короткой задачи (10 минут); проверить работу полного цикла выполнения задачи для задачи с длительным временем выполнения (25 часов).
Критерий прохождения испытаний: подсистема управления нагрузкой считается выдержавшей испытания, если полный цикл выполнения задачи функционирует без ошибок для задач длительностью 10 минут и 25 часов.
Проведение испытаний:
Для выполнения описываемых далее тестов необходимо иметь действующий сертификат и быть зарегистрированным в виртуальной организации, поддерживаемой на вычислительных ресурсах. Для запуска тестов необходимы файлы с тестовыми задачами и входными данными. Запуск заданий осуществляется в соответствии с Руководством пользователя ППО gLite.
Проверка возможности мониторинга заданий, вычислительных ресурсов и ресурсов хранения данных
Методика испытаний: проверяется наличие достоверной информации в статистике на сайте мониторинга российского сегмента грид.
Критерий прохождения испытаний: подсистема учета ресурсов и пользователей считается выдержавшей испытание, если на сайте мониторинга российского сегмента грид находится достоверная статистическая информация.
Проведение испытаний: Зайдите на web-сайт мониторинга российского сегмента грид (http://rocmon. *****:8080). Щелкните на ссылки Jobs->Number of Jobs. Убедитесь в наличии данных о количестве выполненных заданий в колонке текущего месяца (месяц и год указаны в заголовке колонки). Щелкните на ссылки CPU Time->Norm CPU Time. Убедитесь в наличии данных о нормализованном потребленном процессорном времени в колонке текущего месяца (месяц и год указаны в заголовке колонки). Щелкните на ссылки User-> Statistics->Number of Jobs (для открытия этой страницы необходимо наличие в браузере действительного сертификата пользователя РДИГ). Убедитесь в наличии данных о количестве выполненных заданий в колонке Value для пользователей, чьи имена сертификатов (Subject) указаны в колонке User. Щелкните на ссылки User Statistics-> Norm CPU Time (для открытия этой страницы необходимо наличие в браузере действительного сертификата пользователя РДИГ). Убедитесь в наличии данных о количестве выполненных заданий в колонке Value для пользователей, чьи имена сертификатов (Subject) указаны в колонке User.
Проверка эффективности использования вычислительной техники
Методика испытаний: осуществить запуск одной тысячи тестовых заданий на комплекс SINP RuTier2
Критерий прохождения испытаний: с помощью системы мониторинга gLite проверяется, что в некоторый момент загрузка ресурсного центра составляет не менее 70%.
6 Закупка и установка оборудования
В соответствии с Календарным планом закуплено и установлено следующее оборудование:
· компьютерный кластер на основе серверов HP Proliant DL140 Generation 3 Server (2x2 core Xeon 2.7GHc, RAM 8Gb, GigaLan internal, 160Gb HDDшт.
· дисковые серверы:
o SuperMicro: общая емкость 3 TB, RAID5 массивы (1 шт.);
o SuperMicro: общая емкость 10.8 TB, RAID5 массивы (2 шт.);
o SuperMicro: общая емкость 5.4 TB, RAID5 массивы (1 шт.).
Факт покупки и ввода оборудования в эксплуатацию в режиме отдельных устройств зафиксирован в Актах ввода в эксплуатацию оборудования для комплекса SINP RuTier2.
7 Техническая наладка установленного оборудования в соответствии с производственными требованиями проекта WLCG
В соответствии с Техническим заданием, устанавленное оборудование комплекса SINP RuTier2 обеспечено требуемым электропитанием и охлаждением в производственных помещениях, а также постоянным техническим обслуживанием. В соответствии с производственными требованиями проекта WLCG произведена техническая наладка установленного оборудования, его подключение к каналам связи.
8 Заключение
В ходе выполнения поставленных на первом этапе задач был проведен анализ требований к компонентам ресурсного центра LCG грид-инфраструктуры для Монте-карло моделирования событий на Большом адронном коллайдере, а так же определен необходимый баланс компонент ресурсного центра Tier-2 уровня.
Для определения наиболее оптимальных решений, в качестве компонент ресурсного центра, проанализирован современный рынок компьютерных и информационных технологий.
На основе проведенного анализа предложено конкретное решение для ресурсного центра LCG грид-инфраструктуры Tier-2 уровня, закуплено и введено в эксплуатацию соответствующее оборудование.
9 Список использованных источников
1 Проект БАК: http://lhc. web. cern. ch/lhc/
2 Проект EGEE: http://www. eu-egee. org
3 Проект RDIG: http://*****
4 Проект MONARC:
http://monarc. web. cern. ch/MONARC/docs/phase2report/Phase2report. pdf
5 Bernd Panzer-Steindel, "WAN RAW/ESD Data Distribution for LHC", http://it-div-fio. web. cern. ch/it-div-fio/meetings/FIO/WAN_DCs. ppt
6 LHC Computing GRID Technical Design Report http://doc. cern. ch//archive/electronic/cern/preprints/lhcc/public/lhcc.pdf
7 CMS Computing Technical Design Report http://doc. cern. ch//archive/electronic/cern/preprints/lhcc/public/lhcc.pdf
8 D. Bonacorsi et al., “Tier-1 and Tier-2 Real-time Analysis Experience in CMS Data Challenge 2004,” in Proceedings of the CHEP’04 Conference. Interlaken, Switzerland, September 27th - October 1st, 2004. Published on InDiCo.
9 P. Capiluppi et al., “CMS Test of the European DataGrid Testbed,” CMS NOTE 2003-
10 D. Stickland, “Planning for the Computing TDR,” CMS IN 2002-
