Приложение 5
УТВЕРЖДАЮ От Заказчика Заместитель директора Сводного департамента анализа и регулирования внешнеэкономической деятельности Минэкономразвития России ________________________ « » _____________ 2009 г. | УТВЕРЖДАЮ От Исполнителя Генеральный директор Медиа» ________________________ « » _____________ 2009 г. | |
Единый портал внешнеэкономической информации Минэкономразвития России Программа и методика проведения испытаний Портала | ||
Шифр темы: 1607-05-09 | ||
Листов 23 | ||
Москва, 2017 | ||
Аннотация
Данный документ содержит программу и методику испытаний по проекту «Создание единого Портала внешнеэкономической информации Минэкономразвития России в сети Интернет, предназначенного для внешнего управления»», разработанного для Министерства Экономического Развития Российской Федерации.
В разделе 1 приводятся основные сведения об объекте испытаний.
Раздел 2 содержит описание целей испытаний.
Раздел 3 содержит общие положения по порядку проведения испытаний.
Раздел 4 содержит описание объема испытаний.
В разделе 5 описывается материально-техническое обеспечение испытаний.
В разделе 6 приводятся условия и порядок проведения испытаний.
В разделе 7 приводятся требования к отчетности.
Приложение 0 содержит описание контрольных заданий.
Содержание
1 Объект испытаний. 5
1.1 Полное наименование системы.. 5
1.2 Условное обозначение системы.. 5
1.3 Комплектность испытательной системы.. 5
2 Цель испытаний. 6
3 Общие положения. 6
3.1 Перечень руководящих документов. 6
3.2 Место и продолжительность испытаний. 6
3.3 Организации, участвующие в испытаниях. 6
3.4 Перечень документов, предъявляемых на испытания. 6
4 Объем испытаний. 7
4.1 Проверка соответствий. 7
4.1.1 Проверка соответствия состава функций, заявленного в ТЗ. 7
4.1.2 Проверка соответствия КТС и состава ПО.. 7
4.1.3 Проверка комплектности и качества документации Системы.. 7
4.1.4 Проверка состава и квалификации обслуживающего персонала. 7
4.1.5 Проверка степени соответствия функций Системы заявленным требованиям.. 8
4.1.6 Проверка контролепригодности Системы.. 8
4.1.7 Проверка соответствия структуры портала, заявленного в ТЗ. 8
4.1.8 Проверка выполнения требований техники безопасности,
противопожарной безопасности, эргономики. 9
4.2 Последовательность проведения предварительных испытаний. 9
4.3 Требования по испытаниям программных средств. 9
5 Материально-техническое обеспечение испытаний. 10
6 Условия и порядок проведения испытаний. 11
6.1 Условия проведения предварительных испытаний. 11
6.1.1 Место и условия проведения предварительных испытаний. 11
6.1.2 Меры, обеспечивающие безопасность проведения предварительных испытаний. 11
6.2 Порядок проведения испытаний. 12
6.2.3 Комиссия по проведению предварительных испытаний. 13
6.2.4 Завершение предварительных испытаний. 13
6.3 Порядок взаимодействия организаций, участвующих в испытаниях. 13
7 Отчетность. 14
Методика испытаний
роверка соответствия функций системы.. 15
А1 Контрольное задание №1 - Размещение новостей. 15
А2 Контрольное задание №2 - Размещение законов. 15
А3 Контрольное задание №3. - Поиск информации. 16
А4 Контрольное задание №4 – Добавление экспортеров. 16
А5 Контрольное задание №5 – Добавление торговых ограничений. 16
А6 Контрольное задание №6 – Добавление запросов на экспорт.. 17
А7 Контрольное задание №7 – Добавление информации по нетарифному регулированию.. 18
А8 Контрольное задание №8 – Добавление информации по экспортному тарифу. 18
А9 Контрольное задание №9 – Добавление информации о представительствах. 19
роверка контролепригодности системы.. 20
1 Проверка работоспособности Системы при пиковых нагрузках на портале. 20
2 Тестирование системы после сбоев. 21
Согласовано. 22
Лист регистрации изменений........................................................................................................ 23
12 Объект испытаний
1.12.1 Полное наименование системы
"Единый Портал внешнеэкономической информации Минэкономразвития России в сети Интернет, предназначеный для внешнего управления" (далее по тексту ‑ Портал).
1.22.2 Условное обозначение системы
«Единый Портал».
1.32.3 Комплектность испытательной системы
В комплектность Системы на испытание входят:
· Комплекс технических средств и программное обеспечение:
o Сервер базы данных;
o Сервер приложений;
o Программное обеспечение;
o Клиентские рабочие места (не менее 2-х)
· Комплект функциональных спецификаций;
· Спецификация на техническую инфраструктуру.
23 Цель испытаний
Целью проведения настоящих испытаний системы является определение ее работоспособности, соответствия объявленным в ТЗ функциональным требованиям и возможности ввода в опытную эксплуатацию.
34 Общие положения
3.14.1 Перечень руководящих документов
Основаниями для проведения испытаний являются документы:
- Техническое задание на разработку «Единого Портала»
- Концепция создания «Единого Портала»
- Комплект функциональных спецификаций;
- Спецификация на техническую инфраструктуру;
- Настоящая программа и методика испытаний.
3.24.2 Место и продолжительность испытаний
Место испытаний – территория Исполнителя.
3.34.3 Организации, участвующие в испытаниях
В испытаниях принимают участие:
- Министерство экономического развития Российской Федерации;
- - Медиа»
3.44.4 Перечень документов, предъявляемых на испытания
Для испытаний данной информационной системы представляется документация в следующем составе:
1. Техническое задание на разработку «Единого Портала»;
2. Концепция дизайна «Единого Портала»
3. Комплект функциональных спецификаций;
4. Спецификация на техническую инфраструктуру;
5. Настоящая программа и методика испытаний.
45 Объем испытаний
Испытания проводятся в полном объеме настоящей Программы и методики испытаний.
5.1 Проверка соответствий
5.1.1 Проверка соответствия состава функций, заявленного в ТЗ
Проверка соответствия состава функций Системы, заявленного в ТЗ осуществляется путем сравнения соответствия заявленных функциональных требований ТЗ и получаемой обратной связи подсистем в процессе испытаний, согласно разработанной методике (см. Приложение А ).
Итоги проверки должны быть документально зафиксированы.
5.1.2 Проверка соответствия КТС и состава ПО
Для проверки соответствия КТС и состава ПО необходимо проконтролировать наличие всех элементов КТС и ПО на площадке Исполнителя в соответствии с документами:
· Спецификация на техническую инфраструктуру.
Результаты проверки фиксируются документально при необходимости.
5.1.3 Проверка комплектности и качества документации Системы
Проверка комплектности документации проводится в соответствии с ТЗ, а её качества – в соответствии с требованиями ГОСТов 34 серии.
5.1.4 Проверка состава и квалификации обслуживающего персонала
Сотрудники Исполнителя, отвечающие за эксплуатацию системы и ее подсистем, к моменту начала испытаний должны иметь опыт работы с испытываемыми программными средствами Системы.
Для обеспечения необходимого уровня компетентности сотрудников службы поддержки Системы Исполнителем проводится базовое обучение и контроль знаний.
В состав обслуживающего персонала входят:
· Техническая группа;
· Специальная группа публикации материалов (СГПМ) Минэкономразвития, которая размещает материалы в сети Интернет.
Перед запуском системы в эксплуатацию Исполнитель на территории Исполнителя осуществляет контроль наличия сотрудников, согласно разработанной структуре службы поддержки Системы.
5.1.5 Проверка степени соответствия функций Системы заявленным требованиям
Перечень количественных и качественных проверок, проводимых при испытаниях содержатся в методиках испытаний (см. Приложение А)
Проверки осуществляются путем проведения функционального тестирования подсистем и контроля выполнения требований к каждой подсистеме методом визуального просмотра результатов отработки пользовательских запросов.
5.1.6 Проверка контролепригодности Системы
Под контролепригодностью Системы понимается адекватность обратной связи при управляющих воздействиях на Систему со стороны Администратора, согласно разработанной методике (Приложение В).
Для проверки контролепригодности Системы необходимо сделать:
· Выполнить проверку работоспособности Системы при пиковых нагрузках на портале;
· Проверить способность восстановления Системы после сбоя;
· Оценить общие эргономические свойства Системы.
В итоге необходимо сделать общий вывод о контролепригодности Системы.
5.1.7 Проверка соответствия структуры портала, заявленного в ТЗ
Проверка соответствия проводится методом визуального сравнения разделов портала со структурой, заявленной в ТЗ.
5.1.8 Проверка выполнения требований техники безопасности, противопожарной безопасности, эргономики
Перед началом опытной эксплуатации на площадке Исполнителя проводится проверка соответствия существующих условий требованиям, изложенным в разделе 6 «Условия и порядок проведения испытаний».
4.2 Последовательность проведения предварительных испытаний
Предварительные испытания проводятся в соответствии с нижеприведенной последовательностью.
1. Проверка выполнения требований техники безопасности, противопожарной безопасности, эргономики;
2. Проверка соответствия КТС и состава ПО;
3. Проверка комплектности и качества документации Системы;
4. Проверка состава и квалификации обслуживающего персонала;
5. Проверка соответствия структуры Портала;
6. Проверка состава и степени соответствия функций Системы;
7. Проверка контролепригодности Системы.
Однако, учитывая сложность функционального состава Системы, допускается независимое и параллельное выполнение этапов проверки комплектности и качества документации, оценки функциональных возможностей подсистем и соответствия структуры Портала.
5.3 Требования по испытаниям программных средств
К требованиям по испытаниям программных средств относятся:
· Испытания программных средств проводятся в процессе функционального тестирования Системы;
· Результаты предварительных испытаний должны быть документально зафиксированы.
Других требований по испытаниям программных средств не предъявляется.
56 Материально-техническое обеспечение испытаний
Для проведения испытаний данной системы силами Заказчика и Исполнителя подготавливается испытательный стенд.
В состав испытательного стенда входят:
1. Сервер базы данных - Sun Fire V480 с характеристиками не ниже:
2,8 Гц, ОЗУ 4 Гб, винчестер 250 GВ
2. Сервер приложений – Sun Fire V210 с характеристиками не ниже:
2,8 Гц, ОЗУ 4 Гб, винчестер 250 GВ
3. Клиентские рабочие места с характеристиками не ниже:
Intel Pentium IV, ОЗУ 512 Мб, винчестер 120 GВ
Испытания проводятся на базе следующих программных продуктов:
Операционная система | Debian server 5 | 5.0 Lenny |
Сервер приложений | Passanger MOD_FCGI | 8 |
Управление порталом | Ruby on Rails | 5.0 |
Управление публикациями | Firefox | 3.0 |
Web-сервер | Nginx | 0.73.1 |
Программное обеспечение установлено на сервере, имеющем следующую конфигурацию:
Оборудование | Конфигурация |
Процессор | 2xIntel Xeon 3066 MHz, cache 512kb FSB 533 |
Оперативная память | 2048M DDR 266 REG ECC RAM |
Пространство диска | 3xHDD 72Gb SCSI RAID-контр. Intel SRCU31A 1 channel U160 SCSI кэш 128M |
Оборудование | Конфигурация |
Процессор | UltraSPARC IV |
Оперативная память | 8Gb |
Пространство диска | 2xHDD 72Gb SCSI |
АРМ, участвующие в испытаниях, должны соответствовать следующим требованиям:
Центральный процессор | Не ниже Intel Celeron 600 МГц |
Оперативная память | Не менее 256 Мб |
На АРМ должна быть установлена операционная система Microsoft Windows XP, стандартный web-браузер (ISO/IEC 15445:2000), почтовый клиент, пакет офисных приложений.
Оборудование и помещения для проведения испытаний предоставляются Заказчиком.
67 Условия и порядок проведения испытаний
6.17.1 Условия проведения предварительных испытаний
7.1.1 Место и условия проведения предварительных испытаний
Предварительные испытания проводятся в помещениях Исполнителя с обеспечением климатических условий, определяемых требованиями используемого оборудования. В период проведения испытаний должны выполняться правила техники безопасности в соответствии с действующими у Исполнителя правилами и положениями.
Порядок проведения и объем проверок по испытаниям может быть изменен по согласованию с Заказчиком.
7.1.2 Меры, обеспечивающие безопасность проведения предварительных испытаний
Предварительные испытания проводятся в соответствии с требованиями, предъявляемыми поставщиками размещаемого там оборудования и СанПиН 2.2.2./2.4.1340-03 от 01.01.2001 г.
Размещение технических средств и организация автоматизированных рабочих мест должны быть выполнены в соответствии с требованиями ГОСТ 21958-76 «Система «Человек-машина». Зал и кабины операторов. Взаимное расположение рабочих мест. Общие эргономические требования».
- Для электропитания технических средств должна быть предусмотрена трехфазная четырехпроходная сеть с глухо заземленной нейтралью 380/220 В (+10-15)% частотой 50 Гц (+1-1) Гц. Каждое техническое средство запитывается однофазным напряжением 220 В частотой 50 Гц через сетевые розетки с заземляющим контактом..
6.1.3 Нормативные документы, обеспечивающие безопасность проведения предварительных испытаний
Мероприятия и правила по безопасности и безаварийности проведения испытаний обеспечиваются согласно требованиям следующих нормативных документов:
- Правила устройства электроустановок;
- Правила эксплуатации электроустановок потребителей;
- Правила техники безопасности при эксплуатации электроустановок потребителей.
6.1.4 Требования к персоналу, проводящему предварительные испытания
Персонал, проводящий испытания, должен быть ознакомлен с эксплуатационной документацией на систему, знать программу и методику проведения предварительных испытаний, знать соответствующую нормативно-техническую документацию.
6.27.2 Порядок проведения испытаний
6.2.1 Последовательность проведения испытаний
Испытания должны быть проведены в последовательности, указанной п. 4.2.
Таблица 1 - Порядок проведения проверки соответствия функций Системы
N/n | Выполняемая проверка | Руководство для проведения проверки |
1 | Размещение новостей | Контрольное задание №1 |
2 | Размещение законов | Контрольное задание №2 |
3 | Поиск информации | Контрольное задание №3 |
4 | Добавление экспортеров | Контрольное задание №4 |
5 | Добавление торговых ограничений | Контрольное задание №5 |
6 | Добавление запросов на экспорт | Контрольное задание №6 |
7 | Добавление информации по нетарифному регулированию | Контрольное задание №7 |
8 | Добавление информации по экспортному тарифу | Контрольное задание №8 |
9 | Добавление информации о представительствах | Контрольное задание №9 |
6.2.2Содержание тестовых заданий
Описание контрольных заданий приведено в Приложении А и В
7.2.3 Комиссия по проведению предварительных испытаний
Испытания прикладной системы «Портал внешнеэкономической информации Минэкономразвития России в сети Интернет, предназначенный для внешнего управления» проводится комиссией, состоящей из лиц, уполномоченных Заказчиком и Исполнителем.
7.2.4 Завершение предварительных испытаний
Завершением испытаний прикладной системы «Портал внешнеэкономической информации Минэкономразвития России в сети Интернет, предназначенный для внешнего управления» является демонстрация выполнения всей совокупности контрольных заданий.
6.37.3 Порядок взаимодействия организаций, участвующих в испытаниях
Возникшие в ходе проведения испытаний замечания комиссии устраняются в установленном порядке.
78 Отчетность
В процессе проведения испытаний и по их завершении комиссией оформляются следующие документы:
· протокол испытаний
· акт проведения испытаний
Методика испытаний роверка соответствия функций системы
А1 Контрольное задание №1 - Размещение новостей
Цель: Демонстрация ЗАКАЗЧИКУ возможностей работы новостного блока.
№ | Действие | Ожидаемый результат |
1 | Зайти на портал и воспользоваться ссылкой «личный вход» | Переход на страницу ввода регистрационных данных |
2 | Ввести регистрационные данные | Переход на страницу управления витринами |
3 | В разделе управления витринами выбрать пункт меню «материалы», выбрать подпункт «Новости», нажать ссылку «добавить новость» | Переход на страницу добавления новости |
4 | Заполнить все поля формы и нажать кнопку «сохранить» | Размещение новости |
А2 Контрольное задание №2 - Размещение законов
Цель: Демонстрация ЗАКАЗЧИКУ возможности работы блока «Размещение законов»
№ | Действие | Ожидаемый результат |
1 | Зайти на портал и воспользоваться ссылкой «личный вход» | Переход на страницу ввода регистрационных данных |
2 | Ввести регистрационные данные | Переход на страницу управления витринами |
3 | В разделе управления витринами выбрать пункт меню «материалы», выбрать подпункт «Законы», нажать ссылку «добавить новость» | Переход на страницу добавления законов |
4 | Заполнить все поля формы и нажать кнопку «сохранить» | Размещение закона |
А3 Контрольное задание №3. - Поиск информации.
Цель: Демонстрация Заказчику возможностей работы блока «поиск информации».
Для выполнения работ, Войти на страницу Экономического портала, где расположено окно «вход в общественную приемную»
№ | Действие | Ожидаемый результат |
1 | Войти на главную страницу портала и в окне поиска ввести искомую фразу | Ввод искомой информации |
2 | Нажать кнопку ENTER | Вывод результатов поиска |
А4 Контрольное задание №4 – Добавление экспортеров
Цель: Демонстрация ЗАКАЗЧИКУ возможностей работы административного интерфейса в части добавления экспортеров.
№ | Действие | Ожидаемый результат |
1 | Зайти на портал и воспользоваться ссылкой «личный вход» | Переход на страницу ввода регистрационных данных |
2 | Ввести регистрационные данные | Переход на страницу управления витринами |
3 | В разделе управления витринами выбрать пункт меню «Динамические сущности», выбрать подпункт «Экспортеры», нажать ссылку «добавить» | Переход на страницу изменения и добавления информации |
4 | Заполнить все поля формы добавления нового экспортера и нажать кнопку «сохранить» | Регистрация нового экспортера |
А5 Контрольное задание №5 – Добавление торговых ограничений
Цель: Демонстрация ЗАКАЗЧИКУ возможностей работы административного интерфейса в части добавления торговых ограничений.
№ | Действие | Ожидаемый результат |
1 | Зайти на портал и воспользоваться ссылкой «личный вход» | Переход на страницу ввода регистрационных данных |
2 | Ввести регистрационные данные | Переход на страницу управления витринами |
3 | В разделе управления витринами выбрать пункт меню «Динамические сущности», выбрать подпункт «торговые ограничения», нажать ссылку «добавить» | Переход на страницу изменения и добавления информации |
4 | Заполнить все поля формы добавления нового ограничения и нажать кнопку «сохранить» | Добавление нового торгового ограничения |
А6 Контрольное задание №6 – Добавление запросов на экспорт
Цель: Демонстрация ЗАКАЗЧИКУ возможностей работы административного интерфейса в части добавления запросов на экспорт.
№ | Действие | Ожидаемый результат |
1 | Зайти на портал и воспользоваться ссылкой «личный вход» | Переход на страницу ввода регистрационных данных |
2 | Ввести регистрационные данные | Переход на страницу управления витринами |
3 | В разделе управления витринами выбрать пункт меню «Динамические сущности», выбрать подпункт «запросоы на экспорт», нажать ссылку «добавить» | Переход на страницу изменения и добавления информации |
4 | Заполнить все поля формы добавления нового запроса на экспорт и нажать кнопку «сохранить» | Добавление нового запроса на экспорт |
А7 Контрольное задание №7 – Добавление информации по нетарифному регулированию
Цель: Демонстрация ЗАКАЗЧИКУ возможностей работы административного интерфейса в части добавления информации по нетарифному регулированию.
№ | Действие | Ожидаемый результат |
1 | Зайти на портал и воспользоваться ссылкой «личный вход» | Переход на страницу ввода регистрационных данных |
2 | Ввести регистрационные данные | Переход на страницу управления витринами |
3 | В разделе управления витринами выбрать пункт меню «Динамические сущности», выбрать подпункт «нетарифное регулирование», нажать ссылку «добавить» | Переход на страницу изменения и добавления информации |
4 | Заполнить все поля формы добавления новой информации по нетарифному регулированию и нажать кнопку «сохранить» | Добавление новой информации по нетарифному регулированию |
А8 Контрольное задание №8 – Добавление информации по экспортному тарифу
Цель: Демонстрация ЗАКАЗЧИКУ возможностей работы административного интерфейса в части добавления информации по экспортному тарифу
№ | Действие | Ожидаемый результат |
1 | Зайти на портал и воспользоваться ссылкой «личный вход» | Переход на страницу ввода регистрационных данных |
2 | Ввести регистрационные данные | Переход на страницу управления витринами |
3 | В разделе управления витринами выбрать пункт меню «Динамические сущности», выбрать подпункт «экспортный тариф», нажать ссылку «добавить» | Переход на страницу изменения и добавления информации |
4 | Заполнить все поля формы добавления новой информации по экспортному тарифу и нажать кнопку «сохранить» | Добавление новой информации по экспортному тарифу |
А9 Контрольное задание №9 – Добавление информации о представительствах
Цель: Демонстрация ЗАКАЗЧИКУ возможностей работы административного интерфейса в части добавления запросов на экспорт.
№ | Действие | Ожидаемый результат |
1 | Зайти на портал и воспользоваться ссылкой «личный вход» | Переход на страницу ввода регистрационных данных |
2 | Ввести регистрационные данные | Переход на страницу управления витринами |
3 | В разделе управления витринами выбрать пункт меню «Динамические сущности», выбрать подпункт «представительства», нажать ссылку «добавить» | Переход на страницу изменения и добавления информации |
4 | Заполнить все поля формы добавления новой информации о представительствах и нажать кнопку «сохранить» | Добавление новой о представительствах |
роверка контролепригодности системы
1 Проверка работоспособности Системы при пиковых нагрузках на портале
Для того, чтобы проверить работоспособность и устойчивость системы в моменты пиковой нагрузки, необходимо провести нагрузочное тестирование.
Выполнить данное действие можно с помощью свободно распространяемой утилиты apache benchmark, идущей в поставке с серверной операционной системой.
- Необходимо ввести в терминале следующую команду:
ab - n 1000 - c 10 http://rus-export. /
- Будет запущен проверочный процесс тестирования 1000 запросов при 10 в один момент времени.
- Результаты должны выглядеть следующим образом:
Concurrency Level: 10
Time taken for tests: 23.741 seconds
Complete requests: 1000
Failed requests: 0
Write errors: 0
Non-2xx responses: 1000
Total transferred: 422043 bytes
HTML transferred: 97000 bytes
Requests per second: 42.12 [#/sec] (mean)
Time per request: 237.414 [ms] (mean)
Time per request: 23.741 [ms] (mean, across all concurrent requests)
Transfer rate: 17.36 [Kbytes/sec] received
Connection Times (ms)
min mean[+/-sd] median max
Connect: 51 97 188.5 54 1984
Processing: 56 136 484.7 64 4998
Waiting: 56 129 482.8 64 4998
Total: 108 233 517.8 120 5051
- Далее необходимо провести тест для 10000 запросов в сумме и 1000 в один момент времени.
- Запустить следующую команду:
ab - n 10000 - c 1000 http://rus-export. /
- В результате выполнения данного теста можно увидеть, выполнились ли сто процентов запросов и как быстро отвечает сервер на высококонкурентные запросы.
2 Тестирование системы после сбоев
В случае возникновения какого-либо сбоя в системе, рекомендуется запустить сервер приложения заново. Для этого необходимо выполнить следующие действия в терминале сервера:
- Выполнить команду:
killall -9 ruby
Она остановит действующие процессы сервера.
- Перейти в папку с порталом:
cd /var/www/projects/rus-export/
Выполнить команду запуска сервера приложения:
script/server
- В случае успешного запуска, в терминале появятся следующая информация:
bash-3.2# script/server
=> Booting Mongrel
=> Rails 2.3.4 application starting on http://0.0.0.0:3000
=> Call with - d to detach
=> Ctrl-C to shutdown server
- Для того, чтобы убедиться, что система восстановлена правильно, необходимо проверить файл
errors. log и access. log в подпапке проекта "logs".
Согласовано
Наименование организации, предприятия | Должность исполнителя | Фамилия, имя, отчество | Подпись | Дата |
Лист регистрации изменений | |||||||||
Изм. | Номера листов (страниц) | Всего листов (стра-ниц) в докум. | № документа | Входящий № сопро-водительного докум. и | Подп. | Дата | |||
изме-ненных | заме-ненных | новых | анну-лиро-ванных | ||||||
Лист регистрации изменений
