А.3.2.1 Роль испытательной лаборатории

A.3.2.1.1 Выбор тестовых вариантов

Испытательная лаборатория должна выбрать следующие тестовые варианты, при условии, что они обладают свойством, подвергаться тестированию согласно PICS, PIXIT и любым другим соответствующим документам, представленным поставщиком IUT:

• все возможности тестовых случаев для обязательных возможностей;

• все возможности тестовых случаев (примеров, вариантов) для дополнительных возможностей или условных возможностей, которые присутствуют в IUT в соответствии с PICS;

• все поведения тестовых случаев для обязательных возможностей;

•все поведения тестовых случаев, которые согласуются с дополнительными или условными возможностями, и которые

присутствуют в IUT в соответствии с PICS.

A.3.2.1.2 Параметризация тестовых вариантов (случаев)

После отбора всех тестов, информация, представленная в PIXIT и в любом другом соответствующем документе, должна быть использована для определения соответствующих значений для каждого параметра в данных тестовых случаях, в соответствии с документацией на средства тестирования и в соответствии с требованиями его контрольных (эталонных) стандартизированных наборов тестов. Полученные параметризованные исполняемые наборы тестов готовы тогда быть выполнены по IUT.

Примеры типов параметризации следующие:

• значения сетевых адресов;

• значения счетчиков;

• значения таймеров;

Этот список не является исчерпывающим.

А.3.2.2 Роль поставщика (провайдера) IUT

НЕ нашли? Не то? Что вы ищете?

A.3.2.2.1 Выбор тестовых примеров

Для выбора теста, далее при обеспечении PICS, PIXIT и любых других соответствующих документов, поставщик обязан предоставить испытательной лаборатории информацию о том, должно ли быть выполнено базовое тестирование взаимодействия в ходе испытательной кампании или оно не должно выполняться.

A.3.2.2.2 Параметризация тестовых  примеров

Нет никаких требований со стороны клиента во время тестовой параметризации.

А.3.3 Тестовая кампания

Тестовая кампания — это процесс выполнения выбранных и параметризованных тестовых наборов для конкретной IUT и производство информации, необходимой для журнала соответствия.

A.3.3.1 Роль испытательной лаборатории

Во время тестовой кампании, испытательная лаборатория должна выполнить все тесты, имеющие отношение к выбранным наборам тестов, и установить для каждого тестового примера, какой из нижеследующих результатов распространяется на него:

а) вердикт пройдено (удачный вердикт);

б) не получить вердикт т. е. не пройдено (неудачный вердикт);

в) неокончательное решение (не доказано, неубедительно);

г) ошибка тестирования;

е) ошибки исполнения тестовых случаев;

е) аварийное завершение тестовых случаев.

Для каждого тестового случая, который получил вердикт «не пройдено», испытательная лаборатория должна оценить, был ли данный вердикт, связан с неидентифицируемым тестовым событием в тестовом примере. Если это не так, то испытательная лаборатория должна записать неудачный вердикт для данного теста в отчете протокола. Если это так, то испытательная лаборатория должна определить, была ли ошибка тестового случая, то есть, было ли событие, которое соответствовало неидентифицируемому тестовому событию, действительным в соответствии с протоколом, и это определилось в тестовом примере. Если это так, то испытательная лаборатория должна указать в отчете протокола, что тестовый пример был "не запускаемым" вместе с указанием причины.

Для каждого теста, который произвел неокончательный вердикт в связи с неубедительностью и недоказательностью, испытательная лаборатория должна повторно запустить тестовый случай, хотя бы один раз. Если производится удачный или неудачный вердикт в течение последующего исполнения, то вынесенный вердикт должен быть указан в протокольном отчете. Если производится неокончательный вердикт в связи с неубедительностью и недоказательностью во время последующего исполнения (й) тестового примера, и поведение в этом тестовом примере такое же, как и в предыдущем исполнении, неокончательный (неубедительный) вердикт о должен быть указан в протокольном отчете.

Для каждого теста, который имеет ошибку тестового примера, испытательная лаборатория должна указать в отчете протокола, что тест "не запускается" вместе с указанием причины.

Для каждого теста, который произвел либо ошибку при исполнении тестового примера, либо аварийное завершение тестовых случаев, испытательная лаборатория должна повторно запустить тестовый случай. Если же получается тот же самый результат, испытательная лаборатория должна указать в отчете протокола, что тест "не запускается" вместе с указанием причины.

A.3.3.2 Роль поставщика (провайдера) IUT

Клиент должен убедиться в том, что IUT и, при необходимости, оператор IUT, имеют доступ к себе в течение согласованного периода тестовой кампании. Клиент должен сотрудничать с испытательной лабораторией, чтобы сделать какие-либо изменения по IUT или по его среде, которые необходимы для того, чтобы разрешить выполнение всех тестов и он должен делать обзор документации о таких изменениях.

Нет никаких требований относительно клиента по анализу назначенных вердиктов. Тем не менее, в ходе тестовой кампании, клиент может запросить повторное проведение любого теста, по которому был получен вердикт о сбое, если не удовлетворен тем, что тестовый пример правильно распознал ошибку в IUT.

А.4 Производство тестовых отчетов

Эта кульминационная фаза осуществляется через выполнение следующих шагов:

а) отчет по испытаниям на соответствия IUT;

б) отчет по испытаниям на протокольное соответствие.

Отчет, указанный в строке 1, должен быть произведен испытательной лабораторией, тогда  как тестовый отчет, указанный в строке 2, должен быть произведен в том случае, если он запрошен поставщиком  IUT.

А.4.1 Отчет по испытаниям на соответствие IUT

Отчет по испытаниям на соответствие IUT предоставляет сводку результатов тестирования, выполняемого на выявление соответствия IUT поставщика.

А.4.1.1 Роль испытательной лаборатории

Испытательная лаборатория должна подготовить отчет, используя проформу, который включает:

• список справочных стандартизированных наборов тестов, по отношению к которым было проведено тестирование, вместе с датами публикации стандартов;

• если это применимо, сведения о каких-либо изменениях или дополнениях, к которым к IUT предъявляется требование соответствовать;

• краткое описание характера тестирования TCN и, в частности то, что нет гарантии того, что IUT, которая прошла все испытания, будет взаимодействовать с другими реальными TCN  системами;

• четкие и недвусмысленные заявления том, было ли продемонстрировано несоответствие в любом из тестовых случаев, или были ли обнаружены какие-либо проблемы, вызывающие беспокойство;

• запись соглашения между испытательной лабораторией и клиентом на определение того, какая часть или какие части системы, предоставленная (предоставленные) для тестирования TCN, считается (считаются) IUT тестируемой реализацией  во время тестирования.

Отчет должен быть предоставлен клиенту испытательной лабораторией в конце процесса оценки соответствия.

А.4.1.2 Роль поставщика (провайдера) IUT

Нет никаких требований относительно роли клиента во время подготовки отчета.

Клиент должен рассмотреть отчет и, в случае несогласия с испытательной лабораторией относительно его содержания, он должен оставить комментарии, которые должны быть занесены в файл, как приложение в самом отчете.

А.4.2 Отчет по испытаниям на протокольное соответствие

По просьбе клиента, испытательная лаборатория должна обеспечить сопроводительную документацию для каждого тестового набора и тестового случая, для выявления соответствия которых проводится тестирование в ходе этого процесса оценки соответствия.

А.4.2.1 Роль испытательной лаборатории

Испытательная лаборатория должна подготовить отчет с использованием проформы, который включает:

• список тестовых наборов и тестовых случаев, которые были отобраны;

• список тестовых наборов, для которых были выбраны соответствующие исполняемые тестовые примеры (случаи), которые были запущены для исполнения в течение тестовой кампании;

• вердикты, назначенные этим тестовым случаям, которые были запущены к исполнению;

• наблюдения (если таковые имеются), сделанные испытательной лабораторией, в течение испытательного кампании;

• перечень тестов, которые были выбраны, но, как сообщалось, "не работают". Они включают в себя тех, которые показали ошибку тестового случая или аварийное завершение тестового случая;

• соответствие нормам протоколов (записей) на бумаге или на магнитном носителе, доступным для чтения поставщиком IUT.

А.4.2.2 Роль поставщика (провайдера) IUT

Клиент должен сообщить испытательной лаборатории, следует или не следует предоставлять отчет на протокольное соответствие тестов и соответствующие регистрации (записи).

Клиент должен рассмотреть отчет и, в случае несогласия с испытательной лабораторией по поводу его содержания, должен оставить комментарии, которые должны быть внесены в файл в виде приложения, в самом отчете.

Приложение B

(справочное)

Контрольно-измерительные приборы и предназначенный испытательный стенд

В.1Контрольно-измерительные приборы

В.1.1 Стандартные инструменты

B.1.1.1 Стандартные инструменты тестовых наборов

Стандартные инструменты для тестовых наборов выбираются лабораторией в соответствии с данными, указанными в соответствующем разделе настоящего стандарта. Все стандартные инструменты, используемые, тип, марка, и основные характеристики должны быть перечислены и они должны найти свое отражение в отчете относительно конкретной IUT. Все допуски, уточнения, точности, воспроизводимость, устойчивость стандартных инструментов должны быть лучше, чем или равны инструментам, указанным в соответствующем пункте по тестированию.

В.1.2 Архитектура испытательного стенда

Испытательный стенд реализуется конфигурацией соответствующего железнодорожного испытания, которое должно поддерживать следующие манипуляции в самой конфигурации тестирования поезда:

Из за большого объема этот материал размещен на нескольких страницах:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25