4.1.2.1 Свидетельство о соответствии реализации протокола (PICS)

Для оценки соответствия конкретной реализации, необходимо иметь отчет о возможностях и вариантах, которые были реализованы, и других функциях, и свойствах, которые были упущены, так чтобы реализация могла быть испытана на соответствие к необходимым требованиям, и только к этим требованиям. Такое свидетельство называется свидетельством о соответствии реализации протокола (PICS).

В PICS должно быть различие между следующими категориями информации, которая оно может содержать:

а) информацию, относящуюся к обязательным, дополнительным и условным требованиям к статическому соответствию самого протокола;

б) информацию, связанную с обязательными, дополнительными и условными требованиями к статическому соответствию для многоуровневых зависимостей.

Если набор взаимосвязанных протоколов TCN (ПСС) был реализован в систему, то PICS требуется для каждого протокола. Заявка о системном соответствии также будет необходима при обобщении всех протоколов в систему, для каждого из протоколов которой обеспечивается особое PICS.

4.1.2.2 Дополнительная информация о реализации протокола для тестирования (PIXIT)

Для того чтобы проверить реализацию протокола, испытательная лаборатория запросит информацию, относящуюся к IUT (реализация в процессе тестирования) и к ее среде тестирования, в дополнение к тому, что обеспечивается посредством PICS. Эта «Дополнительная информация о реализации протокола для тестирования " (PIXIT) должна быть обеспечена ​​клиентом, который предоставляет реализацию для тестирования, в результате консультаций с испытательной лабораторией.

НЕ нашли? Не то? Что вы ищете?

PIXIT может содержать следующую информацию:

а) информацию, запрашиваемую испытательной лабораторией для того, чтобы иметь возможность запускать соответствующий набор испытаний над конкретной системой (например, информацию, относящуюся к методу тестирования, который должен быть использован для проведения тестовых случаев (примеров или вариантов), данные идентификации пользователя);

б) информацию, уже упомянутую в PICS и которая требует точности при выполнении (например, диапазон значений таймера, который указан как параметр в PICS, должен быть предписан в PIXIT);

в) информацию, которая поможет определить, какие возможности, заявленные в PICS, в качестве поддерживаемых, могут быть контролепригодными, а какие не могут быть таковыми;

г) другие административные вопросы (например, идентификатор IUT (тестируемая реализация), ссылка к соответствующему PICS).

PIXIT не должен вступать в противоречие с соответствующим PICS.

Абстрактный спецификатор набора тестов, тест – реализатор (средство реализации) и испытательная лаборатория будут способствовать разработке PIXIT проформы.

4.2 Допуски

4.2.1 Общее

Тестирование соответствия, как описано в настоящем стандарте, сосредоточено на тестировании соответствия положениям TCN (ПСС) так, как они указаны в МЭК 61375-2-1.

В принципе, задача тестирования соответствия состоит в том, чтобы установить, соответствует ли тестируемая (проверяемая) реализация спецификации в соответствующем разделе. Практические ограничения делают это невозможным, чтобы тестирование было исчерпывающим и полным, а экономические соображения могут ограничить тестирование еще и дальше.

Таким образом, настоящий стандарт различает четыре вида испытаний, в зависимости от степени, в которой они демонстрируют соответствие:

а) основные тесты взаимодействия, которые обеспечивают презумпцию доказательства того, что IUT (тестируемая реализация) соответствует;

б) испытания функциональных возможностей, которые проверяют то, что наблюдаемые возможности IUT находятся в соответствии с требованиями к статическому соответствию и с возможностями, указанными в PICS;

в) тесты на проверку поведения (поведенческие тесты), которые стремятся обеспечить тестирование, являющееся настолько всеобъемлющим, насколько это возможно в полном диапазоне требований к динамическому соответствию в рамках возможностей IUT;

г) тесты на проверку разрешающих способностей соответствия, которые исследуют IUT (тестируемую реализацию) по глубине соответствия к особым требованиям, для обеспечения определенного ответа «да/нет» и диагностической информации относительно конкретных вопросов о соответствии; такие тесты не охватываются настоящим стандартом.

Испытания (тесты) в пунктах, а), б), в) и г) подробно описаны в следующих подразделах.

Отношения к совместимости (взаимосвязи) и производительности в дальнейшем будут рассмотрены и определены для уточнения их границ.

4.2.2 Базовые испытания по установлению способности к взаимосвязи (к взаимодействию)

Базовые испытания на выявление способности к взаимосвязи обеспечивают ограниченное тестирование IUT (тестируемой реализации) для того, чтобы установить, что имеется достаточное соответствие для взаимосвязи, которая может состояться, при этом не допуская попыток к выполнению тщательного тестирования.

4.2.2.1 Применимость базовых тестов на выявление способности к взаимосвязи

Базовыми тестами на выявление способности к взаимодействию являются следующие:

а) для обнаружения серьезных случаев несоответствия;

б) в качестве предварительного фильтра, прежде чем приступать к более дорогостоящим тестам (испытаниям);

в) дать с первого взгляда достаточные доказательства того, что реализация, которая прошла тесты на полное соответствие в одной среде, по-прежнему соответствует в новой среде реализации, (например, перед тестированием(N)-реализации), чтобы проверить, что тестируемая (N - 1) реализация не претерпела существенных изменений, из-за того, что оказалась в связи с (N) - реализацией);

г) для использования пользователями реализаций, чтобы определить, появятся ли реализации, которые можно было бы использовать для связи с другими соответствующими реализациями, например, в виде предварительного обмена данными.

Базовые тесты на выявление способности к взаимодействию не подходят:

д) в качестве основы для притязаний на соответствие со стороны поставщика (провайдера) реализации;

е) в качестве средства арбитража, чтобы определить причины сбоя связи.

Базовые тесты на выявление способности к взаимосвязи стандартизированы в подмножество тестового пакета соответствия (в том числе возможностей и испытаний поведения). Они могут быть использованы сами по себе или вместе с набором тестов на тестирование соответствия. Существование и выполнение базовых тестов взаимодействия являются дополнительными (необязательными).

4.2.3 Испытания (тесты) на проверку возможностей

Испытания на проверку возможностей обеспечивает ограниченное тестирование каждого из требований к статическому соответствию в Части, чтобы установить, какие возможности IUT можно наблюдать и проверить, и что эти наблюдаемые возможности действительны по отношению к требованиям к статическому соответствию и PICS.

4.2.3.1 Применимость тестов на проверку возможностей

Тесты на проверку возможностей подходят:

а) чтобы проверить, насколько это возможно, согласованность PICS с IUT;

б) в качестве предварительного фильтра, прежде чем приступить к более углубленному и дорогостоящему тестированию;

в) чтобы проверить, что возможности IUT согласуются с требованиями к статическому соответствию;

г) чтобы обеспечить эффективный выбор поведенческих тестов, которые будут сделаны для конкретной IUT (тестируемой реализации);

д) если взять вместе с поведенческими тестами, в качестве основы для притязаний на соответствие.

Тесты на проверку возможностей не подходят

е) самостоятельно, в качестве основы для притязаний на соответствие со стороны поставщика (провайдера) реализации;

ж) для тестирования в деталях поведения, ассоциируемого с каждой возможностью, которая была реализована или не реализована;

з) для разрешения проблем, возникших во время живого использования или там, где другие тесты показывают возможное несоответствие, хотя тесты на проверку возможностей показали соответствие (т. е. имели положительный результат).

Тесты на проверку возможностей стандартизированы в рамках набора тестов на соответствие. Они могут быть либо разделены на их собственные опытные группы, либо объединены с тестами проверки поведения (поведенческими тестами).

4.2.4 Тесты на проверку поведения (поведенческие тесты)

Тесты на проверку поведения тестируют реализацию настолько тщательно, насколько это практично, в полном диапазоне требований к динамическому соответствию, указанному в Части. Так как число возможных комбинаций событий и распределения событий по времени бесконечно, такое тестирование не может быть исчерпывающим. Существует еще ограничение, а именно, что эти тесты спроектированы для запуска в совокупности в одной тестовой среде так, что любые ошибки (сбои), которые трудно или невозможно обнаружить в этой среде могут быть пропущены. Таким образом, возможно, что несоответствующая реализация проходит тест-набор на соответствие; поэтому одной из целей проектирования набора тестов состоит в том, чтобы свести к минимуму количество подобных случаев.

Тесты на проверку поведения вместе с тестами проверку возможностей являются основой (базой) для процесса оценки соответствия.

Тесты на проверку поведения не соответствуют:

а) для решения проблем, возникших во время живого использования или там, где другие тесты показывают возможное несоответствие, хотя тесты на проверку поведения (поведенческие тесты) показали соответствие (т. е. были удовлетворительными).

Тесты на проверку поведения стандартизированы в пределах тест - набора на соответствие.

ПРИМЕЧАНИЕ  Тесты на проверку поведения включают тесты для действительного поведения со стороны IUT в ответ на действительное, неподходящее и синтаксически недействительное поведение протокола со стороны реального тестера. Это включает в себя тестирование отторжения со стороны IUT попыток использовать особенности (возможности), которые указаны в PICS, в качестве нереализуемых. Таким образом, тесты на проверку возможностей не должны включать тесты на проверку возможностей, не включенных в PICS.

4.2.5 Тесты на разрешение соответствия нормам

Тесты на разрешение соответствия нормам обеспечивают диагностические ответы, как можно ближе, насколько это возможно, к  разрешению о том, удовлетворяет ли реализация конкретные требования. Из-за проблем избыточности, определенные ответы получают за счет ограничения тестов в пределах узкой области.

Из за большого объема этот материал размещен на нескольких страницах:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25