Верификация программного обеспечения (стр. 22 )

               begBlock=\027

sndBlock[0]=’H’

               sndBlock[1]=’i’

               errBlock=0

       Scenario:

               Pass1(begBlock)

               Pass2(sndBlock[0])

               Pass2(sndBlock[1])

               Pass2(errBlock)

               Pass5(message)

В этом примере в секции Data определяются данные для сообщений, передаваемых автоматом, а в секции Scenario – последовательность переходов по состояниям с передаваемыми данными.

При тестировании конечных автоматов при помощи обычных тестирующих классов можно использовать аналогичный подход.

Генераторы тестов

В некоторых случаях для упрощения процедуры тестирования используются специальные инструментальные средства, автоматически генерирующие тестовые примеры. Эти системы различаются по используемым методам генерации тестовых примеров, а получаемые тестовые примеры различаются по областям применимости.

Различают следующие способы генерации тестовых примеров:

по формализованным требованиям; случайным образом; по программному коду.

Первый способ генерации тестовых примеров приемлем для тестирования системы как «черного ящика», но требует чтобы тест-требования (или системные/функциональные требования) были подготовлены на специальном формальном языке оформления требований, например RDL (Requirements Definition Language). Затем по требованиям строятся тестовые примеры, которые проверяют функциональность системы с точки зрения требований, т. е. в этом случае достигается основная цель верификации – проверить, ведет ли себя система в соответствии с требованиями.

К сожалению, этот путь достаточно трудоемок и экономия времени от автоматической генерации тестов зачастую сводится на нет необходимостью в выделении дополнительного времени на перевод всех требований в формальную форму. В связи с этим рекомендуется применять данный метод только для тестирования систем, требования на которые могут быть сравнительно легко формализованы с использованием того или иного языка, например, системы поддержки коммуникационных протоколов.

Второй метод генерации тестовых примеров – на основе случайных данных. В этом случае не может идти и речи о систематизированном тестировании и гарантиях качества системы. Такой подход может применяться только в случае необходимости проверить поведение системы в случае передачи в нее большого количества неверных данных или определить количественные параметры поведения системы под большой нагрузкой.

Третий метод тестирования основан на анализе исходных текстов системы и построения тестов, которые выполняют каждое логическое условие и каждый оператор системы. В результате достигается очень высокий уровень покрытия программного кода. Однако, в этом случае тесты проверяют не то, что система должна делать в соответствии с требованиями, а то, как она делает то, что уже запрограммировано. Перед тестировщиком в этом случае стоит задача анализа программного кода системы на соответствие требованиям, что зачастую представляет собой задачу не менее сложную, чем ручное написание тестов для проверки требований. Обычно рекомендуется вначале написать все тесты по требованиям, а затем, в случае необходимости, воспользоваться генератором тестов по программному коду. При этом целью использования генератора будет не достижение максимально возможного покрытия любой ценой, а анализ причин непокрытия при выполнении тестов требований, и, в случае необходимости, коррекции требований.

Отчеты о прохождении тестов Технологические цепочки и роли участников проекта, использующих отчеты о прохождении тестов. Связь отчетов о прохождении тестов с другими типами проектной документации.

Отчеты о прохождении тестов – основной (а иногда единственный) источник для заключения о соответствии протестированной системы требованиям. После выполнения всех тестов, описанных в тест-планах, среда тестирования создает отчет о том, насколько успешно система выполнила эти тесты. Такой отчет как минимум содержит информацию о каждом выполненном тестовом примере (его идентификатор) и результат выполнения его выполнения – успех или неудачу.

По результатам анализа отчетов о прохождении тестов могут быть выявлены либо дефекты в самой системе, либо некорректно составленные или противоречивые требования. В обоих случаях результаты анализа служат основой для создания запросов на изменение требований и/или кода системы. После корректного исправления дефектов при регрессионном тестировании неуспешно выполненные тестовые примеры должны выполниться успешно (Рис. 19).

Рис. 19 Генерация отчета о прохождении тестов и изменения по результатам его анализа

Отчеты о прохождении тестов могут служить основой для отслеживания состояния проекта – если с течением времени количество обнаруживаемых дефектов (неуспешно выполненных тестовых примеров) падает при условии сохранения качества тестирования – это свидетельствует о повышении качества разрабатываемой системы. С другой стороны, при внесении значительных изменений в систему, количество дефектов неизбежно возрастает. Таким образом, идеальный график зависимости количества дефектов от времени похож на синусоиду с уменьшающейся амплитудой на каждом полупериоде.

Возможные формы представления отчетов о прохождении тестов

В разделе 2.6 уже приводилось несколько примеров отчетов о выполнении тестовых примеров, однако в этом разделе основной уклон делался в сторону общей статистики выполнения тестов.

В стандарте IEEE 829 отчет о прохождении тестов разделен на три различных документа и описан в разделах 9 (Test log), 10 (Test incident report) и 11 (Test summary report). В эти разделы включены соответственно общий отчет о прохождении тестов, отчет о проблемах, выявленных в результате выполнения тестов и общую статистику прохождения тестов. В данном курсе отчет о прохождении тестов считается единым документом, разделенным на три части:

общая (заголовочная информация); результаты выполнения тестовых примеров (положительные и отрицательные); итоговая информация о выполнении тестовых примеров (общая статистика по выполненным тестам).

Заголовочная часть отчета о прохождении тестов служит для идентификации отчета и протоколирования того, какая часть разрабатываемой системы подвергалась тестированию, какая ее версия, какая конфигурация тестового стенда использовалась для выполнения тестов.

В заголовочную часть отчета о выполнении тестов обычно включается следующая информация:

Название проекта или тестируемой системы Общий идентификатор группы тестовых примеров, включенных в отчет Идентификатор тестируемого модуля или группы модулей и номера их версий Ссылку на разделы и версии тест-требований или функциональных требований, по которым написаны тесты, для которых сгенерирован отчет Время начала выполнения теста и его продолжительность Конфигурацию тестового стенда, на которой выполнялся тест Имена и фамилии автора тестов и/или лица, выполнявшего тесты.

Ниже показаны два примера таких заголовочных частей отчета, создаваемых различными инструментальными средствами. Красными цифрами в скобках обозначены соответствующие пункты приведенного выше списка.

***************************************************

** Document Test Environment

**  User's Computer:  COMPUTER_185 (6)

**  Testing Host Application: FacilityTest (6)

**  Testing Host Version:  5.12 (6)

** 

*************  Server Related Data  *************

**  Server Computer:  SERVER_105 (6)

**  Server Version:  6.24.0 (Build 16) (6)

**  Configuration:  Control remote bench (6)

**  Mode:  Realtime (6)

**  Test executed on: 7/29/06; at 10:09:40 AM (5)

**  Tester Name is [ Sidorov A. ] (7)

**  Software Version is: CNTRL 115 01 5 (1)

**  Test Station being used is: COMPUTER_185 (6)

***************************************************

====================================================================  REMOTE CONTROL FUNCTION SOFTWARE TEST REPORT

====================================================================Project Name  : Facility Remote Control (1)

Function Name  : Infrared Transmitter Signal Handler (3)

Test Name  : IRDA_C05A_1091K (2)

Document Name  : SSRD for the Remote Control Function (4)

Paragraph Name  : Button Signals (4)

Primary Paragraph Tag : [PTAG::SSRD IR BTN SIGNALS] (4)

Template Class  : Test

Shall Tag(s)  : SSRD IR BTN SIGNALS 10 (4)

Shall(s) template  : Test

-------------------------------------------------------------------  MODIFICATION HISTORY: 

------------------------------------------------------------------

Ver  Date  Author  Change Description  CR No.

---  ---------  ----------  ------------------------  --------

01  19 Jul 06  Ivanov K. (7)Initial Development.  CR_10 

====================================================================

;  SIMULATION RESULTS FILE

;  Matrix Compiler CORE VERSION 3.00

;  TEST PLAN

;  ELEMENT: IRDA_IA. TMC        (2)

;  TITLE: Test Plan for Inrfrared source files test (1)

;  TEST DATE/TIME Wed 02.11.2005 23:12:53        (5)

;  SYS section: 2.3.5.6 Version: 24                (4)

;  SRD section: 6.3 Version: 12                        (4)

;  SDD section: 12.3 Version: 33                (4)

;  SOURCE FILE(S):        IRDA. C Version: 18        (4)