Сертификация и надежность программного обеспечения (стр. 5 )

Модификация формулы для С, если не все ошибки обнаружены:

j – найденные внесенные ошибки, j < S

Еще один график, который полезно строить во время тестирования – это текущее значение верхней границы k для некого доверительного уровня.

Модель математически проста и интуитивно привлекательна. Легко представить программу внесения ошибок, которая случайным образом выбирает модуль и вносит логические ошибки, изменяя или убирая операторы. Природа внесения ошибок должна оставаться в тайне, но все их следует регистрировать с целью последующего деления на собственные и несобственные.

Процесс внесения ошибок является самым слабым местом модели, поскольку предполагается, что для собственных и внесенных ошибок вероятность обнаружения одинакова, но неизвестна. Отсюда следует, что внесенные ошибки должны быть типичными, но на сегодня непонятно какими именно они должны быть. Однако по сравнению с проблемами других моделей эта проблема кажется не очень сложной и разрешимой.

Простейшие интуитивные (эвристические) модели

Эти модели особенно эффективны для целей сертификации. Было разработано несколько моделей для оценки числа ошибок. Они основаны на более слабых предположениях, чем сложные модели.

Предполагается начать тестирование двумя независимыми группами. В течение некоторого времени производится параллельное тестирование системы, затем результаты собираются и сравниваются.

N1, N2 – число обнаруженных каждой группой ошибок

N12 – число ошибок, обнаруженных дважды (обеими группами)

N – число ошибок в программе (неизвестное)

Е – эффективность тестирования

Предполагаем, что возможность обнаружения одинакова. Это серьезное предположение не лишенное смысла. Можно рассматривать каждое подмножество N как аппроксимацию всего пространства.

Например, если первая группа обнаружила 10% ошибок, то она должна было найти примерно 10% всякого случайным образом выбранного подмножества, например подмножества N2. Можно сказать, что

Если выполнить подстановку для N2 получим

Очевидно, самый простой способ оценки числа ошибок – сравнить оценки, основанные на исторических данных, в частности на среднем числе ошибок, приходящихся на 1 оператор в предыдущих проектах. В литературе есть сведения о частоте ошибок, но они не очень обширны. Имеющиеся данные ориентированы по отраслям и берутся как среднее значение по некоторому количеству операторов (например, 10 ошибок на 1000 операторов).

Пример: данные IBM для OS/360, OS/VS1, OS/VS2:

x – многократно исправляемый модуль или число модулей, которые потребовали 10 и более исправлений.

y – число модулей, потребовавших 1 или несколько исправлений.

z – полное число исправлений в модулях.

Из-за неопределенностей во всех рассмотренных модулях пока самый разумный подход – воспользоваться несколькими моделями и объединить их результаты. Например, данные по прежним проектам можно использовать для грубой оценки. Далее можно использовать модель с двумя параллельными группами. Далее – тестирование с искусственным внесением ошибок, определить достоверность С по модели Миллса, а также использовать другие модели.

Объединение результатов нескольких тестов:

Средняя величина , Минимальные оценки Максимальные оценки Интервальные оценки

Имитационные модели

Такие модели, которые имитируют процессы появления ошибок, процесс обнаружения ошибок, процесс исправления ошибок с точки зрения надежности ПО.

Часто программу представляют как последовательность узлов, дуг и петель ориентированного графа.

Узлы – точки в которых части программы объединяются или разъединяются.

Дуги – последовательности линейных участков. В них размещаются команды.

Тестирование ПО. Испытания ПО при сертификации

Детерминированное тестирование при проектировании. Детерминированное испытание при сертификации

Принципы и задачи детерминированного тестирования

Основной задачей детерминированного тестирования является установление факта работоспособности программ и соответствие их техническому заданию, а также выявление и устранение ошибок и доведение характеристик программ до уровня требований, заданных заказчиком.

Диагностирование производится автоматическими человеко-машинными системами, в которых:

на долю человека приходится анализирующая роль в обнаружении ошибок, их анализ и принятие решений на их корректировку; вычислительные системы обеспечивают исполнение программы, управление заданиями и тестами, селективное информирование о ходе тестирования.

При детерминированном тестировании получаются результаты при фиксированном наборе исходных данных, а так же сравнение этих значений с эталонными. Диапазон варьирования исходных данных и число вариантов сочетания переменных определяют достоверность отладки. Сравнение результатов исполнения с эталонами, как правило, происходит автоматически. Если результат отличается от эталона, определяется место и тип ошибки.

В зависимости от используемой при тестировании информации различают два метода:

Метод проверки по исходным данным и результатам.

Программу рассматривается, как чёрный ящик и после установления факта неработоспособности на каком-то наборе используется информация о структуре программы, т. е. от общего к частному с надеждой, что ошибки нет.

2.  Метод с учётом промежуточных результатов.

Анализируются логические маршруты исполнения программы и промежуточные результаты в точках маршрута. Проверка программы осуществляется походу её исполнения от частного к общему с уверенностью, что ошибка есть. Метод – белый ящик.

«Серый ящик» – частично структура известна, а частично – нет.

Метод белого ящика более прост при локализации ошибок, но требует больше времени, чем метод проверки по окончательным результатам.

Процесс отладки программы при детерминированном тестировании подразделяется на следующие этапы:

планирование отладки; составление тестов и задач на отладку и исполнение программы; информирование о результатах по задачам теста; анализ результатов, обнаружение и локализация ошибок; устранение ошибок и корректировка исходного текста программы.

Детерминированное тестирование включает:

выбор последовательности контрольных точек, входы и выходы из программы; выбор наборов значений исходных данных; выбираются промежуточные точки контроля и перечень переменных, подлежащих контролю в этих точках, маршруты исполнения программы.

Порядок тестирования может быть:

безусловный, т. е. независимый от результатов исполнения предыдущих наборов; условным.

Методы тестирования

Восходящее тестирование

Программа собирается и тестируется снизу вверх, только модули самого нижнего уровня тестируются изолированно или автономно. После их тестирования вызов их должен быть также надёжен, как вызов встроенной функции языка. Затем тестируются модули, вызывающие уже проверенные. Эти модули тестируются не автономно, а вместе с уже протестированными.

При восходящем тестировании для каждого модуля нужен драйвер. Нужно подавать тесты в соответствии с сопряжением модуля. Одно из возможных решений – написать для каждого модуля небольшую ведущую программу, тестовые данные представляются как встроенные в эту программу переменные. Другое решение – использовать программу тестирования модулей, тесты написать на специальном языке и избавится от необходимости писать драйвер.

Нисходящее тестирование (нисходящая разработка)

Изолированно тестируется только головной модуль. После завершения тестирования этого модуля с ним соединяются модули, непосредственно вызываемые им, и тестируется полученная комбинация. Процесс повторяется до тех пор, пока не будет собраны все модули.

Возникают 2 проблемы

1.  Что делать, когда тестируемый модуль вызывает модуль более низкого уровня, которого в данный момент еще не существует?

Для имитации функций недостающих модулей программируются модули-заглушки, которые моделируют функции отсутствующих модулей.

2.  Как подаются тестовые данные?

Плюсы метода

Метод совмещает тестирование модулей, тестирование сопряжений и частично тестирование внешних функций. Когда модули ввода/вывода уже подключены, тесты можно готовить в удобном виде.

Минусы метода

Модуль редко тестируется досконально сразу после его подключения. Это связано с тем, что тестирование некоторых модулей требуют крайне сложных заглушек и пишутся простые заглушки, проверяя часть работоспособности модуля. Этот подход может породить веру в возможность начать программирование и тестирование верхнего уровня программы до того как вся программа будет полностью спроектирована.

Нисходящий подход выгоден в тех случаях, когда есть сомнения в осуществлении программы в целом.

Нормальный стиль проектирования структуры программы предполагает при окончании проектирования нижних уровней вернуться назад и поправить верхний уровень, внося в него усовершенствования и исправляя ошибки. Если головная часть программы запрограммирована и оттестирована, разработчик с трудом идет на его модификацию.

Модифицированный нисходящий метод

Еще один недостаток нисходящего метода – полнота тестирования. В методе также сложно проверять исключительные ситуации.

Модифицированный метод требует, чтобы каждый модуль прошел автономное тестирование перед подключением к программе. Этот метод решает перечисленные проблемы, но все равно нужны как драйверы, так и заглушки.

Метод большого скачка

Это самый распространенный подход в интеграции модулей. Каждый модуль тестируется автономно. По окончанию тестирования модулей они интегрируются в систему все сразу.

Метод имеет несколько недостатков и мало достоинств. Для каждого модуля необходима заглушка и драйверы, модули не интегрируются до самого последнего момента, а это означает, что в течение долгого времени серьезные ошибки в сопряжениях могут оставаться не обнаруженными.

Метод «сэндвича»

Это компромисс между восходящим и нисходящим тестированиями. При использовании этого метода одновременно начинают восходящее и нисходящее тестирования, собирая программу как сверху, так и снизу, встречаясь где-то посередине. Точка встречи зависит от конкретной программы и должна быть определена заранее.

Метод сохраняет достоинства восходящего и нисходящего подходов – начало интеграции системы на самом раннем этапе. Т. к. вершина программы вступает в строй рано как в нисходящем методе, на самом раннем этапе получается работающий каркас программы. Нижние уровни программы создаются восходящим методом, при этом снимаются те проблемы нисходящего метода, которые были связаны с невозможностью тестирования в глубине программы.

Модифицированные метод «сэндвича»

При тестировании методом «сэндвича» возникает также проблема, что и при нисходящем подходе, хотя здесь она стоит не так остро. Проблема в том, что невозможно досконально тестировать отдельные модули. Восходящий этап тестирования по методу «сэндвича» решает эту проблему для нижних уровней, но она может остаться для нижней половины верхней части программы. В модифицированном методе «сэндвича» нижний уровень тестируется строго снизу вверх, а модули верхних уровней тестируются изолированно, а затем собираются нисходящим методом. Т. о. модифицированный метод «сэндвича» также представляет собой компромисс между нисходящим и восходящим подходами.