Метод наименьшего доверия для сравнения смешанных образцов

УДК 311

МЕТОД НАИМЕНЬШЕГО ДОВЕРИЯ ДЛЯ СРАВНЕНИЯ СМЕШАННЫХ ОБРАЗЦОВ

Почвенный институт им. , Москва

В настоящей работе исследовали возможность применения непараметрического бутстрепа к медианному абсолютному отклонению выборки для оценки стандартного отклонения генеральной совокупности.

Теоретически показано, что метод дает надежные оценки при объеме референсной выборки 8 и более. Полученные оценки применялись для нахождения различий между смешанными образцами при помощи симуляции пробоотбора. Предложенный метод характеризуется необходимой консервативностью и устойчивостью к нарушению нормальности распределений.

Ключевые слова: смешанные образцы, статистический анализ, бутстреп, медианное абсолютное отклонение

Введение

Статистический анализ данных без повторностей не может быть математически правильным. Однако, несмотря на то что в последнее время аналитические методы и анализ данных шагнули далеко вперед, до сих пор имеется необходимость проводить исследования, которые требуют значительных усилий. Ряд методик химического анализа почв, например, анализ почвенных фракций, требуют колоссальных затрат времени, являются вредными для здоровья или требуют определенных навыков, а потребность в исследованиях высока.

В связи с этим исследователи могут смешивать индивидуальные образцы и анализировать смешанные образцы, затем сравнивая их визуально. Такой подход заключает в себе опасность: даже при учете погрешности метода, различия, которые кажутся значимыми, могут таковыми не быть на самом деле. Погрешность, которая будет определять вариабельность смешанного образца, будет складываться как из ошибки определения, так и из природной вариабельности, притом последняя зачастую преобладает.

Цель настоящей работы состоит в том, чтобы обратить внимание на необходимость создания статистических процедур для сравнения смешанных образцов и предложить относительно надежный метод непараметрической обработки данных, полученных с использованием смешанных образцов.

Концепция метода

Ключевое допущение метода – однородность дисперсий в сравниваемых группах, аналогичное классическому дисперсионному анализу. Различие состоит в том, что при проведении дисперсионного анализа возможно проверить однородность дисперсий, тогда как в настоящем методе это не представляется реальным. Также необходимо принимать во внимание, что использование смешанных образцов допускается только для признаков, которые усредняются аддитивно [1].

Допустим, имеется нормально распределенная генеральная совокупность X со средним Xср и стандартным отклонением у. Из этой генеральной совокупности взята случайным образом выборка x объемом n со средним xср и стандартным отклонением s. Несложно показать, что доверительный интервал (ДИ) для у, рассчитанный параметрически, будет иметь вид: ≤ у ≤ , где – критическое значение критерия хи-квадрат бq квантиля распределения с количеством степеней свободы, равным n-1 [2].

Параметрическая оценка ДИ чувствительна к выбросам и другим нарушениям нормальности распределения. В настоящей работе исследовали возможность применения непараметрического бутстрепа в качестве альтернативного подхода к оценке ДИ для у. В качестве статистик брали s и медианное абсолютное отклонение (МАО), помноженное на коэффициент 1.4826 для соответствия стандартному отклонению нормального распределения. Использовали перцентиль-ДИ и скорректированный на смещенность оценки BCa ДИ.

Для использования в методе оказывали «наименьшее доверие» дисперсии случайной величины: рассчитывали односторонний 95% ДИ (верхнюю границу) для у по имеющейся репрезентативной референсной выборке из индивидуальных образцов. Эту оценку применяли в качестве предполагаемого у для генерации случайных чисел из двух нормальных распределений N(0, у*) и N(0+dx, у*), где dx – разница между измеренными значениями некоторой случайной величины в смешанных пробах, у*- верхняя граница ДИ для у. Количество генерируемых случайных чисел равно количеству индивидуальных образцов в смешанном образце. На каждом этапе цикла рассчитывали среднее арифметическое случайных чисел в двух группах, считали разность между средними, повторяли цикл 105 раз, далее считали долю разностей меньше 0. Полученная доля – оценочная вероятность того, что значения смешанных образцов не различаются, и представляет из себя одностороннее p-значение. Так как в действительности смешанные образцы могут различаться в обратном направлении, это число умножали на 2 для получения двустороннего p-значения, по которому судили о значимости различий. Для множественных сравнений корректировали уровень значимости по методу Шидака: , где б1 – граница значимости для отдельного теста, б – общий уровень значимости (равен как правило, 0.05), m – количество сравнений [3].

В случае анализа смешанных образцов в разных лабораториях, межлабораторная дисперсия может быть добавлена в симуляцию. Тогда распределения приобретают вид: N[N(0, умл), у*] и N[N(0, умл)+dx, у*], где умл – межлабораторное стандартное отклонение метода.

Применение метода и обсуждение

Предлагаемый метод реализован на языке программирования R, программный код опубликован в открытом доступе в научном репозитарии по адресу: https:///s/8087e6e686cb7298ed8a. При помощи симуляций с использованием нормальных распределений было показано, что использование s для бутстреп-оценки при выборках объемом менее 25 ненадежно, тогда как расчеты с использованием МАО при большем разбросе давали надежные результаты при объеме референсной выборки 8 и более. При этом оценки с использованием BCa ДИ были во всех случаях более надежными по сравнению с перцентиль-ДИ. В связи с этим, программа автоматически производит оценку у* с использованием МАО и BCa ДИ в случае выборки объемом 8 и более и, если объем выборки меньше 8, оценивает у* параметрически при помощи ч2 распределения.

Для применения предлагаемой процедуры сравнения на реальных данных были взяты результаты РФА анализа трех вариантов почв с выраженной неоднородностью дисперсий между вариантами по ряду измеренных показателей. Первый, второй и третий варианты состояли из 14, 7 и 6 индивидуальных образцов, соответственно. Первый вариант являлся референсной выборкой. В ходе эксперимента были проанализированы индивидуальные образцы, а также смешанные образцы, составленные из 1±0.001 г почвы из индивидуальных образцов. Различия с использованием данных анализа индивидуальных образцов проверяли при помощи рангового теста Гао [4]. Несмотря на то что все образцы анализировали на одном приборе, в симуляции использовали межлабораторные погрешности метода, взятые из ГОСТ 33850-2016.

В ходе эксперимента из 51 сравнения тестом Гао было обнаружено 21 значимое различие, из них 7 различий были также обнаружены методом наименьшего доверия. Два различия дали ложноположительный результат по сравнению с тестом Гао на границе уровня значимости (p-значения 0.01 против 0.07 и 0.02 против 0.08), но в обоих случаях различия дисперсий были резко выраженными (дисперсия референсной выборки была наименьшей) и значимыми, что подтверждалось тестом Бартлетта. Таким образом, использование межлабораторной дисперсии в методе в целом компенсировало грубые нарушения предположения об однородности разбросов.

Тем не менее, тест теоретически является надежным только при условии соблюдения однородности дисперсий. На Рис. 1 а) и б) представлены два примера применения теста. В данном случае использование теста для сравнения средних значений содержания калия надежно, тогда как для содержания марганца тест ненадежен. Из диаграмм также наглядно видно, что смешанный образец характеризует среднее арифметическое данных индивидуальных образцов.

Рис. 1. Коробчатые диаграммы содержания элементов в почвах 1, 2 и 3. Жирными линиями обозначены медианы. Крестиками обозначены экспериментальные значения смешанных образцов, которые отражают средние арифметические индивидуальных образцов. а) Содержание MnO. Разбросы значений между вариантами неоднородны, следовательно, в этом случае метод применять нельзя. б) Содержание K2O. Так как разброс незначительно различается между сравниваемыми вариантами, при применении метода контроль над ошибкой первого рода не теряется.

Проблема статистического анализа данных, полученных с использованием смешанных образцов, не получила широкого распространения как в отечественной, так и в зарубежной литературе. Однако еще Дмитриев указывал на возможность применения смешанных образцов для признаков, которые усредняются аддитивно, а также на необходимость учета аналитических дисперсий при сравнениях. Кроме того, было показано, что аналитическая межлабораторная дисперсия практически всегда значительно превосходит внутрилабораторную, а в некоторых случаях и природную [1]. При изучении динамики органического вещества тонкодисперсных частиц почв Фридом был предложен параметрический метод, позволяющий сравнивать смешанные образцы, показавший надежные результаты [5]. Однако данный метод нуждается в метрологических данных для конкретного анализа, тогда как калибровка теста наименьшего доверия происходит по референсной выборке и применение метрологических данных необходимо только при анализе смешанных образцов в различных лабораториях.

Заключение

Предлагаемый метод обладает рядом преимуществ, однако ввиду предположения об однородности дисперсий в сравниваемых вариантах рекомендуется для разведочного малозатратного исследования, а также в случаях, когда свойства распределений изучаемых объектов достоверно известны или в отсутствие других вариантов из-за сложности проведения исследований.

Список литературы

1. адежность анализа почв: проблемы и решения // Москва: Почвенный институт им. ВВ Докучаева. 1992.

2. Confidence Intervals for Variances and Standard Deviations  ‒ URL: http://www. /math/stat/ci-variances. htm.

3. Љidбk Z. Rectangular Confidence Regions for the Means of Multivariate Normal Distributions // Journal of the American Statistical Association. 1967. V. 62. № 000. P. 626-633.

4. Gao X., Alvo M., Chen J., Li G. Nonparametric multiple comparison procedures for unbalanced one-way factorial designs // Journal of Statistical Planning and Inference. 2008. V. 138. № 8. P. 2574-2591.

5. инамика органического вещества тонкодисперсных частиц дерново-подзолистых почв в длительных опытах // Почвоведение. 2001. № 1. P. 52-61.