Вероятностно статистические методы. Вероятностно-статистические методы исследования и метод системного анализа
Статистические методы
Статисти́ческие ме́тоды - методы анализа статистических данных. Выделяют методы прикладной статистики , которые могут применяться во всех областях научных исследований и любых отраслях народного хозяйства, и другие статистические методы, применимость которых ограничена той или иной сферой. Имеются в виду такие методы, как статистический приемочный контроль, статистическое регулирование технологических процессов, надежность и испытания, планирование экспериментов.
Классификация статистических методов
Статистические методы анализа данных применяются практически во всех областях деятельности человека. Их используют всегда, когда необходимо получить и обосновать какие-либо суждения о группе (объектов или субъектов) с некоторой внутренней неоднородностью.
Целесообразно выделить три вида научной и прикладной деятельности в области статистических методов анализа данных (по степени специфичности методов, сопряженной с погруженностью в конкретные проблемы):
а) разработка и исследование методов общего назначения, без учета специфики области применения;
б) разработка и исследование статистических моделей реальных явлений и процессов в соответствии с потребностями той или иной области деятельности;
в) применение статистических методов и моделей для статистического анализа конкретных данных.
Прикладная статистика
Описание вида данных и механизма их порождения - начало любого статистического исследования. Для описания данных применяют как детерминированные, так и вероятностные методы. С помощью детерминированных методов можно проанализировать только те данные, которые имеются в распоряжении исследователя. Например, с их помощью получены таблицы, рассчитанные органами официальной государственной статистики на основе представленных предприятиями и организациями статистических отчетов. Перенести полученные результаты на более широкую совокупность, использовать их для предсказания и управления можно лишь на основе вероятностно-статистического моделирования. Поэтому в математическую статистику часто включают лишь методы, опирающиеся на теорию вероятностей.
Мы не считаем возможным противопоставлять детерминированные и вероятностно-статистические методы. Мы рассматриваем их как последовательные этапы статистического анализа. На первом этапе необходимо проанализировать имеющие данные, представить их в удобном для восприятия виде с помощью таблиц и диаграмм. Затем статистические данные целесообразно проанализировать на основе тех или иных вероятностно-статистических моделей. Отметим, что возможность более глубокого проникновения в суть реального явления или процесса обеспечивается разработкой адекватной математической модели.
В простейшей ситуации статистические данные - это значения некоторого признака, свойственного изучаемым объектам. Значения могут быть количественными или представлять собой указание на категорию, к которой можно отнести объект. Во втором случае говорят о качественном признаке.
При измерении по нескольким количественным или качественным признакам в качестве статистических данных об объекте получаем вектор. Его можно рассматривать как новый вид данных. В таком случае выборка состоит из набора векторов. Есть часть координат - числа, а часть - качественные (категоризованные) данные, то говорим о векторе разнотипных данных.
Одним элементом выборки, то есть одним измерением, может быть и функция в целом. Например, описывающая динамику показателя, то есть его изменение во времени, - электрокардиограмма больного или амплитуда биений вала двигателя. Или временной ряд, описывающий динамику показателей определенной фирмы. Тогда выборка состоит из набора функций.
Элементами выборки могут быть и иные математические объекты. Например, бинарные отношения. Так, при опросах экспертов часто используют упорядочения (ранжировки) объектов экспертизы - образцов продукции, инвестиционных проектов, вариантов управленческих решений. В зависимости от регламента экспертного исследования элементами выборки могут быть различные виды бинарных отношений (упорядочения, разбиения, толерантности), множества, нечеткие множества и т. д.
Итак, математическая природа элементов выборки в различных задачах прикладной статистики может быть самой разной. Однако можно выделить два класса статистических данных - числовые и нечисловые. Соответственно прикладная статистика разбивается на две части - числовую статистику и нечисловую статистику.
Числовые статистические данные - это числа, вектора, функции. Их можно складывать, умножать на коэффициенты. Поэтому в числовой статистике большое значение имеют разнообразные суммы. Математический аппарат анализа сумм случайных элементов выборки - это (классические) законы больших чисел и центральные предельные теоремы.
Нечисловые статистические данные - это категоризованные данные, вектора разнотипных признаков, бинарные отношения, множества, нечеткие множества и др. Их нельзя складывать и умножать на коэффициенты. Поэтому не имеет смысла говорить о суммах нечисловых статистических данных. Они являются элементами нечисловых математических пространств (множеств). Математический аппарат анализа нечисловых статистических данных основан на использовании расстояний между элементами (а также мер близости, показателей различия) в таких пространствах. С помощью расстояний определяются эмпирические и теоретические средние, доказываются законы больших чисел, строятся непараметрические оценки плотности распределения вероятностей, решаются задачи диагностики и кластерного анализа, и т. д. (см. ).
В прикладных исследованиях используют статистические данные различных видов. Это связано, в частности, со способами их получения. Например, если испытания некоторых технических устройств продолжаются до определенного момента времени, то получаем т. н. цензурированные данные, состоящие из набора чисел - продолжительности работы ряда устройств до отказа, и информации о том, что остальные устройства продолжали работать в момент окончания испытания. Цензурированные данные часто используются при оценке и контроле надежности технических устройств.
Обычно отдельно рассматривают статистические методы анализа данных первых трех типов. Это ограничение вызвано тем отмеченным выше обстоятельством, что математический аппарат для анализа данных нечисловой природы - существенно иной, чем для данных в виде чисел, векторов и функций.
Вероятностно-статистическое моделирование
При применении статистических методов в конкретных областях знаний и отраслях народного хозяйства получаем научно-практические дисциплины типа «статистические методы в промышленности», «статистические методы в медицине» и др. С этой точки зрения эконометрика - это «статистические методы в экономике». Эти дисциплины группы б) обычно опираются на вероятностно-статистические модели, построенные в соответствии с особенностями области применения. Весьма поучительно сопоставить вероятностно-статистические модели, применяемые в различных областях, обнаружить их близость и вместе с тем констатировать некоторые различия. Так, видна близость постановок задач и применяемых для их решения статистических методов в таких областях, как научные медицинские исследования, конкретные социологические исследования и маркетинговые исследования, или, короче, в медицине , социологии и маркетинге . Они часто объединяются вместе под названием «выборочные исследования».
Отличие выборочных исследований от экспертных проявляется, прежде всего, в числе обследованных объектов или субъектов - в выборочных исследованиях речь обычно идет о сотнях, а в экспертных - о десятках. Зато технологии экспертных исследований гораздо изощреннее. Еще более выражена специфика в демографических или логистических моделях, при обработке нарративной (текстовой, летописной) информации или при изучении взаимовлияния факторов.
Вопросы надежности и безопасности технических устройств и технологий, теории массового обслуживания подробно рассмотрены, в большом количестве научных работ.
Статистический анализ конкретных данных
Применение статистических методов и моделей для статистического анализа конкретных данных тесно привязано к проблемам соответствующей области. Результаты третьего из выделенных видов научной и прикладной деятельности находятся на стыке дисциплин. Их можно рассматривать как примеры практического применения статистических методов. Но не меньше оснований относить их к соответствующей области деятельности человека.
Например, результаты опроса потребителей растворимого кофе естественно отнести к маркетингу (что и делают, читая лекции по маркетинговым исследованиям). Исследование динамики роста цен с помощью индексов инфляции, рассчитанных по независимо собранной информации, представляет интерес прежде всего с точки зрения экономики и управления народным хозяйством (как на макроуровне, так и на уровне отдельных организаций).
Перспективы развития
Теория статистических методов нацелена на решение реальных задач. Поэтому в ней постоянно возникают новые постановки математических задач анализа статистических данных, развиваются и обосновываются новые методы. Обоснование часто проводится математическими средствами, то есть путем доказательства теорем. Большую роль играет методологическая составляющая - как именно ставить задачи, какие предположения принять с целью дальнейшего математического изучения. Велика роль современных информационных технологий, в частности, компьютерного эксперимента.
Актуальной является задача анализа истории статистических методов с целью выявления тенденций развития и применения их для прогнозирования.
Литература
2. Нейлор Т. Машинные имитационные эксперименты с моделями экономических систем. - М.: Мир, 1975. - 500 с.
3. Крамер Г. Математические методы статистики. - М.: Мир, 1948 (1-е изд.), 1975 (2-е изд.). - 648 с.
4. Большев Л. Н., Смирнов Н. В. Таблицы математической статистики. - М.: Наука, 1965 (1-е изд.), 1968 (2-е изд.), 1983 (3-е изд.).
5. Смирнов Н. В., Дунин-Барковский И. В. Курс теории вероятностей и математической статистики для технических приложений. Изд. 3-е, стереотипное. - М.: Наука, 1969. - 512 с.
6. Норман Дрейпер, Гарри Смит Прикладной регрессионный анализ. Множественная регрессия = Applied Regression Analysis. - 3-е изд. - М.: «Диалектика» , 2007. - С. 912. - ISBN 0-471-17082-8
Смотри также
Wikimedia Foundation . 2010 .
- Yat-Kha
- Амальгама (значения)
Смотреть что такое "Статистические методы" в других словарях:
СТАТИСТИЧЕСКИЕ МЕТОДЫ - СТАТИСТИЧЕСКИЕ МЕТОДЫ научные методы описания и изучения массовых явлений, допускающих количественное (численное) выражение. Слово “статистика” (от игал. stato государство) имеет общий корень со словом “государство”. Первоначально оно… … Философская энциклопедия
СТАТИСТИЧЕСКИЕ МЕТОДЫ – - научные методы описания и изучения массовых явлений, допускающих количественное (численное) выражение. Слово «статистика» (от итал. stato – государство) имеет общий корень со словом «государство». Первоначально оно относилось к науке управления и … Философская энциклопедия
Статистические методы - (в экологии и биоценологии) методы вариационной статистики, позволяющие исследовать целое (напр., фитоценоз, популяцию, продуктивность) по его частным совокупностям (напр., по данным, полученным на учетных площадках) и оценить степень точности… … Экологический словарь
статистические методы - (в психологии) (от лат. status состояние) нек рые методы прикладной математической статистики, используемые в психологии в основном для обработки экспериментальных результатов. Основная цель применения С. м. повышение обоснованности выводов в… … Большая психологическая энциклопедия
Статистические методы - 20.2. Статистические методы Конкретные статистические методы, используемые для организации, регулирования и проверки деятельности, включают, но не ограничиваются следующими: а) планированием экспериментов и факторный анализ; b) анализ дисперсии и … Словарь-справочник терминов нормативно-технической документации
СТАТИСТИЧЕСКИЕ МЕТОДЫ - методы исследования количеств. стороны массовых обществ. явлений и процессов. С. м. дают возможность в цифровом выражении характеризовать происходящие изменения в обществ. процессах, изучать разл. формы социально экономич. закономерностей, смену… … Сельско-хозяйственный энциклопедический словарь
СТАТИСТИЧЕСКИЕ МЕТОДЫ - некоторые методы прикладной математической статистики, используемые для обработки экспериментальных результатов. Ряд статистических методов был разработан специально для проверки качества психологических тестов, для применения в профессиональном… … Профессиональное образование. Словарь
СТАТИСТИЧЕСКИЕ МЕТОДЫ - (в инженерной психологии) (от лат. status состояние) некоторые методы прикладной статистики, используемые в инженерной психологии для обработки экспериментальных результатов. Основная цель применения С. м. повышение обоснованности выводов в… … Энциклопедический словарь по психологии и педагогике
Во многих случаях в горной науке необходимо исследовать не только детерминированные, но и случайные процессы. Все геомеханические процессы протекают в непрерывно изменяющихся условиях, когда те или иные события могут произойти, а могут и не произойти. При этом возникает необходимость анализировать случайные связи.
Несмотря на случайный характер событий, они подчиняются определенным закономерностям, рассматриваемым в теории вероятностей , которая изучает теоретические распределения случайных величин и их характеристики. Способами обработки и анализа случайных эмпирических событий занимается другая наука, так называемая математическая статистика. Эти две родственные науки составляют единую математическую теорию массовых случайных процессов, широко применяемую в научных исследованиях.
Элементы теории вероятностей и матстатистики. Под совокупностью понимают множество однородных событий случайной величины х , которая составляет первичный статистический материал. Совокупность может быть генеральной (большая выборка N ), содержащей самые различные варианты массового явления, и выборочной (малая выборка N 1), представляющей собой лишь часть генеральной совокупности.
Вероятностью Р (х ) события х называют отношение числа случаев N (х ), которые приводят к наступлению события х , к общему числу возможных случаев N :
В математической статистике аналогом вероятности является понятие частости события , представляющей собой отношение числа случаев , при которых имело место событие, к общему числу событий:
При неограниченном возрастании числа событий частость стремится к вероятности Р (х ).
 |
Допустим, имеются какие-то статистические данные, представленные в виде ряда распределения (гистограммы) на рис. 4.11, тогда частость характеризует вероятность появления случайной величины в интервале і , а плавная кривая носит название функции распределения.
Вероятность случайной величины – это количественная оценка возможности ее появления. Достоверное событие имеет Р =1, невозможное событие – Р =0. Следовательно, для случайного события , а сумма вероятностей всех возможных значений .
В исследованиях недостаточно иметь кривую распределения , а необходимо знать и ее характеристики:
а) среднеарифметическое – ; (4.53)
б) размах – R = x max – x min , который можно использовать для ориентировочной оценки вариации событий, где x max и x min – экстремальные значения измеренной величины;
в) математическое ожидание – . (4.54)
Для непрерывных случайных величин математическое ожидание записывается в виде
, (4.55)
т.е. равно действительному значению наблюдаемых событий х , а соответствующая матожиданию абсцисса называется центром распределения.
г) дисперсия – 
, (4.56)
которая характеризует рассеяние случайной величины по отношению к математическому ожиданию. Дисперсию случайной величины иначе еще называют центральным моментом второго порядка.
Для непрерывной случайной величины дисперсия равна
; (4.57)
д) среднеквадратичное отклонение или стандарт –
е) коэффициент вариации (относительное рассеяние) –
, (4.59)
который характеризует интенсивность рассеяния в различных совокупностях и применяется для их сравнения.
Площадь, расположенная под кривой распределения , соответствует единице, это означает, что кривая охватывает все значения случайных величин. Однако таких кривых, которые будут иметь площадь, равную единице, можно построить большое количество, т.е. они могут иметь различное рассеяние. Мерой рассеяния и является дисперсия или среднеквадратичное отклонение (рис. 4.12).
 |
Выше мы рассмотрели основные характеристики теоретической кривой распределения, которые анализирует теория вероятностей. В статистике оперируют эмпирическими распределениями, а основной задачей статистики является подбор теоретических кривых по имеющемуся эмпирическому закону распределения.
Пусть в результате n измерений случайной величины получен вариационный ряд х 1 , х 2 , х 3 , … х n . Обработка таких рядов сводится к следующим операциям:
– группируют х і в интервале и устанавливают для каждого из них абсолютную и относительные частости ;
– по значениям строят ступенчатую гистограмму (рис. 4.11);
– вычисляют характеристики эмпирической кривой распределения: среднеарифметическое дисперсию Д = ; среднеквадратичное отклонение .
Значениям , Д и s эмпирического распределения соответствуют величины , Д (х ) и s (х ) теоретического распределения.
 |
Рассмотрим основные теоретические кривые распределения. Наиболее часто в исследованиях применяют закон нормального распределения (рис. 4.13), уравнение которого при имеет вид:
(4.60)
Если совместить ось координат с точкой m , т.е. принять m (x )=0 и принять , закон нормального распределения будет описываться более простым уравнением:
Для оценки рассеяния обычно пользуются величиной . Чем меньше s ,тем меньше рассеяние, т.е. наблюдения мало отличается друг от друга. С увеличением s рассеяние возрастает, вероятность погрешностей увеличивается, а максимум кривой (ордината), равный , уменьшается. Поэтому значение у =1/ при 1 называют мерой точности. Среднеквадратичные отклонения и соответствуют точкам перегиба (заштрихованная область на рис. 4.12) кривой распределения.
При анализе многих случайных дискретных процессов используют распределение Пуассона (краткосрочные события, протекающие в единицу времени). Вероятность появления чисел редких событий х
=1, 2, … за данный отрезок времени выражается законом Пуассона (см. рис. 4.14):
, (4.62)
где х – число событий за данный отрезок времени t ;
λ – плотность, т.е. среднее число событий за единицу времени;
– среднее число событий за время t ;
Для закона Пуассона дисперсия равна математическому ожиданию числа наступления событий за время t , т.е. .
Для исследования количественных характеристик некоторых процессов (времени отказов машин и т.д.) применяют показательный закон распределения (рис. 4.15), плотность распределения которого выражается зависимостью
где λ – интенсивность (среднее число) событий в единицу времени.
В показательном распределении интенсивность λ является величиной, обратной математическому ожиданию λ = 1/m (x ). Кроме того, справедливо соотношение .
В различных областях исследований широко применяется закон распределения Вейбулла (рис. 4.16):
, (4.64)
где n , μ , – параметры закона; х – аргумент, чаще всего время.
Исследуя процессы, связанные с постепенным снижением параметров (снижением прочности пород во времени и т.д.), применяют закон гамма-распределения (рис. 4.17):
, (4.65)
где λ , a – параметры. Если a =1, гамма функции превращается в показательный закон.
Кроме приведенных выше законов применяют и другие виды распределений: Пирсона, Рэлея, бета – распределение и пр.
Дисперсионный анализ. В исследованиях часто возникает вопрос: В какой мере влияет тот или иной случайный фактор на исследуемый процесс? Методы установления основных факторов и их влияние на исследуемый процесс рассматриваются в специальном разделе теории вероятностей и математической статистики – дисперсионном анализе. Различают одно – и многофакторный анализ. Дисперсионный анализ основывается на использовании нормального закона распределения и на гипотезе, что центры нормальных распределений случайных величин равны. Следовательно, все измерения можно рассматривать как выборку из одной и той же нормальной совокупности.
Теория надежности. Методы теории вероятностей и математической статистики часто применяют в теории надежности, которая широко используется в различных отраслях науки и техники. Под надежностью понимают свойство объекта выполнять заданные функции (сохранять установленные эксплуатационные показатели) в течение требуемого периода времени. В теории надежности отказы рассматриваются как случайные события. Для количественного описания отказов применяют математические модели – функции распределения интервалов времени (нормальное и экспоненциальное распределение, Вейбулла, гамма-распределения). Задача состоит в нахождении вероятностей различных показателей.
Метод Монте-Карло. Для исследования сложных процессов вероятностного характера применяют метод Монте-Карло.С помощью этого метода решают задачи по нахождению наилучшего решения из множества рассматриваемых вариантов.
Метод Монте-Карло иначе еще называют методом статистического моделирования. Это численный метод, он основан на использовании случайных чисел, моделирующих вероятностные процессы. Математической основой метода является закон больших чисел, который формулируется следующим образом: при большом числе статистических испытаний вероятность того, что среднеарифметическое значение случайной величины стремится к ее математическому ожиданию , равна 1:
, (4.64)
где ε – любое малое положительное число.
Последовательность решения задач методом Монте-Карло:
– сбор, обработка и анализ статистических наблюдений;
– отбор главных и отбрасывание второстепенных факторов и составление математической модели;
– составление алгоритмов и решение задач на ЭВМ.
Для решения задач методом Монте-Карло необходимо иметь статистический ряд, знать закон его распределения, среднее значение , математическое ожидание и среднеквадратичное отклонение. Решение эффективно лишь с использованием ЭВМ.
В соответствии с тремя основными возможностями - принятие решения в условиях полной определенности, риска и неопределенности - методы и алгоритмы принятия решения можно разделить на три основных вида: аналитические, статистические и основанные на нечеткой формализации. В каждом конкретном случае метод принятия решения выбирается, исходя из поставленной задачи, доступных исходных данных, имеющихся моделей задачи, среды принятия решения, процесса принятия решения, требуемой точности решения, личных предпочтений аналитика.
В некоторых информационных системах процесс выбора алгоритма может быть автоматизирован:
В соответствующей автоматизированной системе заложена возможность использования множества разнотипных алгоритмов (библиотека алгоритмов);
Система в диалоговом режиме предлагает пользователю ответить на ряд вопросов об основных характеристиках рассматриваемой задачи;
По результатам ответов пользователя система предлагает наиболее подходящий (в соответствии с заданными в ней критериями) алгоритм из библиотеки.
2.3.1 Вероятностно-статистические методы принятия решения
Вероятностно-статистические методы принятия решения (МПР) используются в том случае, когда эффективность принимаемых решений зависит от факторов, представляющих собой случайные величины, для которых известны законы распределения вероятностей и другие статистические характеристики. При этом каждое решение может привести к одному из множества возможных исходов, причем каждый исход имеет определенную вероятность появления, которая может быть рассчитана. Показатели, характеризующие проблемную ситуацию, также описываются с помощью вероятностных характеристик.При таких ЗПР ЛПР всегда рискует получить не тот результат, на который ориентируется, выбирая оптимальное решение на основе осредненных статистических характеристик случайных факторов, то есть решение принимается в условиях риска.
На практике вероятностные и статистических методы часто применяются, когда сделанные на основе выборочных данных выводы переносятся на всю совокупность (например, с выборки на всю партию продукции). Однако при этом в каждой конкретной ситуации следует предварительно оценить принципиальную возможность получения достаточно достоверных вероятностных и статистических данных.
При использовании идей и результатов теории вероятностей и математической статистики при принятии решений базой является математическая модель, в которой объективные соотношения выражены в терминах теории вероятностей. Вероятности используются прежде всего для описания случайности, которую необходимо учитывать при принятии решений. Имеются в виду как нежелательные возможности (риски), так и привлекательные («счастливый случай»).
Суть вероятностно-статистических методов принятия решений состоит в использовании вероятностных моделей на основе оценивания и проверки гипотез с помощью выборочных характеристик .
Подчеркнем, что логика использования выборочных характеристик для принятия решений на основе теоретических моделей предполагает одновременное использование двух параллельных рядов понятий – относящиеся к теории (вероятностной модели) и относящиеся к практике (выборке результатов наблюдений). Например, теоретической вероятности соответствует частота, найденная по выборке. Математическому ожиданию (теоретический ряд) соответствует выборочное среднее арифметическое (практический ряд). Как правило, выборочные характеристики являются оценками теоретических характеристик.
К преимуществам использования этих методов относится возможность учета различных сценариев развития событий и их вероятностей. Недостатком этих методов является то, что используемые в расчетах значения вероятностей развития сценариев обычно практически очень трудно получить.
Применение конкретного вероятностно-статистического метода принятия решений состоит из трех этапов:
Переход от экономической, управленческой, технологической реальности к абстрактной математико-статистической схеме, т.е. построение вероятностной модели системы управления, технологического процесса, процедуры принятия решений, в частности по результатам статистического контроля, и т.п.
Проведение расчетов и получение выводов чисто математическими средствами в рамках вероятностной модели;
Интерпретация математико-статистических выводов применительно к реальной ситуации и принятие соответствующего решения (например, о соответствии или несоответствии качества продукции установленным требованиям, необходимости наладки технологического процесса и т.п.), в частности, заключения (о доле дефектных единиц продукции в партии, о конкретном виде законов распределения контролируемых параметров технологического процесса и др.).
Вероятностную модель реального явления следует считать построенной, если рассматриваемые величины и связи между ними выражены в терминах теории вероятностей. Адекватность вероятностной модели обосновывают, в частности, с помощью статистических методов проверки гипотез.
Математическая статистика по типу решаемых задач обычно делится на три раздела: описание данных, оценивание и проверка гипотез. По виду обрабатываемых статистических данных математическая статистика делится на четыре направления:
Одномерная статистика (статистика случайных величин), в которой результат наблюдения описывается действительным числом;
Многомерный статистический анализ, где результат наблюдения над объектом описывается несколькими числами (вектором);
Статистика случайных процессов и временных рядов, где результат наблюдения – функция;
Статистика объектов нечисловой природы, в которой результат наблюдения имеет нечисловую природу, например, является множеством (геометрической фигурой), упорядочением или получен в результате измерения по качественному признаку.
Пример, когда целесообразно использовать вероятностно-статистические модели.
При контроле качества любой продукции для принятии решения о том соответствует ли выпускаемая партия продукции установленным требованиям, из нее отбирается выборка. По результатам контроля выборки делается заключение о всей партии. В этом случае очень важно избежать субъективизма при формировании выборки, т.е необходимо, чтобы каждая единица продукции в контролируемой партии имела одинаковую вероятность быть отобранной в выборку. Выбор на основании жребия в такой ситуации не является достаточно объективным. Поэтому в производственных условиях отбор единиц продукции в выборку обычно осуществляют не с помощью жребия, а по специальным таблицам случайных чисел или с помощью компьютерных датчиков случайных чисел.
При статистическом регулировании технологических процессов на основе методов математической статистики разрабатываются правила и планы статистического контроля процессов, направленные на своевременное обнаружение разладки технологических процессов и принятия мер к их наладке и предотвращению выпуска продукции, не соответствующей установленным требованиям. Эти меры нацелены на сокращение издержек производства и потерь от поставки некачественных единиц продукции. При статистическом приемочном контроле на основе методов математической статистики разрабатываются планы контроля качества путем анализа выборок из партий продукции. Сложность заключается в том, чтобы уметь правильно строить вероятностно-статистические модели принятия решений, на основе которых можно ответить на поставленные выше вопросы. В математической статистике для этого разработаны вероятностные модели и методы проверки гипотез3.
Кроме того, в ряде управленческих, производственных, экономических, народнохозяйственных ситуаций возникают задачи другого типа – задачи оценки характеристик и параметров распределений вероятностей.
Или при статистическом анализе точности и стабильности технологических процессов надлежит оценить такие показатели качества, как среднее значение контролируемого параметра и степень его разброса в рассматриваемом процессе. Согласно теории вероятностей в качестве среднего значения случайной величины целесообразно использовать ее математическое ожидание, а в качестве статистической характеристики разброса – дисперсию, среднее квадратическое отклонение или коэффициент вариации. Отсюда возникает вопрос: как оценить эти статистические характеристики по выборочным данным и с какой точностью это удается сделать? Аналогичных примеров в литературе много. Все они показывают, как теория вероятностей и математическая статистика могут быть использованы в производственном менеджменте при принятии решений в области статистического управления качеством продукции.
В конкретных областях применений используются как вероятностно-статистические методы широкого применения, так и специфические. Например, в разделе производственного менеджмента, посвященного статистическим методам управления качеством продукции, используют прикладную математическую статистику (включая планирование экспериментов). С помощью ее методов проводится статистический анализ точности и стабильности технологических процессов и статистическая оценка качества. К специфическим методам относятся методы статистического приемочного контроля качества продукции, статистического регулирования технологических процессов, оценки и контроля надежности и др.
В производственном менеджменте, в частности, при оптимизации качества продукции и обеспечения соответствия требованиям стандартов особенно важно применять статистические методы на начальном этапе жизненного цикла продукции, т.е. на этапе научно-исследовательской подготовки опытно-конструкторских разработок (разработка перспективных требований к продукции, аванпроекта, технического задания на опытно-конструкторскую разработку). Это объясняется ограниченностью информации, доступной на начальном этапе жизненного цикла продукции, и необходимостью прогнозирования технических возможностей и экономической ситуации на будущее.
Наиболее распространенными вероятностно-статистическими методами являются регрессионный анализ, факторный анализ, дисперсионный анализ, статистические методы оценки риска, метод сценариев и т.д. Все большее значение приобретает область статистических методов, посвященная анализу статистических данных нечисловой природы, т.е. результатов измерений по качественным и разнотипным признакам. Одно из основных применений статистики объектов нечисловой природы - теория и практика экспертных оценок, связанные с теорией статистических решений и проблемами голосования.
Роль человека при решении задач методами теории статистических решений заключается в постановке задачи, т. е. в приведении реальной задачи к соответствующей типовой, в определении вероятностей событий на основе статистических данных, а также в утверждении получаемого оптимального решения.
3. Суть вероятностно-статистических методов
Как подходы, идеи и результаты теории вероятностей и математической статистики используются при обработке данных – результатов наблюдений, измерений, испытаний, анализов, опытов с целью принятия практически важных решений?
Базой является вероятностная модель реального явления или процесса, т.е. математическая модель, в которой объективные соотношения выражены в терминах теории вероятностей. Вероятности используются прежде всего для описания неопределенностей, которые необходимо учитывать при принятии решений. Имеются в виду как нежелательные возможности (риски), так и привлекательные («счастливый случай»). Иногда случайность вносится в ситуацию сознательно, например, при жеребьевке, случайном отборе единиц для контроля, проведении лотерей или опросов потребителей.
Теория вероятностей позволяет по одним вероятностям рассчитать другие, интересующие исследователя. Например, по вероятности выпадения герба можно рассчитать вероятность того, что при 10 бросаниях монет выпадет не менее 3 гербов. Подобный расчет опирается на вероятностную модель, согласно которой бросания монет описываются схемой независимых испытаний, кроме того, выпадения герба и решетки равновозможны, а потому вероятность каждого из этих событий равна ½. Более сложной является модель, в которой вместо бросания монеты рассматривается проверка качества единицы продукции. Соответствующая вероятностная модель опирается на предположение о том, что контроль качества различных единиц продукции описывается схемой независимых испытаний. В отличие от модели с бросанием монет необходимо ввести новый параметр – вероятность р того, что единица продукции является дефектной. Модель будет полностью описана, если принять, что все единицы продукции имеют одинаковую вероятность оказаться дефектными. Если последнее предположение неверно, то число параметров модели возрастает. Например, можно принять, что каждая единица продукции имеет свою вероятность оказаться дефектной.
Обсудим модель контроля качества с общей для всех единиц продукции вероятностью дефектности р . Чтобы при анализе модели «дойти до числа», необходимо заменить р на некоторое конкретное значение. Для этого необходимо выйти из рамок вероятностной модели и обратиться к данным, полученным при контроле качества. Математическая статистика решает обратную задачу по отношению к теории вероятностей. Ее цель – на основе результатов наблюдений (измерений, анализов, испытаний, опытов) получить выводы о вероятностях, лежащих в основе вероятностной модели. Например, на основе частоты появления дефектных изделий при контроле можно сделать выводы о вероятности дефектности (см. обсуждение выше сиспользованием теоремы Бернулли). На основе неравенства Чебышева делались выводы о соответствии частоты появления дефектных изделий гипотезе о том, что вероятность дефектности принимает определенное значение.
Таким образом, применение математической статистики опирается на вероятностную модель явления или процесса. Используются два параллельных ряда понятий – относящиеся к теории (вероятностной модели) и относящиеся к практике (выборке результатов наблюдений). Например, теоретической вероятности соответствует частота, найденная по выборке. Математическому ожиданию (теоретический ряд) соответствует выборочное среднее арифметическое (практический ряд). Как правило, выборочные характеристики являются оценками теоретических. При этом величины, относящиеся к теоретическому ряду, «находятся в головах исследователей», относятся к миру идей (по древнегреческому философу Платону), недоступны для непосредственного измерения. Исследователи располагают лишь выборочными данными, с помощью которых они стараются установить интересующие их свойства теоретической вероятностной модели.
Зачем же нужна вероятностная модель? Дело в том, что только с ее помощью можно перенести свойства, установленные по результатам анализа конкретной выборки, на другие выборки, а также на всю так называемую генеральную совокупность. Термин «генеральная совокупность» используется, когда речь идет о большой, но конечной совокупности изучаемых единиц. Например, о совокупности всех жителей России или совокупности всех потребителей растворимого кофе в Москве. Цель маркетинговых или социологических опросов состоит в том, чтобы утверждения, полученные по выборке из сотен или тысяч человек, перенести на генеральные совокупности в несколько миллионов человек. При контроле качества в роли генеральной совокупности выступает партия продукции.
Чтобы перенести выводы с выборки на более обширную совокупность, необходимы те или иные предположения о связи выборочных характеристик с характеристиками этой более обширной совокупности. Эти предположения основаны на соответствующей вероятностной модели.
Конечно, можно обрабатывать выборочные данные, не используя ту или иную вероятностную модель. Например, можно рассчитывать выборочное среднее арифметическое, подсчитывать частоту выполнения тех или иных условий и т.п. Однако результаты расчетов будут относиться только к конкретной выборке, перенос полученных с их помощью выводов на какую-либо иную совокупность некорректен. Иногда подобную деятельность называют «анализ данных». По сравнению с вероятностно-статистическими методами анализ данных имеет ограниченную познавательную ценность.
Итак, использование вероятностных моделей на основе оценивания и проверки гипотез с помощью выборочных характеристик – вот суть вероятностно-статистических методов принятия решений.
Подчеркнем, что логика использования выборочных характеристик для принятия решений на основе теоретических моделей предполагает одновременное использование двух параллельных рядов понятий, один из которых соответствует вероятностным моделям, а второй – выборочным данным. К сожалению, в ряде литературных источников, обычно устаревших либо написанных в рецептурном духе, не делается различия между выборочными и теоретическими характеристиками, что приводит читателей к недоумениям и ошибкам при практическом использовании статистических методов.
| Предыдущая |
При проведении психолого-педагогических исследований важная роль отводится математическим методам моделирования процессов и обработки экспериментальных данных. К таким методам следует отнести, прежде всего, так называемые, вероятностно-статистические методы исследования. Это связано с тем, что на поведение как отдельного человека в процессе его деятельности, так и человека в коллективе существенное влияние оказывает множество случайных факторов. Случайность не позволяет описывать явления в рамках детерминированных моделей, т. к. проявляется, как недостаточная регулярность в массовых явлениях и, следовательно, не дает возможность с достоверностью предсказывать наступление определенных событий. Однако при изучении таких явлений обнаруживаются определенные закономерности. Нерегулярность, свойственная случайным событиям, при большом количестве испытаний, как правило, компенсируется появлением статистической закономерности, стабилизацией частот наступлений случайных событий. Следовательно, данные случайные события имеют определенную вероятность. Существуют два принципиально различающихся вероятностно-статистических метода психолого-педагогических исследований: классический и неклассический. Проведем сравнительный анализ этих методов.
Классический вероятностно-статистический метод. В основе классического вероятностно-статистического метода исследования лежат теория вероятностей и математическая статистика. Данный метод применяется при изучении массовых явлений случайного характера, он включает несколько этапов, основные из которых следующие.
1. Построение вероятностной модели реальности, исходя из анализа статистических данных (определение закона распределения случайной величины). Естественно, что закономерности массовых случайных явлений выражаются тем более отчетливо, чем больше объем статистического материала. Выборочные данные, полученные при проведении эксперимента, всегда ограничены и носят, строго говоря, случайный характер. В связи с этим важная роль отводится обобщению закономерностей, полученных на выборке, и распространению их на всю генеральную совокупность объектов. С целью решения этой задачи принимается определенная гипотеза о характере статистической закономерности, которая проявляется в исследуемом явлении, например, гипотеза о том, что исследуемое явление подчиняется закону нормального распределения. Такая гипотеза носит название нулевой гипотезы, которая может оказаться ошибочной, поэтому наряду с нулевой гипотезой еще выдвигается и альтернативная или конкурирующая гипотеза. Проверка того насколько полученные экспериментальные данные соответствуют той или иной статистической гипотезе осуществляется с помощью так называемых непараметрических статистических критериев или критериев согласия. В настоящее время широко используются критерии согласия Колмогорова, Смирнова, омега-квадрат и др. . Основная идея этих критериев состоит в измерении расстояния между функцией эмпирического распределения и функцией полностью известного теоретического распределения. Методология проверки статистической гипотезы строго разработана и изложена в большом количестве работ по математической статистике.
2. Проведение необходимых расчетов математическими средствами в рамках вероятностной модели. В соответствии с установленной вероятностной моделью явления проводятся вычисления характеристических параметров, например, таких как математическое ожидание или среднее значение, дисперсия, стандартное отклонение, мода, медиана, показатель асимметрии и др.
3. Интерпретация вероятностно-статистических выводов применительно к реальной ситуации.
В настоящее время классический вероятностно-статистический метод хорошо разработан и широко используется при проведении исследований в различных областях естественных, технических и общественных наук. Подробное описание сути данного метода и его применения к решению конкретных задач можно найти в большом количестве литературных источников, например в .
Неклассический вероятностно-статистический метод. Неклассический вероятно-статистический метод исследований отличается от классического тем, что он применяется не только к массовым, но и к отдельным событиям, имеющим принципиально случайный характер. Данный метод может быть эффективно использован при анализе поведения индивида в процессе выполнения той или иной деятельности, например, в процессе усвоения знаний учащимся . Особенности неклассического вероятностно-статистического метода психолого-педагогических исследований рассмотрим на примере поведения учащихся в процессе усвоения знаний.
Впервые вероятностно-статистическая модель поведения учащихся в процессе усвоения знаний была предложена в работе . Дальнейшее развитие этой модели было сделано в работе . Учение как вид деятельности, цель которого приобретение человеком знаний, умений и навыков, зависит от уровня развития сознания учащегося. В структуру сознания входят такие познавательные процессы, как ощущение, восприятие, память, мышление, воображение. Анализ этих процессов показывает, что им присущи элементы случайности, обусловленные случайным характером психического и соматического состояний индивида, а также физиологическим, психологическим и информационным шумами при работе головного мозга. Последнее привело при описании процессов мышления к отказу от использования модели детерминистской динамической системы в пользу модели случайной динамической системы . Это означает, что детерминизм сознания реализуется через случайность. Отсюда можно заключить, что знания человека, являющиеся фактически продуктом сознания, также имеют случайный характер, и, следовательно, для описания поведения каждого отдельного учащегося в процессе усвоения знаний может быть использован вероятностно-статистический метод.
В соответствии с этим методом учащийся идентифицируется функцией распределения (плотностью вероятности), определяющей вероятность нахождения его в единичной области информационного пространства. В процессе обучения функция распределения, с которой идентифицируется учащийся, эволюционируя, движется в информационном пространстве. Каждый учащийся обладает индивидуальными свойствами и допускается независимая локализация (пространственная и кинематическая) индивидов друг относительно друга.
На основе закона сохранения вероятности записывается система дифференциальных уравнений, представляющих собой уравнения непрерывности, которые связывают изменение плотности вероятности за единицу времени в фазовом пространстве (пространстве координат, скоростей и ускорений различных порядков) с дивергенцией потока плотности вероятности в рассматриваемом фазовом пространстве. В проведен анализ аналитических решений ряда уравнений непрерывности (функций распределения), характеризующих поведение отдельных учащихся в процессе обучения.
При проведении экспериментальных исследований поведения учащихся в процессе усвоения знаний используется вероятностно-статистическое шкалирование , в соответствии с которым шкала измерений представляет собой упорядоченную систему
1. Нахождение экспериментальных функций распределения по результатам контрольного мероприятия, например, экзамена. Типичный вид индивидуальных функций распределения, найденных при использовании двадцатибалльной шкалы, представлен на рис. 1. Методика нахождения таких функций описана в .
2. Отображение функций распределения на числовое пространство. С этой целью проводится расчет моментов индивидуальных функций распределения. На практике, как правило, достаточно ограничиться определением моментов первого порядка (математического ожидания), второго порядка (дисперсии) и третьего порядка, характеризующего асимметрию функции распределения.
3. Ранжирование учащихся по уровню знаний на основе сравнения моментов различных порядков их индивидуальных функций распределения.
Рис. 1. Типичный вид индивидуальных функций распределения студентов, получивших на экзамене по общей физике различные оценки : 1 - традиционная оценка «2»; 2 - традиционная оценка «3»; 3 - традиционная оценка «4»; 4 - традиционная оценка «5»
На основе аддитивности индивидуальных функций распределения в найдены экспериментальные функции распределения для потока студентов (рис. 2).
Рис. 2. Эволюция полной функции распределения потока студентов, аппроксимированной гладкими линиями : 1 - после первого курса; 2 - после второго курса; 3 - после третьего курса; 4 - после четвертого курса; 5 - после пятого курса
Анализ данных, представленных на рис. 2, показывает, что по мере продвижения в информационном пространстве функции распределения расплываются. Это происходит вследствие того, что математические ожидания функций распределения индивидов движутся с разными скоростями, а сами функции расплываются из-за дисперсии. Дальнейший анализ данных функций распределения может быть проведен в рамках классического вероятностно-статистического метода.
Обсуждение результатов. Анализ классического и неклассического вероятностно-статистических методов психолого-педагогических исследований показал, что между ними имеется существенное отличие. Оно, как это можно понять из сказанного выше, заключается в том, что классический метод применим лишь к анализу массовых событий, а неклассический метод применим как к анализу массовых, так и одиночных событий. В связи с этим классический метод может быть условно назван массовым вероятностно-статистическим методом (МВСМ), а неклассический метод - индивидуальным вероятностно-статистическим методом (ИВСМ). В 4] показано, что ни один из классических методов оценки знаний учащихся в рамках вероятностно-статистической модели индивида не может быть применен для этих целей.
Отличительные особенности методов МВСМ и ИВСМ рассмотрим на примере измерения полноты знаний учащихся. С этой целью проведем мысленный эксперимент. Предположим, что имеется большое количество абсолютно одинаковых по психическим и физическим характеристикам учащихся, имеющих одинаковую предысторию, и пусть они, не взаимодействуя друг с другом, одновременно участвуют в одном и том же познавательном процессе, испытывая абсолютно одинаковое строго детерминированное воздействие. Тогда в соответствии с классическими представлениями об объектах измерения все учащиеся должны были бы получить одинаковые оценки полноты знаний с любой заданной точностью измерений. Однако в реальности при достаточно большой точности измерений оценки полноты знаний учащихся будут различаться . Объяснить такой результат измерений в рамках МВСМ не представляется возможным, т. к. исходно предполагается, что воздействие на абсолютно одинаковых невзаимодействующих между собой учащихся имеет строго детерминированный характер. Классический вероятностно-статистический метод не учитывает того, что детерминизм процесса познания реализуется через случайность, внутренне присущую каждому познающему окружающий мир индивиду.
Случайный характер поведения учащегося в процессе усвоения знаний учитывает ИВСМ. Применение индивидуального вероятностно-статистического метода для анализа поведения рассматриваемого идеализированного коллектива учащихся показало бы, что указать точно положение каждого учащегося в информационном пространстве нельзя, можно лишь говорить вероятности нахождения его в той или иной области информационного пространства. Фактически каждый учащийся идентифицируется индивидуальной функцией распределения, причем ее параметры, такие как математическое ожидание, дисперсия и др., индивидуальны для каждого учащегося. Это означает, что индивидуальные функции распределения будут находиться в разных областях информационного пространства. Причина такого поведения учащихся заключается в случайном характере процесса познания.
Однако в ряде случаев результаты исследований, добытые в рамках МВСМ, могут быть интерпретированы и в рамках ИВСМ. Предположим, что преподаватель при оценке знаний учащегося использует пятибалльную шкалу измерений. В этом случае погрешность в оценке знаний составляет ±0,5 балла. Следовательно, когда учащемуся выставляется оценка, например, 4 балла, это означает, что его знания находятся в промежутке от 3,5 баллов до 4,5 баллов. Фактически положение индивида в информационном пространстве в данном случае определяется прямоугольной функцией распределения, ширина которой равна погрешности измерения ±0,5 балла, а оценка является математическим ожиданием. Эта погрешность настолько большая, что не позволяет наблюдать истинный вид функции распределения. Однако, несмотря на столь грубую аппроксимацию функции распределения, изучение ее эволюции позволяет получить важную информацию, как о поведении отдельного индивида, так и коллектива учащихся в целом .
На результат измерения полноты знаний учащегося непосредственно или опосредовано влияет сознание преподавателя (измерителя), которому также свойственна случайность. В процессе педагогических измерений фактически имеет место взаимодействие двух случайных динамических систем, идентифицирующих поведение учащегося и преподавателя в данном процессе. В рассмотрено взаимодействие студенческой подсистемы с профессорско-преподавательской подсистемой и показано, что скорость движения математического ожидания индивидуальных функций распределения студентов в информационном пространстве пропорциональна функции воздействия профессорско-преподавательского коллектива и обратно пропорциональна функции инертности, характеризующей неподатливость изменению положения математического ожидания в пространстве (аналог закона Аристотеля в механике).
В настоящее время, несмотря на значительные достижения в разработке теоретических и практических основ измерений при проведении психолого-педагогических исследований, проблема измерений в целом еще далека от решения. Это связано, прежде всего, с тем, что до сих пор не имеется достаточной информации о влиянии сознания на процесс измерения. Аналогичная ситуация сложилась и при решении проблемы измерений в квантовой механике. Так, в работе при рассмотрении концептуальных проблем квантовой теории измерений говорится о том, что разрешить некоторые парадоксы измерений в квантовой механике «… вряд ли возможно без непосредственного включения сознания наблюдателя в теоретическое описание квантового измерения». Далее говорится, что «… непротиворечивым является предположение о том, что сознание может сделать вероятным некоторое событие, даже если по законам физики (квантовой механики) вероятность этого события мала. Сделаем важное уточнение формулировки: сознание данного наблюдателя может сделать вероятным, что он увидит это событие».
Загрузка...