Эффективная оценка является также и. Вероятность и статистика – основные факты

Параметрические методы оценивания параметра 0 предполагают соответствие вида предполагаемого распределения g(x, 0) неизвестному истинному. Получаемая при этом по выборке независимых значений

максимально правдоподобная оценка в виде векторазначений параметров (аргумента), обеспечивающего максимальное значение функции правдоподобия

обладает минимально возможной дисперсией, т.е. является эффективной оценкой параметра 0 при условии равенства предполагаемого распределения истинному. Отличиеотобусловливает снижение эффективности оценок. Это отличие, в частности, может быть обусловлено присутствием в выборке "посторонних включений" – наблюдений из совокупности, описываемой другими законами распределения. Оценки максимального правдоподобия могут быть менее эффективными по сравнению с оценками, не лучшими в идеальных условиях, но выигрывающими в эффективности в реальных ситуациях статистического оценивания. Такие оценки благодаря Хыоберу получили название робастных.

Мерой относительной эффективности оценок выступает отношение их погрешностей. В качестве погрешности как меры точности измерения широко используются средняя абсолютная ошибка

и средняя квадратическая ошибка

где – г-е значение случайной величины; – среднее значение случайной величины.

Выбор этих и других мер погрешности относится к категории предпочтений того или иного критерия точности оценивания. При выборе достаточно общего байесовского критерия минимума среднего риска ошибок мера погрешности (7.6) соответствует линейной функции стоимости ошибки, а мера (7.7) – квадратичной.

Робастность в широком смысле можно трактовать как устойчивость оценок в условиях отклонения истинного закона распределения от предполагаемого. Робастность в узком смысле можно трактовать как устойчивость при наличии грубых ошибок, или "засорений", выборки экстремальными наблюдениями. Последний подход хорошо прослеживается на примере оценивания параметра сдвига симметричного распределения.

Задача оценивания параметра сдвига симметричного распределения является одной из важнейших статистических задач, имеющих прикладное значение. Примерами таких распределений могут служить распределение Лапласа

и нормальное распределение

где– параметр сдвига распределения относительно нуля, определяющий положение центра симметрии.

Зависимость симметричного распределения от параметра сдвига можно представить в виде

Оценку максимального правдоподобия (7.5) для параметра сдвига для случая нормального распределения признака (7.8) можно получить путем дифференцирования плотности вероятности функции правдоподобия или монотонно связанного с ней ее логарифма (что намного удобнее)

по параметру сдвига р и приравнивания результата к нулю. В результате для распределения (7.8) с точностью до постоянного множителя, не зависящего от р, получаем уравнение

левая часть которого представляет собой сумму так называемых оценочных функций (score functions)

Оценочная функция может иметь вид, отличный от выражения (7.10).

Оценочную функцию можно использовать для определения весовой функции , если она существует:

Выразив оценочную функцию через весовую из формулы (7.11) и подставив ее в уравнение (7.9), убедимся в том, что весовая функция соответствует своему названию в смысле определения веса каждого наблюдения в формировании оценки параметра сдвига:

Для оценочной функции (7.10) все наблюдения х, равноправны в формировании оценки Д. Для случая отсутствия в выборке "посторонних" объектов это логично. Однако наличие аномальных наблюдений может существенно исказить оценку параметра сдвига нормальной совокупности. Избежать этого можно путем выявления аномалий и их исключения из выборки подобно извлечению одного или нескольких лезвий из складного ножа (jackknife ). Этот принцип лежит в основе джекнайф- процедур оценивания. Их недостатком является отсечение в явном или неявном виде не истинно аномальных наблюдений, а наблюдений, признаваемых аномальными или "подозрительными" на основе выбранного решающего правила, что может привести к искажениям и информационным потерям.

Более общий и часто менее радикальный метод оценки при наличии "засорений" выборки предполагает такую трансформацию оценочной функции, при которой обеспечивается как уменьшение искажающего влияния аномальных наблюдений, так и достаточно полное использование информации, содержащейся в выборке.

Для нормально распределенной генеральной совокупности с плотностью вероятности (7.8) средняя арифметическая величина является несмещенной, состоятельной и эффективной оценкой параметра сдвига в виде математического ожидания р. Однако эффективность ее падает с утяжелением "хвостов" распределения, т.е. наличием достаточно большого числа наблюдений, значительно удаленных от среднего значения. Дж. Тыоки исследовал влияние выбросов на эффективность оценки генерального среднего (параметра сдвига). В качестве модели распределения, полагаемого при оценивании нормальным, он использовал смесь двух нормальных распределений, в которой к основному распределению добавлено с весомраспределение с тем же параметром сдвига, но втрое большей дисперсией :

Величина е определяет вероятность попадания аномальных наблюдений в нормальную выборку с единичной дисперсией, и она, как правило, невелика. "Гьюки показал, что при таком засорении оценки методом максимального правдоподобия неустойчивы: их эффективность резко снижается и оказывается худшей, чем оценка усеченного среднего

где – наблюдения , для которых модуль отклонения от р меньше некоторого порога k. Функция веса всех наблюдений при определении среднего значения приведена на рис. 7.6.

Рис. 7.6.

Прием обнуления наблюдений за пределами некоторого диапазона и приписывания одинаковых положительных весов остальным ("хвостовым") значениям называют цензурированием выборки. Недостатком оценки Тьюки, как и многих других устойчивых оценок, является ее зависимость от оцениваемого параметра, влияющего на диапазон, за пределами которого данные подвергаются "цензуре", т.е. удаляются как ненадежные.

Хьюбер в качестве функции, описывающей "засорения", рассматривал произвольную симметричную функциюс нулевым математическим ожиданием. Оценочную функцию необходимо выбрать таким образом, чтобы при наихудшем засорении оценка обладала минимальным средним квадратом отклонения от истинного значения параметра сдвига:

Разложив в ряд Тейлора оценочную функцию и ограничившись линейным членом, получим приближенное равенство

где – производная оценочной функции по параметру сдвига ц.

Правая часть этого равенства представляет собой отношение средних значений оценочной функции и ее производной.

Асимптотическая дисперсия оценкисоставит

Согласно теореме Хыобера Тематики информационные технологии в целом EN efficient estimator … Справочник технического переводчика

эффективная оценка - efektyvusis įvertis statusas T sritis automatika atitikmenys: angl. efficient estimate; efficient estimator vok. effiziente Schätzung, f rus. эффективная оценка, f pranc. estimation effective, f … Automatikos terminų žodynas

Эффективная оценка - 2.22. Эффективная оценка Источник: ГОСТ 15895 77: Статистические методы управления качеством продукции. Термины и определения … Словарь-справочник терминов нормативно-технической документации

ЭФФЕКТИВНАЯ ОЦЕНКА - несмещенная статистическая оценка, дисперсия к рой совпадает с нижней гранью в Рао Крамера неравенстве. Э. о. является достаточной статистикой для оцениваемого параметра. Если Э. о. существует, то ее можно получить с помощью метода максимального… … Математическая энциклопедия

АСИМПТОТИЧЕСКИ ЭФФЕКТИВНАЯ ОЦЕНКА - понятие, расширяющее идею эффективной оценки на случай больших выборок. Однозначного определения А. э. о. не имеет. Напр., в классич. варианте речь идет об асимптотич. эффективности оценки в подходящим образом выделенном классе оценок. Именно,… … Математическая энциклопедия

ОЦЕНКА ЭФФЕКТИВНАЯ - оценка с минимальной для данного объема выборки дисперсией. О., обладающая аналогичным свойством при неограниченно возрастающем объеме выборки, называется асимптотически эффективной. Свойство эффективности должно учитываться в геологии в… … Геологическая энциклопедия

ЭФФЕКТИВНАЯ ТЕМПЕРАТУРА - з в е з д ы (T э) параметр, характеризующий светимость звезды, т. е. полное кол во энергии, излучаемое звездой в единицу времени. Э. т. связана со светимостью L и радиусом звезды R соотношением L =4pR2sT4 э, где 4pR2 площадь поверхности звезды. Т … Физическая энциклопедия

ОЦЕНКА СТАТИСТИЧЕСКАЯ - функция от случайных величин, применяемая для оценки неизвестных параметров теоретич. распределения вероятностей. Методы теории О. с. служат основой современной теории ошибок; обычно в качестве неизвестных параметров выступают измеряемые физич.… … Математическая энциклопедия

Эффективная площадь рассеяния - Пример диаграммы моностатической ЭПР (B 26 Инвэйдер) Эффективная площадь рассеяния (ЭПР; англ. Radar Cross Section, RCS; в некоторых источниках эффективная поверхность рассеяния, эффективный поперечник рассеяния, эффективная по … Википедия

ОЦЕНКА ЭФФЕКТИВНАЯ - СТАТИСТИЧЕСКОЕ ОЦЕНИВАНИЕ … Социология: Энциклопедия

Книги

• Оценка конкурентоспособности региональных инновационных продуктов на основе метода анализа иерархий , Р. Р. Харисова. Эффективная деятельность предприятия во многом зависит от того, насколько она адаптирована к внешней среде и в какой мере готова к нововведениям. В настоящее времябольшинством… Купить за 152 руб электронная книга
• 3000 примеров по русскому языку. Все правила орфографии. 1 класс. Как научиться быстро писать. Самая эффективная оценка знаний. Автоматизированность навыка , Узорова О., Нефедова Е.. В этом учебном пособии 3000 упражнений и заданий на повторение и закрепление всех тем, которые предусмотрены действующей программой по русскому языку для 1-го класса. Задания помогут…

5. Основные проблемы прикладной статистики - описание данных, оценивание и проверка гипотез

Состоятельность, несмещенность и эффективность оценок

Как сравнивать методы оценивания между собой? Сравнение проводят на основе таких показателей качества методов оценивания, как состоятельность, несмещенность, эффективность и др.

Рассмотрим оценку θ n числового параметра θ, определенную при n = 1, 2, … Оценка θ n называется состоятельной , если она сходится по вероятности к значению оцениваемого параметра θ при безграничном возрастании объема выборки. Выразим сказанное более подробно. Статистика θ n является состоятельной оценкой параметра θ тогда и только тогда, когда для любого положительного числа ε справедливо предельное соотношение

Пример 3. Из закона больших чисел следует, что θ n = является состоятельной оценкой θ = М(Х) (в приведенной выше теореме Чебышёва предполагалось существование дисперсии D (X ); однако, как доказал А.Я. Хинчин , достаточно выполнения более слабого условия – существования математического ожидания М(Х) ).

Пример 4. Все указанные выше оценки параметров нормального распределения являются состоятельными.

Вообще, все (за редчайшими исключениями) оценки параметров, используемые в вероятностно-статистических методах принятия решений, являются состоятельными.

Пример 5 . Так, согласно теореме В.И. Гливенко, эмпирическая функция распределения F n (x ) является состоятельной оценкой функции распределения результатов наблюдений F (x ).

При разработке новых методов оценивания следует в первую очередь проверять состоятельность предлагаемых методов.

Второе важное свойство оценок – несмещенность . Несмещенная оценка θ n – это оценка параметра θ, математическое ожидание которой равно значению оцениваемого параметра: М (θ n ) = θ.

Пример 6. Из приведенных выше результатов следует, что и являются несмещенными оценками параметров m и σ 2 нормального распределения. Поскольку М() = М(m ** ) = m , то выборочная медиана и полусумма крайних членов вариационного ряда m ** - также несмещенные оценки математического ожидания m нормального распределения. Однако

поэтому оценки s 2 и (σ 2 )** не являются состоятельными оценками дисперсии σ 2 нормального распределения.

Оценки, для которых соотношение М (θ n ) = θ неверно, называются смещенными. При этом разность между математическим ожиданием оценки θ n и оцениваемым параметром θ, т.е. М (θ n ) – θ, называется смещением оценки.

Пример 7. Для оценки s 2 , как следует из сказанного выше, смещение равно

М (s 2) - σ 2 = - σ 2 /n .

Смещение оценки s 2 стремится к 0 при n → ∞.

Оценка, для которой смещение стремится к 0, когда объем выборки стремится к бесконечности, называется асимптотически несмещенной . В примере 7 показано, что оценка s 2 является асимптотически несмещенной.

Практически все оценки параметров, используемые в вероятностно-статистических методах принятия решений, являются либо несмещенными, либо асимптотически несмещенными. Для несмещенных оценок показателем точности оценки служит дисперсия – чем дисперсия меньше, тем оценка лучше. Для смещенных оценок показателем точности служит математическое ожидание квадрата оценки М (θ n – θ) 2 . Как следует из основных свойств математического ожидания и дисперсии,

т.е. математическое ожидание квадрата ошибки складывается из дисперсии оценки и квадрата ее смещения.

Для подавляющего большинства оценок параметров, используемых в вероятностно-статистических методах принятия решений, дисперсия имеет порядок 1/n , а смещение – не более чем 1/n , где n – объем выборки. Для таких оценок при больших n второе слагаемое в правой части (3) пренебрежимо мало по сравнению с первым, и для них справедливо приближенное равенство

где с – число, определяемое методом вычисления оценок θ n и истинным значением оцениваемого параметра θ.

С дисперсией оценки связано третье важное свойство метода оценивания – эффективность . Эффективная оценка – это несмещенная оценка, имеющая наименьшую дисперсию из всех возможных несмещенных оценок данного параметра.

Доказано , что и являются эффективными оценками параметров m и σ 2 нормального распределения. В то же время для выборочной медианы справедливо предельное соотношение

Другими словами, эффективность выборочной медианы, т.е. отношение дисперсии эффективной оценки параметра m к дисперсии несмещенной оценки этого параметра при больших n близка к 0,637. Именно из-за сравнительно низкой эффективности выборочной медианы в качестве оценки математического ожидания нормального распределения обычно используют выборочное среднее арифметическое.

Понятие эффективности вводится для несмещенных оценок, для которых М (θ n ) = θ для всех возможных значений параметра θ. Если не требовать несмещенности, то можно указать оценки, при некоторых θ имеющие меньшую дисперсию и средний квадрат ошибки, чем эффективные.

Пример 8. Рассмотрим «оценку» математического ожидания m 1 ≡ 0. Тогда D (m 1 ) = 0, т.е. всегда меньше дисперсии D () эффективной оценки . Математическое ожидание среднего квадрата ошибки d n (m 1 ) = m 2 , т.е. при имеем d n (m 1 ) < d n (). Ясно, однако, что статистику m 1 ≡ 0 бессмысленно рассматривать в качестве оценки математического ожидания m .

Пример 9. Более интересный пример рассмотрен американским математиком Дж. Ходжесом:

Ясно, что T n – состоятельная, асимптотически несмещенная оценка математического ожидания m , при этом, как нетрудно вычислить,

Последняя формула показывает, что при m ≠ 0 оценка T n не хуже (при сравнении по среднему квадрату ошибки d n ), а при m = 0 – в четыре раза лучше.

Подавляющее большинство оценок θ n , используемых в вероятностно-статистических методах, являются асимптотически нормальными, т.е. для них справедливы предельные соотношения:

для любого х , где Ф(х) – функция стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1. Это означает, что для больших объемов выборок (практически - несколько десятков или сотен наблюдений) распределения оценок полностью описываются их математическими ожиданиями и дисперсиями, а качество оценок – значениями средних квадратов ошибок d n (θ n ).

Выборочные характеристики. Состоятельные,

В начале курса были рассмотрены такие понятия как классическая и статистическая вероятности.

Если классическая вероятность - это теоретическая характеристика, которую можно определить, не прибегая к опыту, то статистическая вероятность может быть определена только по результатам эксперимента. При большем числе опытов величина W(A) может служить оценкой для вероятности P(A). Достаточно вспомнить классические опыты Бюффона и Пирсона. Подобные аналогии можно продолжить и далее. Например, для теоретической характеристики М(x) таковой аналогией будет - среднее арифметическое:

= i f i / n ,

для дисперсии D(x) эмпирическим аналогом будет статистическая дисперсия:

S 2 (x) = (x i - ) 2 f i / n .

Эмпирические характеристики , S 2 (x) , W(A) являются оценками параметров М(x) , D(x) , P(A) . В тех случаях, когда эмпирические характеристики определяются на основе большого числа опытов, использование их в качестве теоретических параметров не приведет к существенным ошибкам в исследовании, однако в тех случаях, когда число опытов ограничено, ошибка при замене будет существенна. Поэтому к эмпирическим характеристикам, являющимися оценками теоретических параметров предъявляются 3 требования:

оценки должны быть состоятельными, несмещенными и эффективными.

Оценка называется состоятельной, если вероятность отклонения ее от оцениваемого параметра на величину меньшую как угодно малого положительного числа стремится к единице при неограниченном увеличении числа наблюдений n , т.е.

P(| - | < ) = 1

где - некоторый параметр генеральной совокупности,

/ - оценка этого параметра. Большинство оценок различных чис­ловых параметров отвечают этим требованиям. Однако одного этого требования бывает недостаточно. Необходимо, чтобы они еще были и несмещенными.

Оценка называется несмещенной, если математическое ожидание этой оценки равно оцениваемому параметру:

М ( / ) = .

Примером состоятельной и несмещенной оценки систематического ожидания является средняя арифметическая:

М () = .

Примером состоятельной и смещенной оценки является

дисперсия:

М (S 2 (x) ) = [ (n – 1)/ n] D(x).

Поэтому, чтобы получить несмещенную оценку теоретической дисперсии D(x) надо эмпирическую дисперсию S 2 (x) умножить на n/(n – 1) , т.е.

S 2 (x) = (x i - ) 2 f i / n n /(n – 1) = (x i - ) 2 f i /(n – 1) .

Практически эту поправку вносят при вычислении оценки дисперсии в тех случаях, когда n < 30 .

Состоятельных несмещенных оценок может быть несколько. Например, для оценки центра рассеивания нормального распределения наряду со средней арифметической , может быть взята медиана . Медиана так же, как и является несмещенной состоятельной оценкой центра группирования. Из двух состоятельных несмещенных оценок для одного и того же параметра естественно отдать пред­почтение той, у которой дисперсия меньше.

Такая оценка, у которой дисперсия будет наименьшей относительно оцениваемого параметра, называется эффективной . Например, из двух оценок центра рассеивания нормального распределения М(x) эффективной оценкой является , а не , так как дисперсия меньше дисперсии . Сравнительная эффективность этих оценок при большой выборке приближенно равна: D() / D= 2/ = 0,6366.

Практически это означает, что центр распределения генеральной совокупности (назовем его 0) определяется по с той же точностью при n наблюдениях, как и при 0,6366 n наблюдениях по средней арифметической .

4.4. Свойства выборочных средних и дисперсий.

1. Если объем выборки достаточно велик, то на основе закона больших чисел с вероятностью близкой к единице, можно утверждать, что средняя арифметическая и дисперсия S 2 будут как угодно мало отличаться от М(x) и D(x ), т.е.

М(x) , S 2 (x) D(x ),

Для того, чтобы статистические оценки давали хорошее приближение оцениваемых параметров, они должны быть несмещенные, эффективные и состоятельные.

Несмещенной называется статистическая оценка параметра, математическое ожидание которой равно оцениваемому параметру при любом объеме выборки.

Смещенной называется статистическая оценка
параметра, математическое ожидание которой не равно оцениваемому параметру.

Эффективной называется статистическая оценка
параметра, которая при заданном объеме выборкиимеет наименьшую дисперсию.

Состоятельной называется статистическая оценка
параметра, которая при
стремится по вероятности к оцениваемому параметру.

т.е.для любого

.

Для выборок различного объема получаются различные значения среднего арифметического и статистической дисперсии. Поэтому среднее арифметическое и статистическая дисперсия являются случайными величинами, для которых существуют математическое ожидание и дисперсия.

Вычислим математическое ожидание среднего арифметического и дисперсии. Обозначим через математическое ожидание случайной величины

Здесь в качестве случайных величин рассматриваются: – С.В., значения которой равны первым значениям, полученным для различных выборок объемаиз генеральной совокупности,
–С.В., значения которой равны вторым значениям, полученным для различных выборок объемаиз генеральной совокупности, …,
– С.В., значения которой равны-м значениям, полученным для различных выборок объемаиз генеральной совокупности. Все эти случайные величины распределены по одному и тому же закону и имеют одно и то же математическое ожидание.

Из формулы (1) следует, что среднее арифметическое является несмещенной оценкой математического ожидания, так как математическое ожидание среднего арифметического равно математическому ожиданию случайной величины. Эта оценка является также состоятельной. Эффективность данной оценки зависит от вида распределения случайной величины
. Если, например,
распределена нормально, оценка математического ожидания с помощью среднего арифметического будет эффективной.

Найдем теперь статистическую оценку дисперсии.

Выражение для статистической дисперсии можно преобразовать следующим образом

(2)

Найдем теперь математическое ожидание статистической дисперсии

. (3)

Учитывая, что
(4)

получим из (3)-

Из формулы (6) видно, что математическое ожидание статистической дисперсии отличается множителем от дисперсии, т.е. является смещенной оценкой дисперсии генеральной совокупности. Это связано с тем, что вместо истинного значения
, которое неизвестно, в оценке дисперсии используется статистическое среднее.

Поэтому введем исправленную статистическую дисперсию

(7)

Тогда математическое ожидание исправленной статистической дисперсии равно

т.е. исправленная статистическая дисперсия является несмещенной оценкой дисперсии генеральной совокупности. Полученная оценка является также состоятельной.