Достаточная статистика для параметра , определяющая некоторое семейство распределений вероятности — статистика такая, что условная вероятность выборки при данном значении не зависит от параметра То есть выполняется равенство:

Достаточная статистика таким образом содержит в себе всю информацию о параметре , которая может быть получена на основе выборки X. Поэтому понятие достаточной статистики широко используется в теории оценки параметров.

Наиболее простой достаточной статистикой является сама выборка , однако действительно важными являются случаи, когда величина достаточной статистики значительно меньше величины выборки, в частности, когда достаточная статистика выражается лишь несколькими числами.

Достаточная статистика называется минимально достаточной, если для каждой достаточной статистики T существует неслучайная измеряемая функция g, что почти всюду.

Теорема факторизации

Теорема факторизации даёт способ практического нахождения достаточной статистики для распределения вероятности. Она даёт достаточные и необходимые условия достаточности статистики и утверждение теорем иногда используется в качестве определения.

Пусть  — некоторая статистика, а  — условная функция плотности или функция вероятности (в зависимости от вида распределения) для вектора наблюдений X. Тогда является достаточной статистикой для параметра , если и только если существуют такие измеримые функции h и g,, что можно записать:

Доказательство

Ниже приведено доказательство для частного случая, когда распределение вероятностей является дискретным. Тогда  — Функция вероятности.

Пусть данная функция имеет факторизацию, как в формулировке теоремы, и

Тогда имеем:

Отсюда видим, что условная вероятность вектора X при заданном значении статистики не зависит от параметра и соответственно  — достаточная статистика.

Наоборот можем записать:

Из приведённого выше имеем, что первый множитель правой части не зависит от параметра и его можно взять за функцию h(x) из формулировки теоремы. Другой множитель является функцией от и и его можно взять за функцию Таким образом, получена необходимая декомпозиция, что завершает доказательство теоремы.

Примеры

Распределение Бернулли

Пусть  — последовательность случайных величин, что равны 1 с вероятностью p и равны 0 с вероятностью 1 — p (то есть, имеют распределение Бернулли). Тогда

если взять

Тогда данная статистика является достаточной согласно теореме факторизации, если обозначить

Распределение Пуассона

Пусть  — последовательность случайных величин с распределением Пуассона. Тогда

де

Данная статистика является достаточной согласно теореме факторизации, если обозначить

Равномерное распределение

Пусть  — последовательность равномерно распределённых случайных величин . Для этого случая

Отсюда следует, что статистика является достаточной.

Нормальное распределение

Для случайных величин с нормальным распределением достаточной статистикой будет

Свойства

• Для достаточной статистики T и биективного отображения статистика тоже является достаточной.
• Если  — статистическая оценка некоторого параметра  — некоторая достаточная статистика и то является лучшей оценкой параметра в смысле среднеквадратичного отклонения, то есть выполняется неравенство

причём равенство достигается лишь когда является измеряемой функцией от T. (Теорема Рао — Блэквелла — Колмогорова)

• Из предыдущего получается, что оценка может быть оптимальной в смысле среднеквадратичного отклонения лишь когда она является измеряемой функцией минимальной достаточной статистики.
• Если статистика является достаточной и полной (то есть, из того, что следует, что ), то произвольная измеряемая функция от неё является оптимальной оценкой своего математического ожидания.

См. также

• Статистическая оценка
• Параметр

Литература

• Kholevo, A.S. (2001), «Sufficient statistic», in Hazewinkel, Michiel, Encyclopaedia of Mathematics, Springer, ISBN 978-1556080104
• Lehmann, E. L.; Casella, G. (1998). Theory of Point Estimation (2nd ed.). Springer. Chapter 4. ISBN 0-387-98502-6.