Lemat Neymana-Pearsona

Lemat Neymana-Pearsona – twierdzenie z obszaru statystyki opublikowane przez Jerzego Neymana i Egona Pearsona w 1933. Stanowi – w amalgamacie z wcześniejszą propozycją Ronalda Fishera – jedną z podstaw procedury weryfikacji hipotez w podejściu częstościowym^[1][2][3].

Kontekst i motywacja

 Główny artykuł: Wnioskowanie częstościowe.

Procedura testowa zaproponowana przez Fishera w 1925 miała następującą postać^[1]:

1. Wybierz hipotezę zerową ${\displaystyle H_{0}.}$ Nie musi ona zakładać zerowego efektu, tylko taki jaki chcesz sfalsyfikować.
2. Wykonaj obserwację i przedstaw jej surową wartość ${\displaystyle p.}$ Oceń na tej podstawie wartość dowodową danych według własnych kryteriów.
3. Korzystaj z tej procedury tylko jeśli badasz słabo znany obszar i nie masz lepszych narzędzi.

Neyman i Pearson uznali tę propozycję za niesatysfakcjonującą z szeregu powodów, i pracowali nad przedstawionym poniżej alternatywnym podejściem:

1. Wybierz dwie hipotezy, które chcesz porównać: ${\displaystyle H_{1}}$ i ${\displaystyle H_{2},}$ oraz dostosowane do konkretnego problemu dopuszczalne ryzyko błędów pierwszego rodzaju ${\displaystyle \alpha }$ i drugiego rodzaju ${\displaystyle \beta .}$ Wykonaj na ich podstawie analizę kosztów w celu wybrania optymalnego testu i wielkości próby dla rozstrzygania pomiędzy hipotezami na wybranym poziomie błędów.
2. Jeśli zaobserwowane dane spełniają kryterium odrzucenia ${\displaystyle H_{1},}$ postępuj tak jakby ${\displaystyle H_{2}}$ była prawdziwa; w przeciwnym razie postępuj tak, jakby prawdziwa była ${\displaystyle H_{1}.}$
3. Procedura ta nie rozstrzyga o prawdziwości hipotez, ale pozwala w długim horyzoncie czasowym utrzymywać ryzyko błędów w założonych granicach. Jest odpowiednia tylko do zastosowań, w których można jasno określić ${\displaystyle \alpha }$ i ${\displaystyle \beta ,}$ a ${\displaystyle H_{1}}$ i ${\displaystyle H_{2}}$ dają rozbieżne przewidywania.

Lemat Neymana-Pearsona jest matematyczną formalizacją i dookreśleniem pierwszego punktu, opisując metodę konstrukcji optymalnego warunku krytycznego dla przyjętych ${\displaystyle \alpha }$ i ${\displaystyle \beta .}$

Autorzy obu procedur dopracowywali je z biegiem lat i pozostawali w sporze o ich filozoficzne i praktyczne aspekty do końca życia. Po 1940 r. oba podejścia zaczęły być, wbrew wypowiedziom ich twórców, łączone w podręcznikach w coraz bardziej hybrydową i uproszczoną postać, i przedstawiane przy pomocy języka sugerującego, że pojedyncze wyniki mogą być używane do wyciągania wniosków o subiektywnym prawdopodobieństwie hipotez^[1][3][4][5]. Ma ona następującą formę – w krytycznym omówieniu Gigerenzera^[1]:

1. Przyjmij hipotezę zerową ${\displaystyle H_{0},}$ która zakłada zerowy efekt (brak różnic lub korelacji). Nie potrzebujesz określać żadnych szczegółów własnej hipotezy badawczej.
2. Przyjmij ryzyko błędów pierwszego rodzaju ${\displaystyle \alpha }$ na poziomie istotności 5% i wykonaj test ${\displaystyle H_{0}.}$ Jeśli wartość p przekroczy ${\displaystyle \alpha ,}$ uznaj swoją hipotezę badawczą za potwierdzoną. Zależnie od wartości ${\displaystyle p,}$ możesz przedstawić wyniki jako „istotne” na poziomie ${\displaystyle p<0{,}05,}$ ${\displaystyle p<0{,}01}$ lub ${\displaystyle p<0{,}001.}$
3. Stosuj tę procedurę do wszystkich zastosowań.

Ta ostatnia metoda stała się w drugiej połowie XX wieku stosowaną powszechnie, i jest w ocenie m.in. Gigerenzera czy Cohena, „bezmyślnym rytuałem”, używanym zbyt często do celów, do których nie została nigdy przeznaczona ani uprawomocniona^[1][6][7][8].

Intuicja

Neyman i Pearson jasno odcięli się od kwestii bezpośredniej oceny hipotez, stwierdzając że „żaden test oparty o teorię prawdopodobieństwa nie może sam w sobie stanowić wartościowego dowodu prawdziwości lub fałszywości hipotez”. Uznali, że są natomiast w stanie formalnie opisać reguły decyzyjne, które pozwalają przynajmniej na długoterminowe unikanie błędów^[2].

Ich propozycja opiera się o założenie, że ${\displaystyle H_{1}}$ i ${\displaystyle H_{2}}$ prognozują różne rozkłady badanego parametru w populacji, oraz że próby mogą być z niej pobierane wielokrotnie. Reguły prawdopodobieństwa uzasadniają wówczas oczekiwanie, że w długim okresie próby odzwierciedlą leżący u ich podłoża prawdziwy rozkład. Definiują następnie test statystyczny jako regułę rozstrzygającą pomiędzy hipotezami na podstawie tego, czy próba leży w krytycznym regionie rozkładu który jest zdecydowanie bardziej prawdopodobny dla jednej z nich. To, co badacz uzna za krytyczny region, zależy w ujęciu Neymana i Pearsona od konieczności balansowania ryzyka błędów ${\displaystyle \alpha }$ i ${\displaystyle \beta }$^[2].

Ujęcie to wyznacza cztery podstawowe możliwości – dwa trafne rozpoznania i dwa błędy – odpowiadające przyjęciu^[2]:

• prawdziwej hipotezy ${\displaystyle H_{1},}$
• fałszywej hipotezy ${\displaystyle H_{1}}$ (błąd pierwszego rodzaju, którego ryzyko to ${\displaystyle \alpha }$),
• prawdziwej hipotezy ${\displaystyle H_{2},}$
• fałszywej hipotezy ${\displaystyle H_{2}}$ (błąd drugiego rodzaju, którego ryzyko to ${\displaystyle \beta }$).

W tym zakresie w jakim rozkłady pokrywają się, istnieje niebezpieczeństwo że próba pochodząca z jednego z nich może zostać omyłkowo przypisana drugiemu. Lemat dowodzi, że sensowny („najlepszy”) region krytyczny leży na tym zakresie, „na skraju” rozkładów. Ceteris paribus, ${\displaystyle \alpha }$ i ${\displaystyle \beta }$ wykluczają się – zmiana regionu krytycznego która zwiększa jedno z nich, musi zmniejszać drugie. Najlepszy obszar krytyczny można więc określić jako ${\displaystyle \alpha }$ szerokości o minimalnym prawdopodobieństwie z jednego rozkładu, który wyznacza jednocześnie analogiczne ${\displaystyle \beta }$ szerokości drugiego – niezależnie od tego jakie konkretnie ${\displaystyle \alpha }$ zostało wybrane^[2].

Powyższa konstrukcja regionu krytycznego stanowi podstawę testu statystycznego o najwyższej mocy. Można go zrealizować ilorazem funkcji wiarygodności danych przy założeniu obu rozkładów, rozstrzygającym na korzyść jednego z nich zależnie od tego, czy plasuje próbę w obszarze krytycznym. Jeśli przyjęto trafny model statystyczny do określania wiarygodności, a próby są losowe, to decyzje oparte o rezultaty takiego testu asymptotycznie (w liczbie prób zmierzającej do nieskończoności) prowadzą do błędów jedynie z przyjętymi nominalnymi poziomami ryzyka^[2].

W uproszczeniu, lemat sprowadza się do tego, że region krytyczny testu powinien leżeć „na skraju” rozkładów. Jego historyczne znaczenie polega też na ogólnym przedstawieniu podejścia Neymana i Pearsona do testów, oraz opracowaniu zagadnienia mocy testu we wnioskowaniu statystycznym^[2][3].

Lemat

Poniższa ekspozycja lematu Neymana-Pearsona oparta jest o jego prezentację w podręczniku Mooda, Graybilla i Boesa^[9].

Niech ${\displaystyle X}$ będzie próbą losową z funkcji ${\displaystyle f(x;\theta )}$ na mierze prawdopodobieństwa ${\displaystyle \mu ,}$ gdzie hipotetyczny parametr ${\displaystyle \theta }$ przyjmuje jedną z dwóch znanych wartości ${\displaystyle \theta _{0}}$ lub ${\displaystyle \theta _{1},}$ a ${\displaystyle \alpha }$ stałą z przedziału ${\displaystyle 0<\alpha <1.}$ Niech ${\displaystyle k^{*}}$ będzie dodatnią stałą, a region krytyczny ${\displaystyle C^{*}}$ podzbiorem całej przestrzeni probabilistycznej ${\displaystyle \chi ,}$ które spełniają warunki:

1. ${\displaystyle P_{\theta _{0}}{\big [}X\in C^{*}{\big ]}=\alpha ,}$
2. ${\displaystyle \lambda ={\frac {L(\theta _{0};X)}{L(\theta _{1};X)}}={\frac {L_{0}}{L_{1}}}\leqslant k^{*}}$ jeśli ${\displaystyle X\in C^{*}}$ oraz ${\displaystyle \lambda \geqslant k^{*}}$ jeśli ${\displaystyle X\in {\overline {C}}^{*}.}$

Wówczas test ${\displaystyle \mathrm {T} ^{*}}$ odpowiadający regionowi krytycznemu ${\displaystyle C^{*}}$ jest testem hipotez ${\displaystyle H_{0}:\theta =\theta _{0}}$ i ${\displaystyle H_{1}:\theta =\theta _{1}}$ o największej mocy ${\displaystyle (1-\beta )}$ przy danym ${\displaystyle \alpha .}$

Dla przypomnienia, wiarygodność to w tym przypadku całkowite prawdopodobieństwo danych obserwacji przy prawdziwości konkretnego parametru: ${\displaystyle L_{j}=L(\theta _{j};X)=\prod _{i=1}^{n}f(x_{i};\theta _{j})}$ dla ${\displaystyle j\in (0,1),}$ a ${\displaystyle {\overline {C}}^{*}}$ to dopełnienie zbioru: ${\displaystyle {\overline {C}}^{*}=\chi -C^{*}.}$

Dowód

Przyjmijmy, że ${\displaystyle k^{*}}$ i ${\displaystyle C^{*}}$ spełniające warunki 1 i 2 istnieją. Jeśli nie ma żadnego innego testu o istotności ${\displaystyle \alpha }$ lub niższej, ${\displaystyle \mathrm {T} ^{*}}$ jest automatycznie testem o najwyższej mocy. Załóżmy, że istnieje alternatywny test ${\displaystyle \mathrm {T} }$ o takiej istotności istnieje, z regionem krytycznym ${\displaystyle C{:}}$ ${\displaystyle P_{\theta _{0}}{\big [}X\in C{\big ]}\leqslant \alpha .}$ Dowód wymaga wykazania, że nie ma wyższej mocy, ${\displaystyle \pi _{\mathrm {T} ^{*}}\geqslant \pi _{\mathrm {T} }.}$

Kroki dowodu wykorzystują wiele wzajemnych relacji zbiorów ${\displaystyle C^{*}}$ i ${\displaystyle C,}$ w związku z czym w podążaniu za nim może być pomocne odwoływanie się do ich prostego diagramu Venna.

Przyjmijmy, że dla każdego podzbioru ${\displaystyle R\in \chi }$ oraz ${\displaystyle j\in (0,1)}$ będziemy zapisywać następujące całki wielokrotne dla skrótu w następujący sposób:

${\displaystyle \int \limits _{R}\dots \int \left[\prod _{i=1}^{n}f(x_{i};\theta _{j})\right]=\int _{R}L_{j}.}$

Udowodnienie że ${\displaystyle \pi _{\mathrm {T} ^{*}}\geqslant \pi _{\mathrm {T} }}$ jest równoważne wykazaniu, że ${\displaystyle \int _{C^{*}}L_{1}\geqslant \int _{C}L_{1}.}$ Następnie:

${\displaystyle \int _{C^{*}}L_{1}-\int _{C}L_{1}=\int _{C^{*}{\overline {C}}}L_{1}-\int _{C{\overline {C}}^{*}}L_{1}\geqslant {\frac {1}{k^{*}}}\int _{C^{*}{\overline {C}}}L_{1}-{\frac {1}{k^{*}}}\int _{C{\overline {C}}^{*}}L_{1},}$

ponieważ dla regionu krytycznego ${\displaystyle C^{*},}$ i stąd także dla ${\displaystyle C^{*}{\overline {C}}{:}}$

${\displaystyle L_{1}\geqslant {\frac {L_{0}}{k^{*}}},}$

a dla dopełnienia regionu, ${\displaystyle {\overline {C}}^{*},}$ czyli także dla ${\displaystyle C{\overline {C}}^{*}{:}}$

${\displaystyle L_{1}\leqslant {\frac {L_{0}}{k^{*}}}}$ oraz ${\displaystyle -L_{1}\geqslant -{\frac {L_{0}}{k^{*}}}.}$

Jednakże:

${\displaystyle {\begin{aligned}&{\frac {1}{k^{*}}}\left(\int _{C^{*}{\overline {C}}}L_{0}-\int _{C{\overline {C}}^{*}}L_{0}\right)\\={}&{\frac {1}{k^{*}}}\left(\int _{C^{*}{\overline {C}}}L_{0}+\int _{C^{*}C}L_{0}-\int _{C^{*}C}L_{0}-\int _{C{\overline {C}}^{*}}L_{0}\right)\\={}&{\frac {1}{k^{*}}}\left(\int _{C^{*}}L_{0}-\int _{C}L_{0}\right)\\={}&{\frac {1}{k^{*}}}(\alpha -\alpha _{\mathrm {T} ^{*}})\geqslant 0\end{aligned}}}$

co pozwala na konkludowanie dowodu:

${\displaystyle \int _{C^{*}}L_{1}-\int _{C}L_{1}\geqslant 0.}$

Przypisy