Simpsoni paradoks (Yule–Simpson): seletus ja näited statistikast

Simpsoni paradoks selgitatud: lihtsad selgitused, kuidas rühmade ühendamine võib eksitada, ja praktilised näited Yule–Simpsoni efektist meditsiinis ja sotsiaalteadustes.

Simpsoni paradoks on statistika paradoks. See on nime saanud Briti statistiku Edward H. Simpsoni järgi, kes kirjeldas seda esimest korda 1951. aastal. Statistik Karl Pearson kirjeldas väga sarnast efekti 1899. aastal.- Udny Yule'i kirjeldus pärineb 1903. aastast. Mõnikord nimetatakse seda Yule-Simpsoni efektiks. Rühmade statistilisi skoore vaadates võivad need skoorid muutuda sõltuvalt sellest, kas rühmi vaadeldakse ükshaaval või ühendatakse need suuremaks rühmaks. See juhtum esineb sageli sotsiaalteadustes ja meditsiinilises statistikas. See võib inimesi segadusse ajada, kui põhjusliku seose selgitamiseks kasutatakse sageduse andmeid. Paradoksi muud nimetused on pöördparadoks ja amalgamatsiooniparadoks.

Mida Simpsoni paradoks tähendab?

Simpsoni paradoks tekib siis, kui kaks või enam rühma näitavad ühesugust või sarnast suunduvat seost (näiteks ravimeetod A tundub mõlemal alarühmal paremini toimivat), kuid kui need alarühmad koondatakse kokku, siis üldine (aggregeeritud) seos pöördub vastupidiseks. Põhjus on sageli selles, et alarühmade suhteline suurus või mingi peidetud (kontrollimata) tunnus ei jaotu rühmades võrdselt — sellist tunnust nimetatakse ka konfundeerivaks või varjatud muutujaks.

Lihtne näide (kidney stone ehk neerukivi‑näide)

Üks tuntud näide meditsiinist: kaks ravimeetodit (A ja B) annavad parema edukuse nii väikeste kui ka suurte kivi puhul eraldi vaadatuna, kuid kui kõik patsiendid kokku liita, tundub ravimeetod B olevat parem. See juhtub seetõttu, et A-d kasutatakse proportsionaalselt rohkem raskemates juhtudel, kus õnnestumise tõenäosus on juba madalam, ja B-d kasutatakse rohkem kergemates juhtudel. Selline eriotstarbeline jaotus muudab üldise (kaalutud) keskmise, mis võib tulemuse pöörata.

Matemaatiline seletus (lihtsustatult)

• Olgu kahe alarühma (1 ja 2) tõenäosused näiteks rühmas A: rA1 ja rA2, rühmas B: rB1 ja rB2.
• Alarühmade suurused (kaalud) võivad olla erinevad: nA1, nA2, nB1, nB2. Üldine (aggregeeritud) edu rühmas A on (nA1·rA1 + nA2·rA2)/(nA1 + nA2), analoogiliselt B jaoks.
• Kui iga alarühma rA_i > rB_i (A on paremuselt parem igas alarühmas), aga kaalud on sellised, et B saab suurema osa oma proovide massist alarühmadest, kus erinevused on väiksemad, siis võib kokkuvõttes osutuda B paremaks. See on kaalude (proportsioonide) efekt.

Kus ja miks see on oluline?

• Meditsiin: valed järeldused ravitõhususe kohta, kui ei kontrollita haiguse raskusastet või muid konfundeerivaid tegureid.
• Sotsiaalteadused: näited diskrimineerimisväidetes, töötasu ja vastuvõtu statistikates (näiteks ülikooli sisseastumisel), kus eri rühmade suurus ja taustmuutujad mõjutavad lõpptulemusi.
• Poliitika ja avalik arutelu: andmete valeaggregeerimine võib viia ekslike poliitiliste järeldusteni.

Kuidas Simpsoni paradoksi tuvastada ja vältida?

• Stratifikatsioon: vaata andmeid alarühmade kaupa (näiteks vanuse, haiguse raskuse, sooluse jm tunnuste järgi).
• Kontrolli konfundeerivaid muutujaid: kasuta mitmemõõtmelisi meetodeid (regressioon, logistiline regressioon, Mantel–Haenszel kordaja), mis võtavad arvesse olulisi taustmuutujaid.
• Kujuta andmeid: ristikud tabelid ja graafikud aitavad näha, kas suundumus rühmades on ühtlane või pöördub.
• Kasuta juhuslikustamist: võimalusel vali juhuslik kontrollitud katse (RCT), mis vähendab konfundeerimise riski.
• Teata eraldi ja üldised tulemused: ära piirdu ainult agregaatide esitamisega — näita ka alarühmade tulemusi ja selgita, milline muutuja võib tulemuse mõjutada.
• Kaasa põhjuste mõistmine: ära tee põhjuslikke järeldusi ainult seosest — kaardista võimalikke teid (näiteks kaudsed mõjurid) ja kasuta kaasuvaid analüüsimeetodeid (nt propensity score).

Praktilised meetodid ja testid

Mõned statistilised meetodid aitavad hinnata, kas agregeeritud tulemuse ja alarühmade tulemuste erinevus on olulise tähendusega: Mantel–Haenszel'i standardiseeritud suhte arvutamine, multitabeliline logistiline regressioon koos interaktsioonitermidega, standardiseeritud määrade arvutamine (direct/indirect standardization). Valik sõltub andmete tüübist ja uurimisküsimusest.

Oluline tähelepanek

Simpsoni paradoks ei ole tegelikult loogiline paradoks: tegemist on matemaatilise nähtusega, kus keskmiste ja kaalude erinevused muudavad seose suunda. See näitab eelkõige seda, et andmete interpreteerimisel tuleb olla ettevaatlik ning võtta arvesse potentsiaalseid konfundeerivaid muutujaid ja rühmitamisviise. Andmeid ei tohiks jätta pimesi kokku liitmata, kui on teada olulisi alarühmi või taustmuutujaid.

Lühike ajalooline märk

Nagu algtekst märkis, märkas sarnast nähtust juba Karl Pearson ja Udny Yule 19.–20. sajandi vahetusel, kuid Edward H. Simpson kirjeldas seda formaalselt 1951. aastal, mille tõttu kasutatakse sageli nimetust Simpsoni paradoks või Yule–Simpsoni efekt.

Otsing