William J. Sutherland, a Cambridge-i Egyetem zoológia professzora, David Spiegelhalter, szintén a Cambridge-i Egyetem matematika professzora és Mark Burgman, a Melbourne-i Egyetem botanika professzora 2013. november 21-én jelentették meg alábbi cikküket a Nature c. folyóirat 503. számában:
Ez a lista segíteni fogja a nem tudósokat a tanácsadók kikérdezésében, és abban, hogy megértsék a bizonyítékok korlátait, állítja William J. Sutherland, David Spiegelhalter és Mark A. Burgman.
Évtizedek óta ismételgetett közhely, hogy a politikai döntéshozatalban szükség lenne a tudomány erőteljesebb bevonására. A politika területén azonban komoly problémát jelent a tudományos eredmények használata – az energetikától kezdve az egészségügyön és környezetvédelmen át az oktatásig.
Egy lehetséges megoldás lenne, ha több tudóst bátorítanánk arra, hogy vegyenek részt a politikában. Bár ez dicséretes, irreális azt várni, hogy a tudósok lényegesen nagyobb mértékben fognak szerepet vállalni a politikában. Egy másik megoldási lehetőség az lenne, hogy kiterjesszük a vezető tudományos tanácsadók szerepkörét, növeljük a számukat, elérhetőségüket és részvételüket a politikai döntéshozatali mechanizmusokban. Azonban egyik megközelítés sem számol a probléma alapjával, vagyis a parlamenti képviselők jelentős részének tudományos képzetlenségével, tudatlanságával.
Talán tanítsuk tudományra a politikusokat? Ez egy vonzó ötlet, de melyik elfoglalt politikusnak van erre ideje? A politikacsinálók a gyakorlatban szinte soha sem olvasnak tudományos tanulmányokat vagy könyveket. Az aktuális napi kutatási területek eredményeit – mint például a mitokondriumcsere, szarvasmarha TBC vagy a nukleáris tüzelőanyag ártalmatlanítása – tanácsadók vagy külső szakértők, lobbisták magyarázzák el nekik. És csak nagyon ritkán fordul elő, ha egyáltalán, hogy egy nagy mintán elvégzett, elegánsan megtervezett, kettős vak, randomizált, megismételt, szabályozott kísérlet félreérthetetlen eredménye eldönt egy politikai kérdést.
Kép forrása: Understanding Science
Ebben az összefüggésben, azt javasoljuk, hogy kiemelt fontossággal kell kezelnünk azt a kérdést, hogy a politikacsinálókkal megértessük a tudomány tökéletlen természetét. Lényegbe vágó, hogy képesek legyenek intelligensen kikérdezni a szakértőket és tanácsadókat, hogy megértsék a bizonyítékok minőségét, korlátait és részlehajlását. Ezt tudományértelmezési képességnek nevezzük. Ez a képesség könnyebben elsajátítható, mint magának a tudománynak a megértése, és részét képezheti majd a legtöbb politikus széleskörű képességeinek.
A cikkben 20 irányelvre teszünk javaslatot, melyeket szükségesnek tartunk köztisztviselőknek, politikusoknak, politikai tanácsadóknak és újságíróknak megtanítani – mint ahogy mindenki másnak, aki kapcsolatba kerül a tudománnyal és tudósokkal. A tudományos tanácsadókkal szemben eleve egészséges szkepticizmussal rendelkező politikusok egyszerűen csak örülnek majd annak, hogy felvértezhetik magukat ezzel a kritikai tudással.
Nem gondoljuk azt, hogy ezután a politikai döntéshozatal minősége automatikusan javulni fog. Tökéletesen tisztában vagyunk azzal, hogy a tudományos vélemény maga is értékalapú, és az előítéletek és összefüggések határozzák meg az adatgyűjtést és az eredmények értelmezését is. Ezért csak egy egyszerű ötletlistát ajánlunk, amely segítheti a döntéshozókat annak megértésében, hogy a bizonyítékok hogyan járulnak hozzá a döntéshozatalhoz, és hogy elkerülhessék anyagilag érdekelt felek káros befolyását. A nehezebb rész – a különféle politikák társadalmi elfogadottsága – a politikusok kezében marad a szélesebb politikai folyamat részeként.
Természetesen mások némileg különböző listákkal fognak előállni. Véleményünk szerint ennek a 20 elképzelésnek a társadalom általi széleskörű megismerése jelentős haladást jelentene.
A különbözőség és a véletlen ingadozást okoz. A valódi világ megjósolhatatlanul ingadozik, változik. A tudomány jobbára azzal foglalkozik, hogy felfedezze, hogy mi okozza a megfigyelt mintázatot. Miért melegebb ez az évszak, mint az előző? Miért van több madár egyes területeken, mint másokon? Sok elmélet adódik az ilyen tendenciák magyarázatára, tehát a kutatás fő feladata, hogy elkülönítse a lényeges folyamatokat (például a klímaváltozás hatása a madárpopulációra) a többi megszámlálhatatlan változásforrástól (széleskörű változásoktól, mint a mezőgazdaság intenzitása vagy az invazív fajok terjedése, a helyi szintű, esetleges folyamatokig, amik a születéseket és halálozásokat határozzák meg).
Nincs pontos mérés. Lényegében minden mérésnek van valamekkora hibája. Ha a méréseket folyamatosan ismétlik, akkor lesz eltérő mért érték. Bizonyos esetekben a mérési hiba összemérhetően nagy lesz a valós eltérésekhez képes. Tehát, ha az mondják, hogy a gazdaság az elmúlt hónapban 0,13%-ot növekedett, akkor van arra némi esély, hogy valójában csökkent. Az eredményeket a járulékos hibának megfelelő pontossággal kell bemutatni, elkerülendő a nem igazolható mértékű pontosság sejtetését.
Az elfogultság gyakorisága. A mérési elrendezés vagy a mérőeszközök egy adott irányban torzíthatnak. Például, ha a választási eredményeket szeretnénk előre jelezni úgy, hogy embereket kérdezünk meg az utcán, otthon vagy az interneten, akkor a népesség különféle részéből veszünk mintát, és mindegyik más-más eredményt adhat. Mivel valószínűbb, hogy azokat a tanulmányokat írják meg és adják ki, amelyek „statisztikailag szignifikáns” eredménnyel szolgálnak, ezért a tudományos irodalom hajlamos túlzó képet mutatni a problémák jelentőségét vagy a megoldás hatékonyságát illetően. A kísérletet torzíthatják a várakozások: a résztvevők, akik megkapják a kezelést, azt feltételezhetik, hogy valamilyen változást fognak tapasztalni, ezért másképpen viselkedhetnek, vagy valamilyen hatásról számolnak be. A kutatókra, akik a mérési eredményeket összegyűjtik, hatással lehet, hogyha tudják, hogy ki kapta meg a kezelést. Az ideális kísérlet ezért kettős vak: sem a résztvevők, sem az adatokat gyűjtők nem tudhatják, hogy ki kapott kezelést. Ez könnyen megoldható gyógyszerkísérletek esetében, de sok szociológiai kutatás esetén kivitelezhetetlen. Megerősített előítélet akkor jelentkezik, ha a tudósok bizonyítékot találnak a kedvenc elméletükre, és ezután nem tanúsítanak szükséges kritikát a saját eredményeiket illetően, vagy nem is keresnek ellentmondó bizonyítékokat.
A nagyobb mintaméret általában jobb. Az az átlag, amely nagyszámú megfigyelés alapján kerül kiszámításra, általában jobban használható, mint amelyet kevesebb számú megfigyelés alapján határoztak meg. Vagyis, ahogy továbbgyűjtjük az adatokat és bizonyítékokat, a tudásunk javul, fejlődik. Ez akkor különösen fontos, ha a jelentős mennyiségű mérési hiba és természetes változékonyság nehezíti a kísérletet. Például egy gyógyszer hatékonysága páciensről páciensre változik. Az áltagos hatékonyság pontosabban és megbízhatóbban határozható meg több tízezer alany segítségével, mintha csak ezer páciensen tesztelnénk.
A korreláció nem jelent ok és okozati viszonyt. Csábító azt gondolunk, hogy egyik jelenség okozza a másikat. Azonban lehetséges, hogy a korreláció csak véletlen eredménye, vagy az is lehetséges, hogy mind a két jelenséget egy harmadik tényező okozza – egy együtt előforduló vagy rejtett változó. Például a biológusok azt hitték, hogy egy mérgező alga öli a halakat a tölcsértorkolatokban. Kiderült, hogy az alga csak azután fejlődött ki, hogy a hal elpusztult. Nem az alga volt a halál oka.
Az átlaghoz való visszatérés félrevezető lehet. A szélsőséges mérési eredmények az adatokban valószínűleg - legalábbis részben - hiba vagy a véletlen által okozott anomáliák lehetnek. A következő mérési sorozat valószínűleg kevésbe lesz szélsőséges. Például, ha sebességmérő kamerát szerelnek fel oda, ahol balesetek történtek, akkor a baleseti arány csökkenése nem tekinthető a kamera eredményének, a csökkenés valószínűleg egyébként is megtörtént volna.
A mérési adatokon túli extrapoláció kockázatos. Az adott mérési tartományon belüli felismert szabályszerűségek nem feltétlenül használhatóak a tartományon kívül. Ezért nagyon nehéz megjósolni egy ökológiai rendszer viselkedését klímaváltozás esetén, ha a változási ütem gyorsabb, mint az adott faj evolúciós történelemében bármikor, és amikor soha sem látott időjárási szélsőségek jelentkeznek.
Óvakodjunk az alapgyakorisági hibától. Egy nem tökéletes teszt alkalmassága arra, hogy megtalálja az adott tulajdonságot, attól a valószínűségtől függ, amilyen valószínűséggel a tulajdonság előfordul (alapgyakoriság). Például, ha egy páciensnek pozitív lett a 99%-os pontosságú tesztje egy nagyon ritka betegségre, attól még nagyon valószínűtlen, hogy ténylegesen rendelkezik is a betegséggel. Ha 10 001 emberen elvégezzük a tesztet, akik közül csak 1 szenved a betegségben, annak szinte biztosan pozitív lesz a tesztje, de még másik 100 ember (1%) is pozitív tesztet fog produkálni, annak ellenére, hogy nem rendelkeznek a betegséggel. Az ilyen jellegű megfontolások szűrési eljárások tervezése esetén fontosak, mint például a terroristák kiszűrése a repülőtereken.
A kontrollcsoport fontos. A kontrollcsoporttal pontosan ugyanúgy kell bánni, mint a kísérleti csoporttal, kivéve, hogy nem kapják meg a kezelést. Kontrollcsoport nélkül nehéz meghatározni, hogy a kezelésnek valójában van-e eredménye. A kontrollcsoport segítségével a kutatók megbizonyosodhatnak, hogy nincsenek együtt előforduló változók, amelyek befolyásolják az eredményeket. Időnként a kísérletek pozitív eredménnyel zárulnak, a kezelést végző személy vagy a kezelési környezet miatt, vagy akár a tabletta színe miatt. Ez nyomatékosítja a kontrollcsoport szükségességet, például aktív hatóanyag nélküli tabletta (placebo) használatát.
Randomizálás a torzítás elkerülésére. A kísérletekben, amikor csak lehet, véletlenszerűen kiválasztott személyeket vagy csoportokat kell kijelölni. Összehasonlítani olyan gyerekek tanulmányi eredményeit, akiknek a szülei részt vesznek egy egészségügyi programban, olyan gyerekekkel, akiknek a szülei nem vesznek részt, valószínűleg torzítást fog okozni (például a tanultabb családok nagyobb valószínűséggel vesznek részt a programban). Egy jól megtervezett kísérletben a szülők véletlenszerűen kerülnek kiválasztásra, egy részük részt vesz a programban, mások nem.
Az ismételt kísérletet keressük, ne az álismétlést. Ha az eredmény következetesen fordul elő sok vizsgálatban, független populációkon megismételve, akkor nagyobb a valószínűsége, hogy igaz. Több kísérlet eredményét összekombináló összefoglalás vagy metaanalízis áttekintő képet nyújt a problémáról, és sokkal szignifikánsabb, mint bármely egyedi vizsgálat. Ezt az eljárást egy csoport tagjaira alkalmazni, mint például egy osztály gyerekeire, félrevezető lehet, mivel a gyerekek számos tulajdonsága közös lesz. A kutatók az „álismételt kísérlet” hibáját követik el, ha általánosítani akarnak ezekből a gyerekekből egy nagyobb populációra, amelyik nem rendelkezik az azonos közös tulajdonságokkal. Az álismétlés alaptalan következtetéshez vezet az eredményekben. Kanadában, az új-fundlandi Nagy zátonyon a tőkehal előfordulását vizsgáló álismételt vizsgálatok például a valaha volt legnagyobb tőkehal-halászhely összeomlásához vezettek.
A tudós is ember. A tudósok érdekeltek abban, hogy népszerűsítsék a munkájukat, gyakran állás, pozíció vagy további kutatási támogatás miatt, vagy néha akár közvetlen anyagi nyereség érdekében is. Ez az eredmények szelektálásához, vagy az eredmények eltúlzásához is vezethet. A szakmai lektorálás nem csalhatatlan, az újság szerkesztői kedvezhetnek a pozitív eredményeknek és a hírértéknek. A többszörös, független forrásból származó, megismételt bizonyíték sokkal meggyőzőbb.
Kép forrása: Understanding Science
A szignifikancia szignifikáns. A P-vel jelölt, statisztikai szignifikancia azt méri, hogy mennyire valószínű, hogy a mérési eredmény csak a véletlen eredménye. Tehát P = 0,01 azt jelenti, hogy 1 a100-hoz a valószínűsége, hogy ami a kezelés eredményének tűnik, az véletlenül állt elő, és valójában nincs is semmilyen gyógyhatás. Jobbára a tudósok akkor tekintenek egy mérést szignifikánsnak, ha a P értéke kisebb, mint 0,05 (1 a 20-hoz).
Az szignifikáns eredmény hiánya nem jelenti, hogy nincs effektus. A statisztikailag szignifikáns eredmény hiánya (mondjuk P értéke > 0,05) még nem jelenti azt, hogy nem is volt a háttérben valamilyen effektus: csak azt jelenti, hogy nem sikerült detektálni. Egy kis kutatás talán nem elég hatékony, hogy detektálja az effektust. Például gyapot és paradicsom növényeket genetikailag módosítottak, hogy méreganyagot termeljenek az őket károsító rovarok ellen, azt állítva, hogy ennek nincs káros hatása a hasznos rovarokra, például azokra, amelyek a beporzást végzik. Azonban még nem végeztek elég nagy mintán kísérletet annak eldöntésére, hogy van-e bármi hatása a toxinnak a hasznos fajokra.
Az effektus mérete számít. A kisebb válaszokat kevesebb eséllyel veszik észre. Egy sokszor megismételt vizsgálat eredményezhet egy statisztikailag szignifikáns, de kisméretű effektust (amely emiatt talán nem is fontos). Az effektus méretének fontossága biológiai, egészségügyi vagy társadalmi kérdés, nem statisztikai. Az 1990-es években az egyesült államokbeli Epidemiológia című folyóirat szerkesztői megkérték a szerzőket, hogy a benyújtott kéziratokban ne használják tovább a „statisztikailag szignifikáns” kifejezést, mivel a szerzők folyamatosan félreértették a szignifikáns kísérlet fogalmát, aminek következtében nem hatékony vagy félrevezető ajánlásokat fogalmaztak meg a közegészségügy számára.
A vizsgálat relevanciája korlátozza az általánosíthatóságát. A vizsgálat relevanciája attól függ, hogy mennyire hasonlítanak a vizsgálandó probléma körülményeire. Például egy állatkísérlet emberre történő általánosítása korlátokba ütközik.
Az érzések befolyásolják a kockázatérzetet. Általában a kockázat tekinthető úgy, mint egy esemény adott időtartamban való megtörténésének a valószínűsége szorozva az esemény következményeivel. Az emberek kockázatérzetét sok dolog befolyásolhatja vagy torzíthatja, például az esemény valószínűtlensége, hogy mennyi befolyásuk van szerintük a dologra, az esemény által okozott károk, vagy hogy a kockázat önként vállalt-e vagy sem. Például az Egyesült Államokban az emberek százszorosan alulértékelik a kézifegyver otthoni tartásából adódó kockázatot, míg az abból adódó kockázatot, hogy egy atomreaktor közelében élnek tízszeresen felülbecslik.
Az összefüggések megváltoztathatják a kockázatot. Lehetséges kiszámítani egyes eseményeknek a következményeit, mint például egy hatalmas dagályét, óriási esőzését vagy állami alkalmazottak hiányáét. Ha azonban az egyes események összeadódnak (például a vihar nagy dagályt okoz, vagy az esőzés megakadályozza a dolgozókat a helyszín elérésében), akkor az események együttes előfordulásának valószínűsége a várthoz képes nagyon megnőhet. A hitelpiacok 2008. évi összeomlásának fő eleme az volt, hogy a hitelminősítő intézetek az összecsomagolt másodrendű jelzáloghiteleket túlságosan alacsony kockázatúaknak ítélték meg, pedig az egyes hitelek kockázatai összeadódtak.
Az adatokból bányászni és mazsolázgatni is lehet. A bizonyítékokat lehet úgy csoportosítani, hogy az egyik nézetet támogassák. Ahhoz, hogy értelmezzük a feltételezett kapcsolatot egy joghurt terhesség alatti fogyasztása és az utód későbbi asztmája között, azt kellene tudni, hogy vajon a szerzők csak kitalálták-e ezt a sajátos elméletet, vagy a rengeteg mérési eredményt tanulmányozva állították fel. Összehasonlításképpen, a Higgs-bozon kiváló példa arra, hogy a kutatóknak milyen nagyon kellett keresniük – ez a „keresd máshol effektus” (a negatív eredmény is eredmény). A kérdés, amelyet fel kell tennünk, az az, hogy „vajon mi az, ami nem mutatja meg nekem magát?”
Extremitások mérése félrevezető lehet. Bármely mérések egybevetése (mondjuk egy adott iskola hatékonysága) változékonyságot fog mutatni a veleszületett képességek különbözősége (tanári alkalmasság), továbbá a mintavétel (van esély arra, hogy a gyerekek egy atipikus, problémás mintát alkotnak), valamilyen torzítás (az iskola lehet olyan területen, ahol az emberek szokatlanul betegesek), vagy mérési hiba (az eredményeket másképpen mérhetik a különféle iskolákban) miatt. Azonban a mért különbözőségeket jobbára csak a veleszületett képességekkel magyarázzák, figyelmen kívül hagyva a többi okot. Ez különösen szélsőséges végkifejletek esetén jelent problémát („a vizsgát teljesítők aránya megduplázódott”), vagy a szélsőségnek az átlaggal történő összehasonlításakor („a vizsgát sikeresen teljesítők aránya az x iskolában háromszorosa az országos átlagnak”), vagy túl széles tartomány esetén („x-szeres különbség van a legjobban és a legrosszabbul teljesítő iskolák között”). Az iskolák rangsora különösen alkalmatlan a teljesítmény összehasonlítására.
Eredeti: William J. Sutherland, David Spiegelhalter, Mark Burgman: Policy: Twenty tips for interpreting scientific claims. Nature, 20 November 2013
Fordítás: Magyar Szekuláris Egyesület
