A tudományt előítéletek ferdítik, hanyag eljárások és ravasz statisztikák hamisítják. John Ioannidis annak szentelte a karrierjét, hogy rámutasson ezekre a hibákra, és segítsen a kijavításukban. A betegségmegelőzés és egészségtudomány, valamint az egészségpolitika és a statisztika professzora a kaliforniai Stanford University-n, ahol a Meta-Research Innovation Center-t is igazgatja. Legutóbbi írása a PLoS Medicine-ben jelent meg Hogyan érhetjük el, hogy több publikált eredmény legyen valódi? címmel. A New Scientist ebből az alkalomból készített a professzorral interjút, amelyben Ioannidis elmondta, optimista a lehetséges változásokkal kapcsolatban, mivel tanúja volt, hogy számos tudományterületen jelentős javulás következett be az elmúlt években.

Ioannidis professzor 10 évvel ezelőtt nagy vihart kavart, amikor kimutatta, hogy a legtöbb közölt orvostudományi eredmény téves. Azóta viszont elmondása szerint pozitív irányú változásokat lát: bár egyes tudományterületeken több az előrehaladás, míg mások le vannak maradva, a kutatók nagy része érzékennyé vált a problémára, és különböző megoldási javaslatokkal állnak elő. Douglas Heaven kérdésére válaszolva a professzor elmondta, hogy következtetéseit olvasva néhány kutató persze dühös lett, azonban, mivel őt nem egyes tanulmányok tévedései foglalkoztatják, hanem a kutatás egészéről, tanulmányok ezreiről mond véleményt, nem került személyes konfliktushelyzetekbe.

Csapatmunka és replikáció

A pozitív irányú változásokról szólva elmondta, hogy sok tudományág a csapatmunka felé mozdult el, így a kutatók közösen dolgoznak egy-egy problémán, megosztják az adatokat és megismétlik az eredeti vizsgálatokat, hogy kiderüljön, valósak voltak-e az eredeti következtetések. A változások a humán genommal kapcsolatos epidemiológiai vizsgálatokat például, amelyek korábban 99 százalékban megbízhatatlan eredményeket produkáltak, olyan tudományággá alakították, amelyben a replikációs ráta eléri a 99 százalékot. Mint Ioannidis hozzáteszi: érdekes lenne tovább elemezni a replikációs munka értékét, hogy megértsük, mikor, hogyan és ki által érdemes azt elvégezni.

Azonban a replikáció még mindig igen ritka, mivel a domináns paradigma szerint a jó kutató olyan munkát végez, amit még senki nem csinált előtte. Ez a hozzáállás természetesen nem hamis teljes mértékben, igenis szükség van arra, hogy ugyanarra a kérdésre különböző megközelítésből próbáljunk válaszokat adni, azonban replikáció hiányában minden tudományos munka bizonytalanná válik; a pszichológia például épp most ment keresztül egy jelentős krízisen annak következtében, hogy amikor végre megpróbáltak néhány kulcsfontosságú eredményt megismételni, kiderült, hogy az lehetetlen.

Van olyan tudományterület, amelyiken több a tévedés?

Mint a professzor kifejti, az egyes tudományterületek különböző mértékben adoptáltak olyan módszereket, amelyek védenek a tévedések ellen. A fizikai tudományok területén pl. óriási az együttműködés, és olyan kultúra alakult ki, amelyben egy-egy eredménynek igen meggyőzőnek kell lennie ahhoz, hogy publikálják. Az élettudományok területén ezzel szemben ha valaki kimutat valamit, ami a számok szintjén éppen szignifikáns, azonnal közli. Önmagában még talán ezzel sem lenne baj, azonban meg kell találni a módját, hogy az illető tudatosítsa a többiekben: eredményei érdekesek, de alacsony a megbízhatóságuk, ezért a komolyan vételükhöz igazolni kell azokat.

Ioannidis javaslata szerint be kellene vezetni az úgynevezett megbízhatósági becsléseket: az adott kutatás minősége szerint minden publikációhoz és a főbb következtetésekhez tartozna egy becsült megbízhatósági érték. Így pl. az az eredmény, miszerint a dohányzás tüdőrákot okoz, 99,99999 százalékos megbízhatóságú, míg pl. az a következtetés, miszerint X szer súlyos vérzést okozhat, csak 1 százalékos megbízhatóságú lenne, ha csak néhány esetben figyelték meg. A megfigyelést még mindig érdemes lenne publikálni, hiszen fontos kideríteni, mi az igazság az adott kérdésben. Jelenleg azonban nem rendelkezünk iránymutatással, ha azt látjuk, hogy egy vizsgálatnak „szignifikánsak az eredményei”, nem tudjuk, hogy ez valójában mit is jelent.

A másik probléma az élettudományok területén, hogy sok kutatás eredménye – főleg, ha az negatív - sosem jelenik meg, ami aláássa a témával kapcsolatos megértésünket. Még a legláthatóbb fajta kutatásoknál - a klinikai vizsgálatoknál – is az a helyzet, hogy az 50 százalékukat nem publikálják, és ha publikálják is, sokuk esetében nem úgy végzik el az elemzést, ahogy eredetileg tervezték. A vizsgálók nem akarnak negatív eredményeket közölni, ezért gyakran inkább úgy elemzik az adataikat, hogy pozitívnak tűnjön a végeredmény. Ennek sokféle módszere van, pl. módosíthatjuk az elemzést úgy, hogy bár az eredeti szándék szerint A-t és B-t akartuk összehasonlítani, végül A-t és C-t hasonlítjuk egymáshoz. Vagy az eredetileg tervezett 9 hónapos utánkövetés csak 6 hónapig tart. Vagy egy másik skálát használunk, vagy az eredeti skála egy alskáláját. Az ilyen gyakorlat egyáltalán nem ritka: a kutatók 75%-a él ezekkel a megkérdőjelezhető gyakorlatokkal. Ez nem egyértelmű csalás – a csalás az lenne, ha olyan eredményeket prezentálnánk, amelyek egyáltalán nincsenek ott -, ezekben az esetekben ott van az eredmény, de az adatokat alaposan csűrni-csavarni kell ahhoz, hogy megkapjuk a kívánt végeredményt. Azaz addig kínozzuk az adatokat, amíg mindent be nem vallanak.

A tudomány tudománya

A jelenlegi tudományértékelő rendszer a publikálást, a grant-ok elnyerését és az elsőséget jutalmazza, nem azt, hogy a munka mennyire megbízható. Ennek meg kellene változnia, és a jó minőségű, megismételhető kutatást, valamint az adatok és módszerek megosztását kellene díjazni, nem azt, hogy valaki mennyi tanulmányt és extravagáns eredményt közöl. A valódi innováció fontos, de igen ritka; a tudomány közösségi vállalkozás. Ugyanakkor a kutatásfinanszírozás módszerei és a versenykényszer az extrém eredményeket díjazza – a fő kihívás ezért az, hogyan lehet a változás mellé felsorakoztatni a kutatókon kívül a többi fontos szereplőt is, a finanszírozókat, a szaklapokat, az egyetemeket és a kutatóintézeteket. Nem kell mentegetőznünk a tudomány miatt, mondja Ioannidis professzor, hiszen az a legcsodálatosabb emberi erőfeszítés, de nem állíthatjuk, hogy többre képes, mint amire valójában. A tudomány egy evolúciós folyamat, amelynek során az emberek rájönnek, hogy lehet jobban is csinálni a dolgokat.

How to Make More Published Research True című esszéjében Ioannidis professzor számos lehetőséget felsorol azzal kapcsolatosan, hogyan javítható a kutatás folyamata:

• Nagy arányú kollaborációk
• A replikációs kultúra kifejlődése
• Regisztráció
• Megosztás
• Olyan gyakorlatok, amelyek elősegítik a reprodukálást
• Jobb statisztikai módszerek
• A definíciók és az elemzési módszerek standardizálása
• Szigorúbb statisztikai küszöbértékek
• A vizsgálati dizájn standardjainak javítása
• Peer review / szakértői lektorálás
• Az eredmények terjesztése
• A tudósok és a kutatószemélyzet képzése a meta-kutatás, a tudomány tudománya kérdéseiben.

Az esszé további fontos megállapításai:

• A kutatói pályázatok elbírálói tipikusan nem a szakmai hierarchia csúcsáról kerülnek ki, és a legnevesebb szakemberek általában nem vesznek részt a pénzek odaítélésének folyamatában (Nicholson JM, Ioannidis JPA (2012) Research grants: Conform and be funded. Nature).

• Bár a klinikai praxisban terjed az evidence based szemlélet, az jelenleg valójában válságban van, és a bizonyíték alapú terminológia valójában a szakemberek hiedelmeit és ipari célokat tükröz (Greenhalgh T, Howick J, Maskrey N (2014) Evidence Based Medicine Renaissance Group (2014) Evidence based medicine: a movement in crisis? BMJ).

• A tanulmányok publikálása és az eredmények terjesztése során számos torzítás történik, így pl. a tanulmányok 40-62%-ában változtattak meg vagy hagytak ki legalább egy elsődleges kimenetelt (Systematic Review of the Empirical Evidence of Study Publication Bias and Outcome Reporting Bias — An Updated Review, PloS ONE).
• Az alkalmazott statisztikai módszerek nem megfelelőek (Nuzzo R (2014) Scientific method: statistical errors. Nature).
• A jelenlegi publikációs gyakorlat eltorzítja a tudományt (Young NS, Ioannidis JP, Al-Ubaydli O (2008) Why current publication practices may distort science.PLoS Med).
• A jelenlegi tudományértékelő rendszert át kell alakítani (Wagenmakers EJ, Forstman BU (2014) Rewarding high-power replication research. Cortex).