De ce cele mai multe rezultate ale cercetărilor publicate sunt false
rezumat
Există o îngrijorare din ce în ce mai mare că majoritatea rezultatelor actuale ale cercetărilor publicate sunt false. Probabilitatea ca o afirmație de cercetare să fie adevărată poate depinde de puterea și părtinirea studiului, de numărul altor studii asupra aceleiași întrebări și, mai important, de raportul dintre relațiile adevărate și fără relații dintre relațiile sondate în fiecare domeniu științific. În acest cadru, o constatare a cercetării este mai puțin probabil să fie adevărată atunci când studiile efectuate într-un domeniu sunt mai mici; când dimensiunile efectului sunt mai mici; atunci când există un număr mai mare și o preselecție mai mică a relațiilor testate; acolo unde există o mai mare flexibilitate în concepții, definiții, rezultate și moduri analitice; atunci când există un interes și prejudicii financiare și de altă natură mai mari; și când mai multe echipe sunt implicate într-un domeniu științific în urmărirea semnificației statistice. Simulările arată că, pentru majoritatea proiectelor și setărilor de studiu, este mai probabil ca o afirmație de cercetare să fie falsă decât adevărată. Mai mult decât atât, pentru multe domenii științifice actuale, concluziile cercetărilor susținute pot fi adesea doar măsuri precise ale prejudecății predominante. În acest eseu, discut implicațiile acestor probleme pentru desfășurarea și interpretarea cercetărilor.
Rezultatele cercetărilor publicate sunt uneori infirmate de dovezi ulterioare, rezultând confuzie și dezamăgire. Refutarea și controversa sunt văzute în întreaga gamă de proiecte de cercetare, de la studii clinice și studii epidemiologice tradiționale [1-3] până la cele mai moderne cercetări moleculare [4,5]. Există o îngrijorare din ce în ce mai mare că în cercetările moderne, descoperirile false pot fi majoritatea sau chiar marea majoritate a afirmațiilor de cercetare publicate [6-8]. Cu toate acestea, acest lucru nu ar trebui să fie surprinzător. Se poate dovedi că cele mai multe concluzii ale cercetărilor susținute sunt false. Aici voi examina factorii cheie care influențează această problemă și câțiva corolari.
Modelarea cadrului pentru descoperiri pozitive false
Mai mulți metodologi au subliniat [9-11] că rata ridicată de nonreplicare (lipsa confirmării) descoperirilor cercetării este o consecință a strategiei convenabile, dar nefondate, de a revendica rezultatele cercetării concludente numai pe baza unui singur studiu evaluat prin semnificație statistică formală, de obicei pentru o valoare p mai mică de 0,05. Cercetarea nu este reprezentată și rezumată în mod adecvat prin valori p, dar, din păcate, există o noțiune larg răspândită conform căreia articolele de cercetare medicală ar trebui interpretate numai pe baza valorilor p. Rezultatele cercetării sunt definite aici ca orice relație care atinge semnificație statistică formală, de exemplu, intervenții eficiente, predictori informativi, factori de risc sau asociații. Cercetarea „negativă” este, de asemenea, foarte utilă. „Negativ” este de fapt un nume greșit, iar interpretarea greșită este larg răspândită. Cu toate acestea, aici vom viza relațiile despre care anchetatorii susțin că există, mai degrabă decât constatările nule.
Se poate dovedi că cele mai multe concluzii ale cercetărilor susținute sunt false
tabelul 1
Ceea ce este mai puțin apreciat este că prejudecățile și amploarea testelor independente repetate efectuate de diferite echipe de investigatori din întreaga lume pot distorsiona și mai mult această imagine și pot duce la probabilități chiar mai mici ca rezultatele cercetării să fie adevărate. Vom încerca să modelăm acești doi factori în contextul unor tabele similare 2 × 2.
Panourile corespund unei puteri de 0,20, 0,50 și 0,80.
masa 2
Testarea de către mai multe echipe independente
Panourile corespund unei puteri de 0,20, 0,50 și 0,80.
Tabelul 3
Corolari
Un exemplu practic este prezentat în Caseta 1. Pe baza considerațiilor de mai sus, se poate deduce mai multe corolari interesante despre probabilitatea ca o constatare a cercetării să fie într-adevăr adevărată.
Caseta 1. Un exemplu: știința la șanse reduse de pre-studiu
Să presupunem că o echipă de investigatori efectuează un întreg studiu de asociere a genomului pentru a testa dacă oricare dintre cele 100.000 de polimorfisme genetice sunt asociate cu susceptibilitatea la schizofrenie. Pe baza a ceea ce știm despre gradul de eritabilitate a bolii, este rezonabil să ne așteptăm că probabil în jur de zece polimorfisme genetice dintre cei testați ar fi cu adevărat asociați cu schizofrenia, cu raporturi de șanse relativ similare în jur de 1,3 pentru cei zece polimorfisme și aproximativ o putere destul de similară de a identifica pe oricare dintre ei. Apoi R = 10/100.000 = 10 −4, iar probabilitatea pre-studiu pentru ca orice polimorfism să fie asociat cu schizofrenia este și R/(R + 1) = 10 −4. Să presupunem, de asemenea, că studiul are o putere de 60% pentru a găsi o asociere cu un raport de cote de 1,3 la α = 0,05. Atunci se poate estima că, dacă se găsește o asociere semnificativă statistic cu valoarea p care abia depășește pragul de 0,05, probabilitatea post-studiu că acest lucru este adevărat crește de aproximativ 12 ori în comparație cu probabilitatea pre-studiu, dar este încă numai 12 × 10 −4 .