Złudzenie publikacyjne

Złudzenie publikacyjne, tendencyjność publikacyjna, efekt szuflady – zafałszowanie naukowego obrazu rzeczywistości powstające wskutek wybiórczości w publikowaniu wyników naukowych. Może ono powstawać między innymi wówczas, gdy autorzy lub wydawcy nie interesują się wynikami, które uważają za mało interesujące lub niezgodne z ich poglądami, lub celowo ukrywają takie wyniki (stąd „efekt szuflady”)[1]. Wynika również z niezrozumienia metodologii weryfikacji zerowych hipotez statystycznych – obserwuje się, że wyniki zerowe są publikowane rzadziej od pozytywnych, na przykład w przeglądzie badań medycznych z 1987 roku trzykrotnie rzadziej[2]. Studiowanie literatury przedmiotu daje więc zniekształcony obraz proporcji badań, w których dane twierdzenie zostało potwierdzone lub sfalsyfikowane[3][4]. Autorzy i redakcje mogą więc pomijać raportowanie „nieudanych” badań i eksperymentów. Problem ten pogłębia dodatkowo dziennikarstwo popularnonaukowe, które dokonuje kolejnej, wybiórczej selekcji wyników badań, skupiając się w informacji publicznej na sensacyjnych rezultatach, i pomijając wyniki zerowe – jak demonstruje analiza z 2017 roku[5].

Przykładowo, badanie potwierdzające przewagę czynnika genetycznego nad czynnikiem środowiskowym w ludzkiej inteligencji zostałoby dopuszczone do publikacji w czasopiśmie naukowym, natomiast badanie, które nie wykazałoby takiej zależności, zostałoby uznane za „niekonkluzywne”, a tym samym niedopuszczone do publikacji. Wskutek tego wśród badaczy utrwaliłoby się nieudowodnione przekonanie o wyższym znaczeniu genów w ludzkiej inteligencji, podczas gdy w rzeczywistości połowa badań potwierdzałaby to twierdzenie, a połowa je obalała.

Metodą badawczą silnie narażoną na złudzenie publikacyjne jest podstawowa metaanaliza[6] – choć jednocześnie właśnie przy pomocy zaawansowanych narzędzi metaanalitycznych można wykrywać tendencyjność badań. Zjawisko to ma charakter samospełniającej się prognozy, gdyż czasopisma naukowe rzadko przyjmują do publikacji artykuły napisane na podstawie badań, które są jedynie replikacjami wcześniejszych[7]. Czasopismem naukowym, które publikuje głównie replikacje lub badania potwierdzające hipotezę zerową, jest Representative Research In Social Psychology[8].

Metody wykrywania

Funnel plot z metaanalizy badań zagrożenia stereotypem, sugerujący obecność w literaturze tendencyjności, ze względu na obecność grup wyników wychodzących poza oczekiwany stopień symetrii
Funnel plot z metaanalizy badań zagrożenia stereotypem, sugerujący obecność w literaturze tendencyjności, ze względu na obecność grupy wyników odstających od oczekiwanej symetrii[2]

Tendencyjność publikacji można wykrywać poprzez stwierdzenie w statystykach metaanalitycznych rozbieżności z wynikającą z praw statystyki postacią wyników. Jednym z narzędzi do tego służących jest P-Curve, opierające się na sprawdzaniu, czy wartości p badań mają konkretne oczekiwane rozkłady: w przypadku poprawnego rozpoznania istnienia (mocno prawoskośny) i nieistnienia (jednostajny) badanego zjawiska[9]. Innym przykładowym narzędziem jest funnel plot, testujący czy statystyki badawcze mają normalny, symetryczny rozkład wokół średniego wyniku, czy zachodzi jakieś niespodziewane zniekształcenie[10].

Badania

Występowanie różnego rodzaju tendencyjności publikacji na korzyść wyników „istotnych statystycznie” potwierdziły metaanalizy m.in. w naukach społecznych[11], wiodących czasopismach naukowych (Nature, Science, PNAS[12]), biologii i naukach medycznych[13][14][15], czy ekonomii[16]. Według porównania różnych nauk, zjawisko to występuje w większości dziedzin – prawdopodobnie rzadziej w „twardszych” dyscyplinach, jednak tylko w niedużym stopniu[17].

Przypisy

  1. ↑ RobertR. Rosenthal RobertR., The file drawer problem and tolerance for null results, „Psychological Bulletin”, 86 (3), 1979, s. 638–641, DOI: 10.1037/0033-2909.86.3.638, ISSN 1939-1455 [dostęp 2017-01-05] .
  2. ↑ a b K.K. Dickersin K.K. i inni, Publication bias and clinical trials, „Controlled Clinical Trials”, 8 (4), 1987, s. 343–353, DOI: 10.1016/0197-2456(87)90155-3 [dostęp 2017-01-05] .
  3. ↑ Witkowski 2009 ↓, s. 86
  4. ↑ Witkowski 2009 ↓, s. 85
  5. ↑ EstelleE. Dumas-Mallet EstelleE. i inni, Poor replication validity of biomedical association studies reported by newspapers, „PLOS ONE”, 12 (2), 2017, e0172650, DOI: 10.1371/journal.pone.0172650, ISSN 1932-6203 [dostęp 2017-02-25] .
  6. ↑ Witkowski 2009 ↓, s. 87
  7. ↑ Witkowski 2009 ↓, s. 88
  8. ↑ Witkowski 2009 ↓, s. 89
  9. ↑ UriU. Simonsohn UriU., Joseph P.J.P. Simmons Joseph P.J.P., Leif D.L.D. Nelson Leif D.L.D., Better P-Curves: Making P-Curve Analysis More Robust to Errors, Fraud, and Ambitious P-Hacking, A Reply to Ulrich and Miller, Rochester, NY: Social Science Research Network, 10 lipca 2015 [dostęp 2017-01-05] .
  10. ↑ MatthiasM. Egger MatthiasM. i inni, Bias in meta-analysis detected by a simple, graphical test, „British Medical Journal”, 315 (7109), 1997, s. 629–634, DOI: 10.1136/bmj.315.7109.629, ISSN 0959-8138, PMID: 9310563, PMCID: PMC2127453 [dostęp 2017-01-05]  (ang.).
  11. ↑ GaborG. Simonovits GaborG., NeilN. Malhotra NeilN., AnnieA. Franco AnnieA., Publication bias in the social sciences: Unlocking the file drawer, „Science”, 345 (6203), 2014, s. 1502–1505, DOI: 10.1126/science.1255484, ISSN 0036-8075, PMID: 25170047 [dostęp 2019-03-30]  (ang.).
  12. ↑ John P.A.J.P.A. Ioannidis John P.A.J.P.A., Ioana AlinaI.A. Cristea Ioana AlinaI.A., P values in display items are ubiquitous and almost invariably significant: A survey of top science journals, „PLOS ONE”, 13 (5), 2018, e0197440, DOI: 10.1371/journal.pone.0197440, ISSN 1932-6203, PMID: 29763472, PMCID: PMC5953482 [dostęp 2019-03-30]  (ang.).
  13. ↑ LisaL. Bero LisaL. i inni, Reporting bias in the literature on the associations of health-related behaviors and statins with cardiovascular disease and all-cause mortality, „PLOS Biology”, 16 (6), 2018, e2005761, DOI: 10.1371/journal.pbio.2005761, ISSN 1545-7885, PMID: 29912869, PMCID: PMC6023226 [dostęp 2019-03-30]  (ang.).
  14. ↑ Erick H.E.H. Turner Erick H.E.H. i inni, Selective Publication of Antidepressant Trials and Its Influence on Apparent Efficacy, „The New England Journal of Medicine”, 358, 2009, s. 252-260, DOI: 10.1056/nejmsa065779 [dostęp 2019-03-30]  (ang.).
  15. ↑ MarcoM. Pautasso MarcoM., Worsening file-drawer problem in the abstracts of natural, medical and social science databases, „Scientometrics”, 85 (1), 2010, s. 193–202, DOI: 10.1007/s11192-010-0233-5, ISSN 0138-9130 [dostęp 2019-03-30]  (ang.).
  16. ↑ YanosY. Zylberberg YanosY. i inni, Star Wars: The Empirics Strike Back, „American Economic Journal: Applied Economics”, 8 (1), 2016, s. 1–32, DOI: 10.1257/app.20150044, ISSN 1945-7782 [dostęp 2019-03-30]  (ang.).
  17. ↑ DanieleD. Fanelli DanieleD., “Positive” Results Increase Down the Hierarchy of the Sciences, „PLOS ONE”, 5 (4), 2010, e10068, DOI: 10.1371/journal.pone.0010068, ISSN 1932-6203, PMID: 20383332, PMCID: PMC2850928 [dostęp 2019-03-30]  (ang.).

Bibliografia

  • Tomasz Witkowski: Zakazana Psychologia. T. I. Taszów: Biblioteka Moderatora, 2009.