Digitoanálisis

Intentan reproducir los resultados de 100 estudios de psicología relevantes. Fallan 61

1405956444194869281

Un equipo de 270 científicos de todas partes del mundo ha intentado reproducir los resultados de cien artículos de psicología experimental. Habían sido publicados en las mejores revistas científicas. Sólo consiguieron validar un 39% del total. ¿Significa que más de la mitad de los estudios son fraudes? Las conclusiones van más allá.

El motivo por el que los artículos científicos son un tocho imposible de leer para el común de los mortales es que, bueno, son científicos: tienes que ofrecer todos los detalles de las muestras y de los ensayos, y hacer un análisis minucioso y objetivo de manera que otros científicos puedan reproducirlos. El problema es que probablemente nadie intentará repetir tu investigación, así que la mayoría de los resultados que vemos publicados están sin comprobar. El 95% de ellos en el caso de la psicología experimental.

Brian Nosek, profesor de psicología de la Universidad de Virginia, ha puesto en marcha un proyecto colectivo para afrontar el problema:Reproducibility Project. 270 autores de psicología internacionales: 140 estadounidenses, 45 neerlandeses, 27 alemanes, 17 ingleses, 8 canadienses, 5 suecos, 5 belgas, 4 italianos, 4 hongkoneses, 3 escoceses, 3 austríacos, 2 españoles, 2 serbios, 2 australianos, un uruguayo, un paraguayo y un israelí… Todos comprobando la reproducibilidad de cien estudios relevantes. Y fallando sesenta y un veces.

grafica

A pesar de que contaban con la colaboración de los autores originales y de que respetaron todos los procedimientos descritos en los artículos de referencia, en algunos casos llegaron incluso a la conclusión contraria a la original. Sólo hallaron una correlación significativa en un 39% de las réplicas; en otras palabras: sólo fueron capaces de reproducir 39 estudios. Es más: de entre esos 39 casos, en 32 ocasiones no consiguieron llegar a unos resultados tan concluyentes como los estudios originales.

Desde Reproducibility Project no acusan a los autores originales, sino al sistema:

«Los científicos reciben más incentivos por la novedad que por la reproducibilidad. La innovación es el motor del descubrimiento y es vital para una empresa científica productiva y eficaz. Sin embargo, las ideas innovadoras rápidamente se convierten en noticias obsoletas. Los editores y revisores de las revistas científicas suelen desechar nuevas pruebas de una idea ya publicada por ser poco original. La afirmación “ya lo sabíamos” contradice a la incertidumbre de la evidencia científica. La innovación descubre caminos que son posibles; la réplica descubre caminos que son probables; el progreso depende de ambas. Este proyecto proporciona nuevas evidencias a muchos hallazgos en la investigación psicológica y sugiere que hay mucho trabajo por hacer aún para verificar que sabemos lo que creemos que sabemos»

Volviendo a la pregunta que nos hacíamos al principio: ¿son un fraude la mitad de los estudios científicos sobre psicología? No necesariamente, pero tampoco era el objetivo descubrirlo. Lo que Reproducibility Projectpone en evidencia es que el sistema no está funcionando si los artículos se escriben para que puedan replicarse y luego nadie se acuerda de hacerlo.

[Science vía El País]

05/10/2015