Después de ocho años, concluyó un proyecto que intentó reproducir los resultados de estudios clave en biología del cáncer publicados en revistas como Science, Nature y Cell. Los hallazgos sugieren que, al igual que la investigación en ciencias sociales, la del cáncer tiene un problema de reproducibilidad.

La investigación denominada Proyecto de Reproducibilidad: Biología del Cáncer, tenía como objetivo replicar 193 experimentos de los 53 mejores artículos sobre el cáncer publicados entre 2010 y 2012. Pero solo una cuarta parte de esos experimentos pudo reproducirse, indicaron los investigadores en dos artículos publicados el pasado 7 de diciembre en eLife (ver artículo 1 y artículo 2). Los hallazgos plantean desafíos para la ciencia de la biología preclínica del cáncer, mostrando lo esquivo que pueden ser los resultados confiables en algunas áreas.

Los investigadores no pudieron completar la mayoría de los experimentos porque el equipo no pudo recopilar suficiente información sobre los artículos originales, los métodos utilizados o cómo obtener los materiales necesarios para intentar la reproducibilidad. Los artículos científicos originales presentaban: omisión de variables, protocolos imprecisos, falta de estadísticas, etc. El equipo midió si la reproducibilidad era exitosa utilizando cinco criterios, cuatro se centraron en los efectos sobre el cáncer y el quinto, si tanto el experimento original como el replicado iban en el mismo sentido. Los científicos aplicaron esos criterios y solo el 46% cumplió con la mayoría de los criterios establecidos.

De los 50 experimentos presentados, los resultados fueron, en promedio, un 85% más bajo que los reportados en los experimentos originales. Por ejemplo, dos de los estudios señalaban que una determinada sustancia química “mataba” eficientemente las células cancerosas, pero al repetirse el experimento la sustancia química acababa realmente con el 30% de las células. Es preocupante si los experimentos que no se pueden reproducir fueran empleados para iniciar ensayos clínicos o esfuerzos de desarrollo de fármacos.

Durante el proyecto, los investigadores se enfrentaron a una serie de obstáculos, en particular porque ninguno de los experimentos originales incluía suficientes detalles en sus estudios publicados sobre métodos para probar la reproducibilidad. En este sentido, vale mencionar que buena parte de los estudios en el desarrollo de medicamentos es financiado por las farmacéuticas, por tanto los hallazgos que se generan se consideran  información confidencial sujeta a ser patentada, así que muchos de los científicos que trabajan bajo esta premisa publican sus artículos omitiendo información clave para el desarrollo del experimento, reservando el conocimiento para la empresa financiadora de la investigación.

Si bien alrededor de una cuarta parte de la información dada por los autores fue útil, otro tercio no respondió a las solicitudes para aportar una mayor información. Por ejemplo, uno de los experimentos que el grupo no pudo replicar requirió el uso de un ratón criado específicamente para el experimento original. Los autores dijeron que los científicos que realizaron ese trabajo se negaron a compartir algunos de estos ratones, y sin esos roedores, la reproducibilidad era imposible. Algunos investigadores se mostraron completamente hostiles a la idea de que científicos independientes quisieran intentar replicar su trabajo. Estos investigadores pueden sentirse amenazados por la replicación de sus trabajos porque es poco común. Pero la reproducibilidad también puede resultar intimidante porque las identidades de los científicos a menudo están profundamente arraigados con sus hallazgos y otros son cuidadosos por el temor a que su trabajo sea plagiado.

La publicación es la moneda de cambio, una recompensa clave que se convierte en oportunidades de financiamiento, de trabajo o de conservar el empleo actual. La reproducibilidad no encaja perfectamente en ese sistema de recompensas. Incluso los autores que querían ayudar no siempre podían compartir sus datos por varias razones, incluida la pérdida de discos duros o restricciones de propiedad intelectual, o datos que solo tenían los ex estudiantes de posgrado.

Las llamadas de atención de algunos expertos sobre la “crisis de reproducibilidad” de la ciencia han ido en aumento durante años, quizás más notablemente en psicología. En 2011 y 2012, las compañías farmacéuticas Bayer y Amgen informaron dificultades para replicar los hallazgos de la investigación biomédica preclínica. Pero no todo el mundo está de acuerdo con las soluciones, incluido si la reproducción de experimentos clave es realmente útil o posible, o incluso qué es exactamente lo que está mal en la forma en cómo se difunde la ciencia o qué necesita mejorar.

Al menos una conclusión clara y procesable surgió de los nuevos hallazgos, la necesidad de brindar a los científicos una mayor oportunidad posible para explicar exactamente cómo llevaron a cabo su investigación. Los investigadores deben aspirar a incluir tanta información sobre sus métodos experimentales como sea posible para asegurar la comprensión de los resultados.

En última instancia, la ciencia es una disciplina de autocorrección, siendo necesario que existan muchas oportunidades no solo para cometer errores, sino también para descubrir esos errores mediante la reproducibilidad de los experimentos. La pregunta sería, ¿es la ciencia capaz de detectar sus errores? Los hallazgos del proyecto sobre el cáncer no necesariamente responden a esa pregunta, pero sí resaltan los desafíos de intentar averiguarlo.

***

Las opiniones expresadas en esta sección son de entera responsabilidad de sus autores.

Del mismo autor: El cerebro: un voraz devorador de combustible