Tiempo de lectura: 25 minutos

Josemi ENTRENADOR PERSONAL MADRID | Entrenamiento Personal y Nutrición
- Todo el contenido de este Blog está protegido por Derechos de Autor -

Este estudio demuestra que tengo la razón

Una pregunta frecuente sobre la disparidad de estudios y resultados me sirve en este artículo para ilustrar esta cuestión que con frecuencia consigue generar acalorados debates, e incluso conseguir que entrenadores y docentes, se enfrenten para intentar hacer válida su practica diaria. A aquellos que presumen de tener la verdad absoluta con esta afirmación: “está demostrado, lo dice tal estudio“, yo suelo replicarles lo mismo: “déjame un rato que te busco un estudio que dice lo contrario“.

Y es que como muy acertadamente dijo una vez Michael Boyle: “la mayoría de las personas no quieren aprender cosas nuevas, sólo quieren escuchar cosas que validen la mierda que ya están haciendo”.

Espero arrojar algo de luz sobre este controvertido tema, aún siendo mi opinión clara: la ciencia es la esencia, sin ella, seguiríamos en las tinieblas de la Edad Media, con supersticiones como la quema de brujas en la hoguera, crueles e inútiles practicas médicas como la trepanación, y maravillosos ungüentos como los crecepelos, que te dejaban más calvo de lo que estabas (con la ventaja de que ya no te podía quedar un pelo de tonto).

[Tweet “”En entrenamiento, nutrición y salud basa tus decisiones en la evidencia, no en ideologías””]

---

¿Estudios científicos con resultados diferentes? 

“Tengo pregunta para J. R. Heredia sobre el dicho de J.J.G. Badillo de los matemáticos (“si 10 matemáticos intentan explicar una cuestión matemática, los 10 dirán lo mismo. Sin embargo en nuestro área, 10 especialistas pueden explicar 10 cosas distintas e incluso en algún caso contradictorias”) en relación con el objetivo de los Investigadores y Docentes que tienen como objetivo aportar/solucionar un tema X en cuestión, ¿se justifica o es valido que se tenga 10 cosas distintas, y en algunos casos contradictorias?

Veo personajes que se empeñan en desarrollar un método propio ¿sera esta la razón de tantas contradicciones?, ¿será una estrategia de marketing y/o por ego el presentar una forma de trabajo original/única? Me gustaría saber su opinión de Felipe Isidro y Josemi Del Castillo Molina”

---

Estudios científicos de todo tipo, colores y sabores

Hay estudios científicos de todo tipo, que dan respaldo a las más variopintas teorías. Sin ir más lejos, te dejo un ejemplo muy peculiar (de los muchos que hay) en la prestigiosa BMJ que te hará sonreír (aunque sea tan serio y cierto como la vida misma): “Los premios Darwin: diferencias sexuales en el comportamiento idiota“.

Es la Teoría del idiota masculino (“Male Idiot Theory” – MIT), algo que las mujeres ya saben o intuían hace mucho tiempo.

Los hombres somos significativamente más propensos a recibir el premio que las mujeres, debido a un comportamiento más idiota al asumir riesgos inútiles. De los 318 casos, 282 fueron hombres y 36 mujeres. ¡Es que los hombres somos rematadamente más tontos, en datos estadísticos un 88,7% más! Aunque si se profundiza en el estudio, hay varias lagunas que pueden suavizar el escarnio público del hombre (como que el mayor consumo de alcohol en hombres le nubla la mente en ocasiones).

Existen estudios científicos falsos (o exagerados)

Actualmente, existen hallazgos de investigación publicados que son falsos o exagerados, y se estima que hasta nada menos que un 85% de los recursos de investigación se desperdician, como nos alerta la lectura de este paper (estudio en inglés): “How to Make More Published Research True“.

Es cierto que los logros en la investigación científica son sorprendentes, sin embargo, los descubrimientos importantes, verdaderos y fácilmente aplicables son mucho menos de lo que nos gustaría. Y la traducción del conocimiento en aplicaciones útiles es a menudo lenta y potencialmente ineficiente.

La baja calidad de algunos estudios queda reflejada en el bajo poder adquisitivo de algunas investigaciones, la escasa normalización de definiciones, las mejorables normas de diseño de los estudios, la ausencia de revisión por pares, los análisis poco apropiados y estrictos, los defectuosos métodos estadísticos, los resultados con sesgos y con conflictos de interés, etc.

Se necesita una mayor formación en investigación y una mayor calidad en la metodología de los estudios para mejorar la Ciencia, así como una investigación colaborativa a gran escala, sin olvidar la importancia de registrar, compartir y replicar los estudios para comprobar su veracidad (la investigación debe ser reproducible por cualquier otro grupo de investigación del mundo para que pueda ser capaz de repetir los mismos resultados una y otra vez).

Aún a pesar de todas estas deficiencias mejorables, la investigación científica es lo mejor que tenemos, lo más cercano a la realidad, y es siempre mucho mejor que las opiniones, creencias y los fanatismos.  Los estudios muestran que el fraude científico es infrecuente, pero no inexistente. [Tweet ” La Ciencia es lo mejor que tenemos, mucho mejor que opiniones, creencias y fanatismos”]

La Ciencia no es perfecta: es humana (y a veces está contaminada) 

En relación a la convivencia de estudios similares pero divergentes en sus conclusiones, disponer de resultados diferentes “entra dentro de lo esperable”, aunque no sea muy “deseable” ni cómodo para nuestra materia gris. De todas formas, en mi opinión, a veces es reflejo de una realidad que no siempre es blanca o negra, sino que tiene matices (muchos matices).

Así, generalmente los estudios suelen presentar variables heterogéneas, con lo cual, obtener resultados distintos es lógico: diferente población (sedentarios-activos-altamente entrenados, proporción del tipo de fibras genéticas, mujeres-hombres-niños-ancianos, etc.), diferente duración del experimento, diferente protocolo empleado, diferente forma de medir los resultados, etc. Mientras no se estandaricen estos parámetros para poder comparar, lo raro sería obtener similares conclusiones. Todo ello, sin contar con las posibles contaminaciones de los estudios científicos (como veremos más adelante al cargar la munición).

Por ello, surgen las revisiones y los meta-análisis, como la mejor forma de aglutinar diferentes estudios y llegar a conclusiones más certeras, pero también precisan que se construyan con una alta calidad metodológica (parámetros de rigor y seriedad), y cometen en muchas ocasiones de los mismos errores y fraudes. Son populares bases de datos como Pubmed o Cochrane, entre otras muy utilizadas.

Además, para nuestra desgracia los estudios en Ciencias del Deporte a veces adolecen de varios problemas:

1) Uno de los puntos débiles, es la utilización con frecuencia en las investigaciones en Ciencias del Ejercicio Físico, de un tamaño de muestras inferior a 30 sujetos: para resultados más extrapolables tendrían que superar esta cifra. Por tanto, tienen inherentemente poco peso y las conclusiones deberían tomarse con cierta cautela (y a veces incluso con pinzas diría yo).

2) Otro punto débil, es que en gran parte utilizan sólo sujetos sedentarios desentrenados, y en muchos casos, más hombres adultos que otras poblaciones (como mujeres).

3) Y una tercera crítica son el empleo de periodos de estudio muy cortos (6-8 semanas) que impiden sacar conclusiones a largo plazo y controlar las adaptaciones fisiológicas que se producen, más allá de los cambios agudos iniciales. Como por ejemplo, en composición corporal, donde las adaptaciones iniciales son “idas y venidas” de glucógeno y líquidos, o en el caso de la hipertrofia muscular, adaptaciones neurales en las primeras semanas.

Sin embargo, quizás algo obvio y que a veces puede pasar desapercibido, es que estamos tratando con personas, y no con máquinas, por tanto, puede ser que para mi deportista Ana, A+A=B, mientras que para la atleta Sara de otro Entrenador, A+A=C. La capacidad de adaptación, la respuesta al estímulo, el historial de entrenamiento, y un largo etcétera de individualidades genético-ambientales diferencian a uno de otra deportista. No es fácil, cualquier entrenador corroborará con una media sonrisa esta premisa.

Todo esto, nos recuerda que el Principio de Entrenamiento de Individualidad debe regir sistemática e ineludíblemente toda el diseño de la programación del deportista, desde el macrociclo hasta la sesión de entrenamiento, sea cual sea la periodización y la organización del entrenamiento que elijamos del abanico disponible.

En cuanto a la pregunta sobre la creación de “métodos propios” por algunos entrenadores, al final, en la mayor parte de los casos, se suele reducir a bautizar con un nombre comercial, algo que ya existe, y que responde muy posiblemente a ego, diferenciación, marketing publicitario, etc.

No hay que olvidar, que “el entrenamiento es ciencia y arte”, pero que con demasiada frecuencia se rehuye de los aspectos científicos, y se basa sólo en la experiencia (especialmente cuanto menor conocimiento y formación se posea), pasando de la evidencia al “a mi me funciona”.

Los mejores entrenadores, en realidad, combinan lo que sabemos de la investigación con lo que han aprendido de la experiencia. Es lo que se conoce como “Práctica basada en la evidencia”, y su “saber hacer” descansa en una mesa de 4+1 patas: Formación, Especialización, Experiencia y Actualización (La “FEEA”) + Ética. No es nada sencillo, mantenerse al día de la nueva investigación, desarrollar un conocimiento práctico de la anatomía, la fisiología, la biomecánica, el aprendizaje motor, y la psicología del ejercicio, y utilizar virtuosamente los principios de sobrecarga, continuidad, progresión, especificidad, individualidad,… como principios inmutables de la práctica de ejercicio.

• ¡Sólo si están interiorizados los aspectos anteriores, se puede entonces emplear el talento artístico al máximo!.

Una cita de Brad Schoenfeld que me encanta (y que tomo prestada para las peticiones en RRSS, y para los que “me piden tablas express”), explica la complejidad del proceso de entrenamiento y de la investigación científica en Ciencias del Ejercicio: “No hay una única recomendación genérica que pueda dar, que sea perfecta para todo el mundo. Las personas tiene distintas respuestas a los programas de ejercicio. Grandes diferencias entre individuos se ven en cualquier tratado de investigación. Por tanto, aconsejando sobre un tema, sólo puedo dar recomendaciones generales que tienen que ser individualizadas basándose en la variedad genética y los factores ambientales. Esta es la esencia de la práctica basada en hechos, que debería ser la base del proceso de la toma de decisiones de todos los profesionales del fitness”

Te adjunto una foto-comic sobre la secuencia seguida para “hacer ciencia” en clave de humor, para robarte una malévola y cómplice sonrisa sobre la utilización del método científico:

El fraude científico existe… “un tramposo en el laboratorio”

El fraude científico es la distorsión intencionada del proceso investigador, la fabricación (inventar información donde no existía previamente o la creación de datos falsos), la falsificación (alteración de la información veraz o manipulación de datos verdaderos), el plagio (mucho menos frecuente), la no publicación (o lo que es peor, el ocultamiento) de resultados relevantes, y otras prácticas cuestionables (como el fraude de los procesos revisión) que son “fechorías de bata blanca” que se relatan en el revelador meta-análisis de Daniele Fanelli en 2009:

• How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta-Analysis of Survey Data

La frecuencia con que los científicos fabrican y falsifican datos, o cometen otras formas de mala conducta científica es un tema de controversia. En Pubmed, la búsqueda rápida de “scientific misconduct ” arroja 681 resultados y“scientific fraud” 175 resultados (y eso que no he querido buscar sinónimos o combinaciones relevantes, lo que aumentaría el resultado). Muchas encuestas han preguntado directamente a los científicos si han cometido o saben de un colega que cometió una mala conducta de investigación, pero sus resultados parecían difíciles de comparar y sintetizar. Este es el primer meta-análisis de estas encuestas.

Para estandarizar los resultados, se calculó el número de encuestados que recordaron al menos un incidente de mala conducta para cada pregunta, y el análisis se limitó a comportamientos que distorsionan el conocimiento científico: fabricación, falsificación, “cocción” de datos, etc … preguntas sobre plagio y otras formas de mala conducta profesional. La muestra final consistió en 21 encuestas que se incluyeron en la revisión sistemática y 18 en el metanálisis.

Un promedio de un 2% de los científicos admitió haber fabricado, falsificado o modificado datos o resultados al menos una vez -una forma grave de mala conducta- y hasta un 33 % admitió otras prácticas cuestionables de investigación. En las encuestas sobre el comportamiento de los colegas, las tasas de admisión fueron del 14 % para la falsificación y hasta el 72% para otras prácticas de investigación cuestionables. La mala conducta fue reportada con mayor frecuencia por los investigadores médicos y farmacológicos que otros.

Teniendo en cuenta que estas encuestas hacen preguntas sensibles y tienen otras limitaciones, parece probable que se trate de una estimación conservadora de la verdadera prevalencia de mala conducta científica. En otras palabras, yo diría que se ha descubierto sólo una parte pequeña del pastel, la punta del iceberg. Los científicos son personas sujetas a las debilidades de la naturaleza humana, por lo que nunca podremos eliminar totalmente la mala conducta científica. No es el apocalipsis científico, no hay que ser alarmista porque no es una epidemia, pero es preocupante especialmente si hablamos de estudios de cáncer, enfermedades cardiovasculares, etc. Así, en EEUU, intentaron tomar medidas creando la Oficina para la Integridad de la Investigación (ORI) que se ocupa del sector biomédico, donde las consecuencias de un posible fraude pueden alcanzar a la salud pública, y se castigan con penas de cárcel.

El problema es que además del daño a la ciencia y al progreso humano, las pérdidas económicas de un sólo estudio fraudulento pueden ascender hasta 500.000 € como refleja un estudio de PLOS Medicine en 2010: “Los costos y las consecuencias subestimadas de la mala conducta de la investigación: un estudio de caso“.

Como ejemplo del daño que puede hacer el fraude científico, incluso a pacientes, tenemos la investigación fraudulenta de Scott Reuben (condenado a 6 meses de cárcel en 2009), que consistió en 21 artículos y resúmenes que abarcan 15 años. Estos artículos se centraron en los efectos beneficiosos a largo plazo de la administración perioperatoria de fármacos antiinflamatorios no esteroideos. Esta desinformación está profundamente entretejida en muchos artículos de revisión, metanálisis, resúmenes de conferencias y los recuerdos … de las personas expuestas a esta información. Las preguntas obvias son: ¿podemos reeducar a todos los que han sido influidos, consciente o inconscientemente, por la investigación fraudulenta y, si es así, cómo?. No se debería jamás olvidar que, según nos advertía el axioma hipocrático, “primero no debes dañar”, importante para poder dormir plácidamente sin cargo de conciencia. Por si acaso, mientras no se mejore este tipo de fraudes, se deben imponer revisiones más exquisitas y artesanales de cada Paper antes de su publicación.

Lo peor de todo, es que esta forma de corrupción científica, lejos de reducirse, crece exponencialmente año a año como vemos en las gráficas publicadas por este artículo en 2012: “La mala conducta representa la mayoría de las publicaciones científicas retractadas“. Una revisión detallada de los 2.047 artículos de investigación biomédica y de ciencias de la vida indexados por PubMed como retractados el 3 de mayo de 2012 reveló que sólo el 21.3% de las retracciones fueron atribuibles al error. En contraste, el 67,4% de las retracciones se debieron a mala conducta, incluyendo fraude o sospecha de fraude (43,4%), duplicación de publicaciones (14,2%) y plagio (9,8%). Los anuncios de retractación incompletos, poco informativos o engañosos han llevado a una subestimación previa del papel del fraude en la epidemia de retracción en curso. El porcentaje de artículos científicos retractados debido al fraude se ha multiplicado por 10 desde 1975 (y hasta por 20 en los últimos 25 años). Las retracciones exhiben patrones temporales y geográficos distintivos que pueden revelar causas subyacentes.

Aproximadamente el 10-20% de todos los fondos de investigación y desarrollo (I + D) se estima que se gastan en estudios cuestionables, que se caracterizan por la tergiversación de los datos, informes inexactos y la fabricación de resultados experimentales. Una práctica no muy extendida, pero perversa.

Respecto a las causas implicadas en el fraude científico son varias agrupadas en estas 7 categorías: (1) estresores personales y profesionales, (2) clima organizacional, (3) inseguridades laborales, (4) racionalizaciones A, (5) inhibiciones personales, (6) racionalizaciones B, y (7) factores de personalidad.

Jamás un investigador científico debería supeditar el bien colectivo de la humanidad, al bien personal individual. En esa humanidad, están sus hijos, familiares, amigos, y toda la sociedad que confía en su ética responsable.

Una forma de denunciar posibles fraudes la constituye (1) PubPeer, un portal donde los científicos pueden comentar anónimamente sobre trabajos ya publicados (que tiemblen los villanos de microscopio y pipeta). Es un “sistema de revisión por pares abierto y público” donde se somete a una revisión posterior un artículo. Este recurso se utiliza no solo por comités editoriales sino también por diversas instituciones de investigación para comprobar malas conductas científicas. Además disponemos de (2) “Don Quijotes” como el investigador Daniele Fanelli de la Universidad de Stanford, y el investigador y periodista Leonid Schneider, ambos especializados y dedicados a destapar casos de fraude o mala conducta científica. Por último, constituye un faro en la oscuridad la labor de denuncia y seguimiento de los artículos retractados (como una ventana al proceso científico) que realiza (3) la web Retraction Watch para evitar que sigan recibiendo citaciones en la literatura científica (y se generen las correspondientes distorsiones del conocimiento científico) como ocurre con frecuencia. Este portal, notifica constantemente todos los artículos que son rectractados en diversos journals a nivel mundial, aunque su atención se centra en revistas de alto impacto. Los investigadores puede revisar estos 2 excelentes recursos web para estar al día de las retracciones.

Algunos ejemplos (sin pretender rebuscar mucho) de fraudes científicos populares que nos hacen temblar sólo al leerlos sobre sida, cáncer, autismo, inteligencia, homeopatía, colesterol, azúcar:

• 5 estudios fraudulentos sobre homeopatía, inmunología, sida, embrión humano y cociente intelectual. Destacar que en la medicina “normal” hay fraude científico, pero la homeopatía es un fraude en si mismo. El agua no tiene memoria…aunque “la fe cura” (efecto placebo).
• Relación entre la vacuna triple vírica y el autismo (famoso caso Wakefield que ha sembrado el pernicioso movimiento antivacuna actual): Estudios científicos 2014 y 2015.
• Una revisión invalida miles de estudios del cerebro: Estudio científico 2016.
• Un falso estudio científico pone en entredicho los filtros de 157 revistas de ‘open access’: el paper en 2013 describía las propiedades anticancerígenas de una sustancia química llamada “Cobange” que se extraía de un liquen. En esta línea, 175 revistas científicas en evidencia por un falso estudio que aseguraba la cura del cáncer
• La industria del Azúcar y la Investigación de la Enfermedad Coronaria (2016). La Fundación de Investigación de Azúcar (SRF) patrocinó su primer proyecto de investigación de la enfermedad coronaria (CHD) en 1965, una revisión de la literatura publicada en el New England Journal of Medicine, que señaló la grasa y el colesterol como las causas dietéticas de CHD y minimizó la evidencia de que el consumo de sacarosa también era un factor de riesgo.

Cómo leer un artículo científico sin creer en los reyes magos

Para separar el grano de la paja o encontrar la aguja en el pajar, podemos acudir a varios INDICADORES DE ALERTA que ayudan a evitar que nos cuelen un artículo “inventado” en vez de un estudio científico riguroso. Algunos de ellos se solapan o interrelacionan en algún punto del análisis, pero constituyen una valiosa lista de control:

1. ¿Parece demasiado bueno para ser cierto? Desconfía, es demasiado bonito para se verdad, especialmente si el titular es muy sensacionalista. En el caso de que los resultados sean novedosos, hay que ponerlos en cuarentena hasta que se confirmen o refuten con nuevos trabajos. Es poco probable que un único estudio “ponga patas arriba” decenas de artículos anteriores que afirmaban lo contrario, salvo que estuvieran basados en hipótesis falsas, errores o fraudes científicos no descubiertos como ocurrió con el caso del colesterol y su relación con los problemas cardiovasculares –> “Las dietas bajas en grasas saturadas no previenen las enfermedades del corazón“: 1, 2, 3 y 4).
2. Acude siempre a la fuente primaria (original): tanto en medios de comunicación, como en publicaciones académicas.
   • Interpretaciones y opiniones de un estudio son muy comunes en los Medios y para algunos profesionales, que pervierten en exceso el mensaje original, y se quedan sólo con los datos que les interesan (básicamente manipulan las conclusiones del estudio a su antojo e interés). Sin contar con la manía de la prensa de querer vendernos mediante impactantes titulares, el crecepelo más revolucionario que se ha descubierto, o el descubrimiento de la píldora que replica los beneficios del ejercicio o la juventud inmortal.
   • Resultados malinterpretados por nuevos estudios científicos que a veces distorsionan o malinterpretan las recomendaciones de la investigación precedente en aras de una buena historia intencionadamente o no. Si es posible es mucho mejor intentar leer la investigación original, más que confiar en el artículo basado en esa información.
3. La importancia de la Revista o Journal (y del “peer review” o “revisión por pares“) y de las citaciones:
   • No es lo mismo una revista u otra en ciencia. La investigación publicada en las principales y más prestigiosas revistas habrán sufrido un proceso de revisión más serio, exigente y exhaustivo que garantizan cierta seguridad, aunque aún pudieran presentar defectos. Un marcador empleado con frecuencia lo representa el Journal Citation Report (JCR) que es el indicador de calidad más conocido y el más valorado por los organismos de evaluación de la actividad investigadora. Mide el factor o índice de impacto (IF) de una revista en función de las citas recibidas por los artículos publicados y recogidos en la Web of Science (WOS). Cuanto más alto el IF mejor. Aunque es una métrica mejorable, siempre será mejor que nada. Una guía muy interesante sobre el Factor de Impacto: Journal Citation Reports (JCR) la comparte la Universidad de Sevilla, mientras que en la clasificación actual publicada de las JCR Science en 2016, entre 11.365 revistas científicas, sigue estando en cabeza la revista “CA-A Cancer Journal for Clinicians” con un IF de 131 (ver ranking del Journal Impact Factor – 2016 JCR). También en la web de OMICS puedes consultar el factor de impacto de las revistas de acceso libre. Respecto a las publicaciones específicas en Ciencias del Deporte tenemos el IF 2015 (Universidad Sevilla) o el SJR 2015 Journal Rankings on Sports Science – SCImago.
   • De la misma forma, un nº amplio de citaciones por otros estudios no siempre indica que la investigación sea muy recomendada. Puede ser un estudio peculiar que llame la atención, o que cubra un área de conocimiento no muy investigada, o sencillamente que su autor sea muy conocido por ilustrar algunos ejemplos. Las limitaciones del Factor de impacto en el el JCR quedan muy bien reflejadas en el siguiente cuadro (“Factor de impacto”. Guía de la BUS: Investigación, 2017):

• • Además, son mejores los estudios “revisados por pares” (peer review), es decir, los estudios que, en su proceso de edición, hayan sido reconocidos como publicables por los investigadores del área. En resumen, es una validación experta previa a la publicación en las revistas científicas por expertos de reconocido prestigio mundial en la materia. Para publicar un artículo científico se tiene que pasar por una “revisión de pares” anónima o ciega. Es decir, el texto se envía a otros expertos del área para que vean si está bien hecho, si es interesante y si es novedoso. El problema es que las revisiones de artículos están mal gestionadas.Aunque hecha la ley, hecha la trampa, como nos descubre este artículo: “El gran problema de la revisión por pares: La falta de revisores”, donde ¡el propio autor (el Dr. Hyung-In Moon) era su propio revisor!, en menos de 24 horas sus artículos estaban revisados y casi siempre aceptados con pequeñas mejoras o modificaciones. Algo que raya lo esperpéntico y la falta de ética más absoluta. Y para mayor sorpresa, no es el único caso descubierto, como nos desvelan en la revista Nature (2014), el artículo “Publicación: La estafa de revisión por pares”. Otro problema descubierto, es la existencia de “anillos de revisores” que son grupos de colegas científicos que se ponen de acuerdo para cooperar entre ellos mismos, en beneficio propio: “yo te reviso, tu me revisas, él me revisa… todos contentos, todos amigos”.
    En este sentido, FRAUDE Y REVISIÓN POR PARES (Jimenez 2017) ahonda en este escándalo donde se esclarece que se han descubierto autores fingieron el proceso de revisión de pares. Distinguir entre fraudes, malas prácticas y errores se está convirtiendo en todo un problema. El fraude ha consistido, directamente, en inventarse investigadores que no existían (“revisores fantasma”), con correos y cargos falsos en universidades de todo el mundo. Según la investigación, el problema ha ido creciendo porque el fraude se ha “profesionalizado”. Hay personas que van mucho más allá en este tema afirmando que la revisión por pares fue inventada para ayudar a los editores de las revistas a elegir los artículos que publicar. Lo que interesa a los editores es que los artículos que publican tengan impacto y éste será mayor si el artículo interesa a un gran número de científicos en lugar de un reducido número de expertos. La revisión por pares como opinión sobre el interés del artículo y no como garante de su calidad. Sin embargo, no es objetivo acudir a una opinión injusta que generaliza y desprestigia una herramienta que ha sido muy valiosa para el avance científico ya que se permitiría a las pseudo-ciencias florecer con esta excusa. En la revisión por pares hay varios actores (editores, revisores y autores) y todos ellos pueden contribuir al fraude. El Director y editores de revistas, por usar la revisión por pares a su antojo, instrumentalizándola para justificar sus arbitrariedades. Los editores pueden no acertar con la selección de buenos evaluadores. Los revisores o evaluadores también pueden contribuir al fraude en varias formas: revisar un manuscrito sobre un tema que no dominan debe ser seguramente lo más frecuente, pero también hacer una revisión favorable o desfavorable por amistad o enemistad con los autores (práctica más frecuente de lo que muchos piensan). Y también los autores, que a veces recomiendan «amiguetes» como revisores. El principal problema en la actualidad de la revisión por pares es la incapacidad que desde las revistas se tiene para tener buenos revisores. No hay que olvidar que el primer y principal fraude es la autoría.
    

4. El prestigio de los autores y su historial. Aunque yo no soy muy fan de los “argumentos de autoridad” (argumentum ad verecundiam o magister dixit)  ya que es una forma de falacia que consiste en defender algo como verdadero porque quién es citado en el argumento tiene autoridad en la materia. Si es cierto (no lo puedo negar), que doy más peso (al menos inicialmente) a un referente en su campo (Brad Schoenfeld, Stuart McGill, etc) que a otros menos relevantes. Los autores son personas, todos tienen sus opiniones, intereses, ética. Confiar en los datos que arrojan sus investigaciones es a veces una prueba de fé, porque ni estamos fisicamente en el laboratorio, ni conocemos si priorizan la importancia de los resultados que a priori prefieren encontrar, u ocultan hallazgos, para “manipular” algunos estudios a favor de sus intereses o de los patrocinadores. En contra tenemos, que cuanto más importante es el autor principal, y más grande su grupo de trabajo, más fácil es diluir responsabilidades, y menos supervisión recibe el estudio por la complejidad que genera esa dispersión.

5. El contenido es el rey (y la reina, la torre, el caballo, el alfíl y el peón). Constituye el TODO, el argumento científico es el mayor valor. Sin embargo, revisa la calidad del diseño del estudio y las referencias (citaciones) a los estudios más importantes en ese campo hasta la fecha, así como si es posible reproducir el estudio nuevamente al describir paso a paso toda la investigación realizada por investigadores independientes. En la actualidad, parece que los investigadores tienen más interés (incluso obsesión) en publicar, que en investigar, compartir o divulgar ciencia, para que llegue a la mayor parte de la humanidad posible. Es una espiral donde el autor tiene que elegir entre publicar para obtener prestigio, respaldo y reconocimiento, o “morir” académicamente y profesionalmente, ya que la presión por publicar y la competencia feroz por “ser el primero a toda costa” hacen estragos. Se debería premiar por la calidad de las investigaciones, no por el nº de estudios publicados, o por el prestigio de las revistas en las que se publica. Otro mal endémico, que habría que solucionar es que la ciencia y el conocimiento debería ser siempre de acceso libre.

6. Manipular imágenes. Como ejemplo, un análisis de 2013 sobre este extendido problema descubría que hasta un 10% de los artículos aceptados para su publicación en la revista Cell Biology incluían una manipulación de las imágenes, incluso cuando éstas no alteraban las conclusiones de los datos.

7. Un sólo artículo no demuestra o refuta nada. Es sólo un dato más, no te agarres a él como si fuera la verdad universal, porque no lo es en absoluto, y es cuestión de tiempo que te muestren otro contrario. Tampoco significa que ese estudio único no demuestre nada. Son mucho más interesantes las revisiones y meta-análisis que son publicaciones para seleccionar y comparar un gran número de estudios e identificar tendencias, neutralizar sesgos y enmendar errores. Pero como los estudios, tienen que tener una calidad metodológica decente para ser referencia. Además, ten en cuenta que no todos los estudios son iguales: los estudios experimentales son más fiables que los correlacionales; los mecanismos causales son más sólidos que las tendencias epidemiológicas, etc.

8. Disciplinas con más fraudes, las biomédicas. Son las disciplinas donde más trabajos fraudulentos se detectan según el estudio de Thomson Reuters quizás por no ser muy exigentes en la detección de trabajos fraudulentos, y porque las conclusiones no son tan fáciles de supervisar al trabajar con animales o humanos. Sin embargo, detectar fallos en algún estudio, no significa que tenga que ser un fraude, incluso pudiera ocurrir UNA duplicación accidental (pero obviamente “canta la gallina” cuando son muchas).

Los TIPOS DE ESTUDIOS EXISTENTES EN CIENCIA se pueden clasificar según la siguiente imagen (Fuente: Bravo Toledo. FFOMC).

Un “estudio de cohorte” es un tipo de investigación observacional y analítica en la que se hace una comparación de la frecuencia de aparición de un evento entre dos grupos, uno de los cuales está expuesto a un factor que no está presente en el otro grupo. Puede ser prospectivo o retrospectivo.

Podemos añadir más indicadores de alerta, que con más tiempo y comentarios (a pie de este artículo) de mis compañeros y lectores, seguro iré ampliando:

1. No te quedes sólo en el Título y el “Abstract” (resumen). Lee más, es gratis y hasta sano para formarte una opinión más acertada. Los titulares están para atraer y llamar la atención de los lectores a “hacer click” y leer el artículo, y a veces pecan de sensacionalistas o son verdades a medias. En el mejor de los casos simplifican las recomendaciones de la investigación. En el peor de los casos, describen engañosamente o tergiversan los hallazgos. Revisa el método, el tipo de población, el tiempo del estudio, como miden los autores los resultados, etc. Por ejemplo en composición corporal, no es lo mismo (pero nada que ver), emplear tecnología DEXA, pliegues cutáneos, báscula de Bioimpedencia o diámetros corporales. La noche y el día en precisión, es como medir le velocidad del viento con un dedo o con un anemómetro (aparato que mide la componente horizontal de la velocidad del viento).
2. Lenguaje especulativo. Estar atentos a palabras tales como pudo, puede o podría, y otras similares, ya que es poco probable que la investigación proporcione una evidencia sólida para cualquier conclusión que estas palabras precedan.
3. La muestra utilizada. Debe ser de una TAMAÑO suficiente y REPRESENTATIVA de una mayor población (variada). Especial cuidado con las muestras muy pequeñas, ya que cuanto menor es su tamaño, menor confianza aportan los resultados de ese estudio. De todas formas, en algunos casos las muestras pequeñas son inevitables. Sin embargo, produce cierta sospecha encontrar que una gran muestra a utilizar era posible pero fue evitada. Además, si la muestra no resulta representativa (distinta) del conjunto de la población que se pretende analizar, los resultados también pueden ser distintos.
4. Controles: placebo y doble ciego.
   • En los ensayos clínicos los resultados de los sujetos examinados deben contrastarse con un GRUPO CONTROL que reciban un placebo en lugar del tratamiento/pauta/entrenamiento analizados, y donde todas las variables sean controladas . Los grupos deben ser asignados aleatoriemente.
   • Para garantizar que las expectativas de los pacientes o investigadores no afecten al resultado se utiliza un SISTEMA DE DOBLE CIEGO, en el que ni el científico ni el voluntario saben qué sustancia está siendo testada (suplemento deportivo, alimento o fármaco). Este sistema previene cualquier BIAS (SESGO que genera parcialidad), sin embargo, este método no siempre es factible o ético. Los razonamientos del tipo “a mí me funciona”, o las encuestas, no son argumentos científicos válidos.
5. Correlación no implica causalidad. Que dos hechos (variables) se produzcan de manera conjunta o simultánea no tiene por qué significar que estén relacionados ni que uno haya sido provocado como consecuencia directa del otro. Por ejemplo, empezar a entrenar en ayunas con música de AC/CD y perder peso graso, no significa que los adipocitos tengan especial predilección por escuchar el  mítico “Highway to Hell” del grupo australiano.
6. Resultados escogidos o seleccionados (“Cherry-picked“). Involucra la selección de datos provenientes de experimentos que apoyan la conclusión de la investigación, mientras ignoran aquellos que no lo hacen. Si un documento de investigación saca conclusiones de una selección de sus resultados, pero no todos, puede ser una práctica sesgada de manipulación.
7. Resultados no replicables. Los resultados de un estudio deberían poder ser repetidos por un investigador independiente, y testados en una amplia gama de condiciones para asegurar que son generalizables y extrapolables. “Extraordinarias reivindicaciones o afirmaciones, requieren de extraordinaria evidencia”, lo que necesita mucho más que un sólo estudio independiente. [Tweet “”Extraordinarias reivindicaciones o afirmaciones en ciencia, requieren de extraordinaria evidencia””]
8. La carga de la prueba recae sobre quien la afirma. Demostrar la no existencia de algo es literalmente imposible, lo que se debe demostrar es precisamente su existencia.
9. Conflictos de interés. Muchas compañías contratan científicos para llevar a cabo y publicar investigaciones. Mientras que esto no necesariamente invalida la investigación, si puede representar un posible portal de entrada para el fraude científico, al sentirse presionados los científicos para obtener unos determinados resultados en virtud de la financiación económica aportada.

Te adjunto una infografía-guía llamada “Bad Science”, que ilustra y resume perfectamente todo lo anterior sobre “la contaminación” de algunos estudios en investigación científica, y que nos ayuda a detectar y separar como gourmets expertos, el caviar de los sucedáneos:

Cerca de 200 Revistas Científicas de Ciencias del Deporte y Educación Física

En este apartado, no me voy a molestar en recopilar (y por tanto duplicar) una información que ya ha confeccionado mi compañero Víctor Arufe, con un excelente listado de publicaciones científicas sobre nuestras queridas “Sport and Exercises Sciences“… una joya.

Muchas de estas revistas son “Open Acces” (acceso libre), y constituyen una fuente de consulta imprescindible para cualquiera profesional en Ciencias de la Actividad Física y el Deporte. Hay que recordar, respecto a esta nueva forma de publicación, que juzgar la calidad de una revista porque sea de código abierto sería cómo “juzgar un libro por su precio”.

Aquí tienes el LISTADO íntegro, el conocimiento científico al alcance de todos.

Dos reflexiones finales… lee fuentes fiables, pero hazlo de forma crítica

1) La primera reflexión gira en torno a la lectura de un nuevo artículo científico o una publicación en los medios, dónde me gusta utilizar la misma moraleja-herramienta:

•  Estudia > Duda > Actualiza, “no debes creer todo lo que lees y no debes leer solo aquello en lo que crees” [Tweet “”No debes creer todo lo que lees y no debes leer solo aquello en lo que crees” #Humildad #SabemosMuyPoco”]

2) La segunda reflexión es de agradecimiento al trabajo público, gratuito, libre y altruista de los demás. Si lo piensas de verdad, no somos nada sin el resto, sin estudios basados en investigaciones precedentes es imposible avanzar. Para ello, tienen que existir personas generosas, que no basen todo su trabajo en la recompensa económica. Sin leer el trabajo de otros compañeros sólo nos quedamos con nuestro punto de vista, algo a todos luces, incompleto e impreciso. “El ego es un lastre en la Ciencia y además construye una falsa realidad“. Tener compañeros de profesión, es tener amigos de los que aprender, no con los que competir. [Tweet “Comparte tu trabajo con los demás…”el ego es un lastre en la Ciencia y además construye una falsa realidad””]

Un ABRAZO FUERTE y MILLONES DE GRACIAS por poder aprender de todos, compañeros de profesión y lectores [Tweet “”Sí te atreves a enseñar, atrévete a aprender””]

Referencias (estudios, artículos de investigación periodística y páginas)

1. Agenciasinc. Un falso estudio científico pone en entredicho los filtros de 157 revistas de ‘open access’. SINC [Edición online]. 03 octubre 2013.
2. Arufe V. Cerca de 200 Revistas Científicas de Ciencias del Deporte y Educación Física. Victorarufe.com [Edición online]. 05 marzo 2016.
3. Bathum L, Depont Christensen R, Engers Pedersen L, Lyngsie Pedersen P, Larsen J, Nexøe J. Association of lipoprotein levels with mortality in subjects aged 50 + without previous diabetes or cardiovascular disease: a population-based register study. Scand J Prim Health Care. 2013 Sep;31(3):172-80.
4. Biblioteca de la Universidad de Sevilla. JCR Science (1o y 2o cuartil) 05/07/2016. BIB [Edición online]. 05 julio 2016
5. Biblioteca de la Universidad de Sevilla. Factor de Impacto: Journal Citation Reports (JCR). Guías de la BUS [Edición online]. 21 Marzo 21 2017.
6. Bohannon J. Who’s afraid of peer review?. Science. 2013 Oct 4;342(6154):60-5.
7. Bornemann-Cimenti H, Szilagyi IS, Sandner-Kiesling A. Perpetuation of Retracted Publications Using the Example of the Scott S. Reuben Case: Incidences, Reasons and Possible Improvements. Sci Eng Ethics. 2016 Aug;22(4):1063-1072.
8. Bravo Toledo R. UD 02 –Fuentes y Sistemas de Información Biomédicas. Diploma Superior en Metodología de la Investigación 5a Edición. FFOMC.
9. Claxton LD. Scientific authorship. Part 1. A window into scientific fraud?. Mutat Res. 2005 Jan;589(1):17-30.
10. Claxton LD. Scientific authorship: Part 2. History, recurring issues, practices, and guidelines. Mutat Res. 2005 Jan;589(1):31-45.
11. Davis MS, Riske-Morris M, Diaz SR. Causal factors implicated in research misconduct: evidence from ORI case files. Sci Eng Ethics. 2007 Dec;13(4):395-414.
12. DiNicolantonio JJ. The cardiometabolic consequences of replacing saturated fats with carbohydrates or Ω-6 polyunsaturated fats: Do the dietary guidelines have it wrong?. Open Heart. 2014; 1(1): e000032.
13. Dongale TD. Journal Impact Factor – 2016 (JCR). Researchgate – Technical Report. August 2016.
14. Eklund A, Nichols TE, Knutsson H. Cluster failure: Why fMRI inferences for spatial extent have inflated false-positive rates. Proc Natl Acad Sci U S A. 2016 Jul 12;113(28):7900-5.
15. Fanelli D (2009). How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta-Analysis of Survey Data. PLoS ONE 4(5): e5738.
16. Fang FC, Steen RG, Casadevall A. Misconduct accounts for the majority of retracted scientific publications. Proc Natl Acad Sci U S A. 2012 Oct 16;109(42):17028-33.
17. Ferguson C, Marcus A, Oransky I. Publishing: The peer-review scam. Nature. 2014 Nov 27;515(7528):480-2.
18. Gérvas J, Pérez Fernández M. La revisión por pares en las revistas científicas. Equipo CESCA. Madrid. Aten Primaria 2001;27:432-9.
19. Glick JL. Scientific data audit—A key management tool. Pages 153-168 | Published online: 11 Jun 2008.
20. Jain A, Marshall J, Buikema A, Bancroft T, Kelly JP, Newschaffer CJ. Autism Occurrence by MMR Vaccine Status Among US Children With Older Siblings With and Without Autism. JAMA. 2015 Apr 21;313(15):1534-40.
21. Jimenez J. Lo que hay detrás del fraude científico: ¿por qué, cuánto y cómo se realiza?. Magnet Xataka [Edición online]. 12 agosto 2015.
22. Jimenez J.  Cómo leer (y sospechar de) el último estudio científico que todo el mundo está compartiendo en tu TL. Magnet Xataka [Edición online]. 11 Mayo 2016.
23. Jiménez J. “Fraude y revisión por pares“, Revista de Economía Institucional 19, 36, 2017, pp. 367-369.
24. Jimenez P. Cinco estudios científicos fraudulentos que han hecho mucho daño a la ciencia. Tecnoxplora [Edición online]. 11/03/2015. 
25. Kearns CE, Schmidt LA, Glantz SA. Sugar Industry and Coronary Heart Disease Research. A Historical Analysis of Internal Industry Documents. JAMA Intern Med. 2016 Nov 1;176(11):1680-1685.
26. Lendrem BA, Lendrem DW, Gray A, Isaacs JD. The Darwin Awards: sex differences in idiotic behavior. BMJ. 2014 Dec 11;349:g7094.
27. Loannidis JPA (2014). How to Make More Published Research True. PLoS Med 11(10): e1001747.
28. Martin C, Blatt M. Manipulation and misconduct in the handling of image data. Plant Cell. 2013 Sep;25(9):3147-8.
29. McGauran N, Wieseler B, Kreis J, Schüler YB, Kölsch H, Kaiser T. Reporting bias in medical research – a narrative review. Trials. 2010; 11:37.
30. Michalek AM, Hutson AD, Wicher CP, Trump DL (2010). The Costs and Underappreciated Consequences of Research Misconduct: A Case Study. PLoS Med 7(8): e1000318.
31. OMICS International. Open Access Journals Impact Factors. Open Access Journals. Omicsonline.org [Edición online]. Consultada 05 junio 2017.
32. OTTO C. Así funciona el método científico: claves para que no te timen con un ‘estudio’ de chichinabo. El Confidencial (sección Tecnología) [Edición online]. 05 septiembre 2015.
33. PubMed Health. Study says there’s no link between cholesterol and heart disease. PubMedHealth [Edición online]. 13 Jun 2016.
34. Quispe-Gerónimo C. Los artículos retractados siguen provocando distorsiones en la literatura científica. Carlosqg.info [Edición online]. 24 Julio 2015.
35. Ravnskov U, Diamond DM, Hama R, et al. Lack of an association or an inverse association between low-density-lipoprotein cholesterol and mortality in the elderly: a systematic review. BMJ Open. 2016 Jun 12;6(6):e010401.
36. Salas J. Una revisión invalida miles de estudios del cerebro. El País (neurociencia) [Edición online]. 29 julio 2016.
37. Sampson W. Homeocracy. Science-based medicine.org [Edición online]. 16 April 2009.
38. Sampson W. Homeocracy II. Science-based medicine.org [Edición online]. 30 April 2009.
39. Shafer SL. Tattered threads. Anesth Analg. 2009 May;108(5):1361-3.
40. Shuaia X, Mouliniera I, Rollinsb J, Custisa T, Schildera F, Edmundsc M. A Multi-dimensional Investigation of the Effects of Publication Retraction on Scholarly Impact. Thomson Reuters. 29 Feb 2016.
41. SJR 2015. Journal Rankings on Sports Science – SCImago. Scimagojr.com [Edición online]. Consultada 05 junio 2017.
42. Taylor LE, Swerdfeger AL1, Eslick GD. Vaccines are not associated with autism: An evidence-based meta-analysis of case-control and cohort studies. Vaccine. 2014 Jun 17;32(29):3623-9.
43. Thomson Reuters. JOURNALS IN THE 2016 RELEASE OF JOURNAL CITATION REPORTSTM. Thomson Reuters 2016. Consultada 05 junio 2017.
44. Villareal A. Cómo colar un estudio falso en una revista científica. El Español (sección Ciencia) [Edición online]. 13 marzo 2016.
45. Villatoro FR. Nota dominical: El timo de la revisión por pares. La Ciencia de la Mula Francis (Naukas) [Edición online]. 02 dic 2012.
46. Villatoro FR. El gran problema de la revisión por pares: La falta de revisores. La Ciencia de la Mula Francis (Naukas) [Edición online]. 27 nov 2014.
47. White PF, Kehlet H, Liu S. Perioperative analgesia: what do we still know?. Anesth Analg. 2009 May;108(5):1364-7.
48. 175 revistas científicas en evidencia por un falso estudio que aseguraba la cura del cáncer. El Referente (Ciencia) [Edición online]. 06 octubre 2013.

 

---

TODOS LOS ARTÍCULOS DEL BLOG ordenados por CATEGORÍAS