SciELO - Scientific Electronic Library Online

 
vol.40 issue157Network of protein-protein interaction of phosphatidylinositol 4, 5-bisphosphate 5-phosphatase, related with Lowe syndromeSome historical and physical aspects of the height of the Tequendama Falls from Humboldt data author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

  • On index processCited by Google
  • Have no similar articlesSimilars in SciELO
  • On index processSimilars in Google

Share


Revista de la Academia Colombiana de Ciencias Exactas, Físicas y Naturales

Print version ISSN 0370-3908

Rev. acad. colomb. cienc. exact. fis. nat. vol.40 no.157 Bogotá Oct./Dec. 2016

https://doi.org/10.18257/raccefyn.399 

 

doi: http://dx.doi.org/10.18257/raccefyn.399

 

La retractación y la corrección de la literatura científica para conservar la integridad y la confianza en la ciencia: un análisis de retractaciones de publicaciones biomédicas de libre acceso en PubMed, 1959-2015

 

Retraction and correction of scientific literature for conserving the integrity of and confidence in science: An analysis of retractions in open access biomedical publications in PubMed, 1959-2015

 

Sneider Alexander Gutiérrez1, Hamilton Julián Barbosa1, Manuel Salvador Cuero2, Edison Jahir Duarte3, Francy Edilma Gaitán4, Jaime Leonardo Lozano3, Arlid Meneses1, Jenny Olaya1, Gustavo Fabián Pacheco3, Cristian Camilo Rodríguez1, Jairo Alfonso Clavijo5, Gustavo Adolfo Vallejo1,*

1 Laboratorio de Investigaciones en Parasitología Tropical (LIPT), Universidad del Tolima, Ibagué, Colombia. *Correspondencia: Gustavo Adolfo Vallejo, gvallejo@ut.edu.co
2 Grupo de Investigación en Herpetología, Eco-Fisiología & Etología (GHEE), Universidad del Tolima, Ibagué, Colombia.
3 Grupo de Investigación en Zoología (GIZ), Universidad del Tolima, Ibagué, Colombia
4 Grupo de Investigación en Moscas de la Fruta, Universidad del Tolima, Ibagué, Colombia
5 Departamento de Matemáticas y Estadística, Facultad de Ciencias, Universidad del Tolima, Ibagué, Colombia

Recibido: 26 de julio de 2016, Aceptado: 21 de noviembre de 2016


Resumen

Las herramientas informáticas han permitido la detección de diversas manifestaciones de mala conducta en investigación en la literatura científica. Organismos como The Office for Research Integrity (ORI), el Comité de Ética de la Publicación (COPE), el Retraction Watch y las academias de ciencias de los países, organizan cursos, seminarios e investigaciones para promover valores como la honestidad, la imparcialidad, la objetividad, la fiabilidad, la responsabilidad y el escepticismo en la comunicación científica. En este trabajo se analizaron 1.373 artículos registrados en PubMed entre 1959 y 2015, cuyo texto y nota de retractación eran de libre acceso. Se observó que los artículos retractados entre 2010 y 2015 casi duplicaron el acumulado de los 44 años anteriores. El error admitido, el plagio o autoplagio y la falsificación o fabricación de datos, se presentaron en 32,8 %, 23,7 % y 19,7 % de las ocasiones, respectivamente. En los primeros cuatro meses del 2015, se retractaron 37 artículos por revisoría falsa o influencia de los autores sobre los revisores, una modalidad de mala conducta en la investigación no detectada en estudios anteriores. Los porcentajes de artículos retractados de libre acceso en relación con los artículos de libre acceso publicados por año variaron de 0,0072 % (1/13.861) en 1966 a 0,0472 % (213/45.1021) en el 2013. El porcentaje de artículos retractados en relación con los artículos publicados provenientes de 54 países en el mismo periodo (1959 a 2015), varió entre 0,0042 % (1/23.761) y 0,2732 % (1/366). El número de artículos retractados con más de 10 autores fue menor que aquellos con 6 a10 o 1 a 5 autores. La retractación de 794 (57,8 %) artículos se presentó antes de los dos primeros años y 579 (42.2 %) después de dos años de su publicación. La retractación de 714 (52 %) artículos fue solicitada por los autores, de 485 (35,3 %) por los editores y de 70 (5,1 %) de común acuerdo por ambas partes. El 80,8% (1.110/1.373) de los artículos retractados habían sido citados. En el artículo se discute la importancia de promover la educación sobre la retractación y la corrección de la literatura científica para contribuir a la integridad de la ciencia y a la confianza de la sociedad en la comunidad científica.

Palabras clave: Mala conducta en investigación; Ética de la comunicación científica; Análisis bibliométrico; Artículos retractados.


Summary

Informatics tools have enabled the detection of various types of misconduct regarding research studies in scientific literature. The Office of Research Integrity (ORI) (ORI), the Committee on Publication Ethics (COPE), Retraction Watch and countries' academies of science sponsor courses, seminars and research to promote values such as honesty, impartiality, objectivity, reliability, responsibility and skepticism in scientific communication. We analyzed here 1,373 articles recorded in PubMed from 1959 to 2015 with open access to their text and retraction notes. We observed that articles retracted from 2010 to 2015 almost duplicated those accumulated during the previous 44 years; in 32.8% of them retraction was due to admitted error; 23.7% to plagiarism or self-plagiarism, and 19.7% to data falsification or fabrication. Thirty-seven articles were retracted during the first four months of 2015 due to false review or author influence on reviewers, which represents a research misconduct not detected in previous studies. The percentages of open access retracted articles published per year varied from 0.0072% (1/13,861) in 1966 to 0.0472% (213/451,021) in 2013. The percentage of articles retracted compared to articles published from 54 countries throughout the world during the same period (1959-2015) varied from 0.0042% (1/23,761) to 0.2732% (1/366). The amount of articles retracted signed by more than 10 authors was lower than that for 6 to10 or 1 to 5 authors. We found that 794 (57.8%) articles were retracted before the first two years and 579 (42.2%) more than two years after their publication. The retraction of 714 (52%) of the articles was requested by the authors, of 485 (35.3%), by the editors, and of 70 (5.1%) by mutual agreement; 80.8% (1,110/1,373) of the retracted articles had been cited. We discuss here the importance of promotion, education, retraction and correction of scientific literature as a contribution to scientific integrity and society's confidence in the scientific community.

Key words: Research misconduct; Ethics of scientific communication; Bibliometrics; Retracted article.


 

Introducción

El 6 de marzo de 1665 se publicó en Inglaterra el número inaugural de la primera revista científica del mundo, Philosophical Transactions of the Royal Society (Partridge, 2015). Cien años más tarde, existían 25 revistas, en 1865 el número había crecido a 100 y en 1965 ya se contaban 900. En los últimos 51 años el crecimiento ha sido vertiginoso, y se calcula que para finales del 2016 se alcanzará un acumulado de 62.369.374 artículos publicados en 30.000 revistas de circulación internacional (estimación a partir de Jinha, 2010).

El aumento de la literatura científica está correlacionado con el crecimiento de los programas de maestría y doctorado, fenómeno universal sin antecedentes en la historia reciente de nuestra cultura. Entre 1998 y 2006, China experimentó un crecimiento promedio anual de 40 % en el número de doctores graduados, México fue de 17,1 % por año y en Estados Unidos ha crecido a un ritmo del 2,5 % anual (Cyranoski, et al., 2011). Se estima que en el 2014 Brasil graduó 15.000 doctores, México 3.000, Argentina 1.000, Chile 400 y Colombia 250 (Acosta & Celis, 2014). En Colombia existen actualmente 219 instituciones que ofrecen formación a nivel universitario, de las cuales 51 tienen 239 programas doctorales activos, 225 con registro calificado y 14 con registro de alta calidad (SNIES, 2016).

Con el surgimiento de las tecnologías digitales y las bases de datos electrónicas (Science Direct, PubMed, Scopus, Scielo, etc), la literatura científica se hizo más visible y con esto aumentó la detección de malas conductas en la investigación como el error negligente, la falsificación o fabricación de datos, el plagio y la autoría ficticia. La mala conducta en la investigación no se interpreta solo como una transgresión de las normas científicas, sino como una amenaza que, además de afectar la integridad científica, genera desconfianza del público en la investigación y un ambiente adverso para el desarrollo de proyectos en los que intervienen entidades financieras, universidades e investigadores (Hermerén, 2008). Afortunadamente, el carácter falible de la ciencia se reconoce, de manera que las líneas de investigación se desarrollan en una cadena de rectificación de los proyectos y de mejoramiento de los métodos de obtención de la información para una interpretación de los fenómenos naturales más cercana a la realidad.

El objetivo del presente trabajo fue analizar las causas determinantes de retractación de 1.373 artículos de libre acceso registrados en PubMed entre 1959 y 2015. Se analizaron y discutieron, asimismo, algunas estrategias para detectar la mala conducta en investigación, promover la educación, la corrección y la retractación de la literatura científica orientadas al mantenimiento de la integridad de la ciencia y la confianza de la sociedad en los investigadores.

Alcance de la investigación. Los resultados del presente trabajo se obtuvieron con la participación colectiva de 10 estudiantes y dos profesores de la maestría en Ciencias Biológicas de la Universidad del Tolima en un seminario denominado "La conducta responsable en investigación y la integridad de la ciencia: de la responsabilidad individual a la responsabilidad de la comunidad científica". En el seminario se analizaron diferentes temas de ética e integridad de la ciencia, y se evidenció que había pocos trabajos sobre esta temática publicados en Colombia, y que la mayoría de los currículos de los programas de pregrado y de postgrado no incluían cursos o seminarios de ética de la investigación y comunicación científica. Motivados por esta constatación, se escogió el tema del análisis de las retractaciones de publicaciones biomédicas de libre acceso para el desarrollo de un proyecto de investigación formativa durante el 2015. Por ser un proyecto de investigación formativa, el objetivo fue introducir a los estudiantes en la ética e integridad científica mediante actividades de investigación propias de esta área del conocimiento, con lo cual se obtuvieron algunos resultados originales y la recopilación, organización y análisis de la información hallada en PubMed. El trabajo recopila y presenta las metodologías para el análisis de artículos retractados registrados en las bases de datos de literatura científica, que pueden resultar útiles para otros proyectos en nuevos seminarios de investigación formativa en ética e integridad de la ciencia en las universidades colombianas.

 

Materiales y métodos

A comienzos de 2015, había aproximadamente 25.000.000 artículos registrados en la base de datos de PubMed en el National Center for Biotechnology Information (NCBI); de ellos, 5.500.000 eran de libre acceso. Con las palabras clave "retracted publication", el 26 de abril de 2015, se encontraron en PubMed 3.243 artículos retractados publicados desde 1959 hasta esa fecha, de los cuales 1.483 eran de libre acceso.

De estos últimos, se escogieron 1.373 para hacer un estudio longitudinal descriptivo entre 1959 y 2015. Cada artículo fue clasificado en una de las categorías que se muestran en la Tabla 1, según el tipo de nota de retractación.

Tabla 1

Para detectar los factores que influyeron en la retractación, los artículos se organizaron según el área de investigación, el país, el número de autores, la existencia o no de cooperación interinstitucional y la fuente de solicitud de la retractación (autores o editores). Se verificó el número de citaciones registradas en PubMed antes y después de la fecha de retractación y el tiempo en años transcurrido desde la publicación hasta la retractación. Además, se examinó el respectivo factor de impacto por revista en el Journal Citations Reports (JCR) de 2014. Todos los datos se ingresaron en una hoja de cálculo de Excel, la cual aparece como archivo suplementario (Tabla 1S, http://www.raccefyn.co/index.php/raccefyn/article/downloadSuppFile/399/1745). Para calcular el porcentaje de retractaciones por año se efectuó una búsqueda de todos los artículos de libre acceso registrados en PubMed entre el 1 de enero de 1959 y el 26 de abril de 2015 a partir de la metodología descrita por Avey, et al. (2015). Para cada año, se utilizó una cadena de búsqueda que inició con: "1959/01/01"[PDAT]:"1959/12/31"[PDAT], continuó con los años siguientes y finalizó con "2015/01/01"[PDAT] :"2015/04/26"[PDAT]. Los 50 valores obtenidos entre 1959 y 2015, se ingresaron a un archivo suplementario (Tabla 2S, http://www.raccefyn.co/index.php/raccefyn/article/downloadSuppFile/399/1746). Los artículos retractados de libre acceso por cada año se contaron a partir de la tabla 1S y se calculó el porcentaje en relación con el total de artículos publicados de libre acceso.

Para calcular el porcentaje de retractaciones por país, se efectuó una búsqueda de todos los artículos de libre acceso por país registrados en PubMed entre el 1 de enero de 1959 y el 26 de abril de 2015 mediante la metodología descrita por Cañedo (2009). Para cada país se utilizó una cadena de búsqueda, por ejemplo, para Estados Unidos: USA[AD] AND ("1959/01/01" [PDAT]: "2015/04/26" [PDAT]); para China: China [AD] AND ("1959/01/01" [PDAT]: "2015/04/26" [PDAT]); para Brasil: Brasil [AD] OR Brazil [AD] AND ("1959/01/01" [PDAT]: "2015/04/26" [PDAT]); y para Francia: Francia [AD] OR France [AD] AND ("1959/01/01" [PDAT]: "2015/04/26" [PDAT]). La estrategia de búsqueda para cada país combinó el nombre del país en su idioma nativo y en inglés. El número de artículos publicados de los 54 países se ingresaron a un archivo suplementario (Tabla 3S, http://www.raccefyn.co/index.php/raccefyn/article/downloadSuppFile/399/1747). Los artículos retractados se contaron a partir de la Tabla 1S y se calculó su porcentaje en relación al total de artículos publicados por cada país.

Análisis estadístico. Se utilizó la comparación de proporciones mediante la construcción de intervalos de confianza empleando el método exacto de Blyth & Hutchinson (1960) en los casos en que la muestra era de 300 o menos, y el método de aproximación normal de Wald modificado, en los casos restantes (Agresti & Coull, 1998). Ambas pruebas se hicieron con la calculadora en línea de statpages.org. Para la comparación de proporciones múltiples se empleó la fórmula de Quesemberry & Hurst (1964), usando la función CoinMin del programa R, versión 3.2.2. Para estimar la asociación entre el factor de impacto y el número de retractaciones se utilizó una prueba de correlación ro de Spearman. Por último, mediante una prueba de ji al cuadrado se evaluó la asociación entre el tiempo que tardó la retractación y su causa.

 

Resultados

Artículos retractados por año. Se observó que el número absoluto de artículos retractados entre el 2010 y el 2014 (806) casi duplicó el acumulado de los 44 años anteriores (475) con diferencias significativas (Z=12.7744; p=0) (Figura 1). Las retractaciones de la muestra estudiada (1.373), se iniciaron en 1966 con un artículo y alcanzaron un máximo de 213 en el 2013. Al examinar el porcentaje de los artículos de libre acceso retractados en relación con los artículos publicados por año, se encontró un mínimo de 1/13.861 (0,0072 %) en 1966 hasta alcanzar un máximo de 213/451.021 (0,0472 %) en el 2013, 198/485.362 (0,0407 %) en el 2014 y 90/266.459 (0,0337 %) en los primeros cuatro meses del 2015 (Figura 1, Tabla 2S).

Figura 1

Causas de retractación. De los 1.373 artículos retractados, independientemente de su distribución geográfica, 451 (32,85 %) fueron retractados por error admitido, 325 (23,67 %) por plagio o autoplagio y 270 (19,66 %) por falsificación o fabricación de datos, las cuales fueron las tres principales causas de retractación, con diferencias significativas frente a las demás categorías (Tabla 2). En la Figura 2A se observa la evolución de ocho categorías de retractación desde 1966 hasta el 2014, con un crecimiento sostenido de las tres principales categorías: error admitido, fabricación o falsificación y plagio o autoplagio. En el 2014 se registró un caso de revisoría ficticia o influencia de los autores sobre los editores o revisores y 37 casos más por la misma razón en los primeros cuatro meses del 2015, para 38 casos en ese periodo, lo cual la configura como una nueva forma de mala conducta que no se registraba en los años anteriores (Figura 2B).

Figura 2

Artículos retractados por país. Los 1.373 artículos retractados se distribuyeron geográficamente en 54 países (Figura 1S, http://www.raccefyn.co/index.php/raccefyn/article/downloadSuppFile/399/1748). Esta figura se presenta como material suplementario y en ella se muestran metadatos que permiten observar la distribución geográfica de los artículos retractados, su proporción en relación con el total de artículos de libre acceso publicados por país, así como las causas de retractación. Los porcentajes de artículos retractados en relación con los artículos de libre acceso publicados de todos los 54 países se muestra en la Figura 3. Los porcentajes de artículos retractados variaron entre 0,0042 % (Finlandia) y 0,2732 % (República Gabonesa). El número de artículos publicados procedentes de los 54 países varió entre 366 (República Gabonesa) y 1.317.838 (Estados Unidos). Por otro lado, el número de artículos retractados varió entre uno (Finlandia, Nueva Zelanda, Hungría, Eslovenia, Vietnam, Omán, Sudán y República Gabonesa) y 453 (Estados Unidos) (Figura 3). Los porcentajes de artículos retractados en los 54 países se pueden observar en la Figura 3 y en la Tabla 3S.

Figura 3

En cuanto al número de retractaciones totales por país, el error admitido, la cual se considera en la mayoría de los casos una conducta responsable en investigación, fue superior en países europeos como Holanda (12/19, 63,15 %), Suiza (10/17, 58,82 %), Francia (10/18, 55,55 %), Suecia (6/13, 46,15 %), y Reino Unido (29/62, 45,90 %). En Estados Unidos, la retractación por error admitido se encontró en 216 de 453 documentos (47,68 %) y en Argentina solo en dos artículos (Figura 1S).

Cooperación interinstitucional y autoría en los artículos retractados. Del total de artículos retractados, 886 (64,53 %) se habían elaborado en un contexto de cooperación interinstitucional y 465 (33,86 %) no, con diferencias estadísticamente significativas (Z=16,0701; p=0). En los 22 artículos restantes no fue posible determinar si había habido cooperación o no. Por otro lado, el número de retractaciones en todas las categorías evaluadas tuvo una correlación negativa con respecto al número de autores, lo cual indicó que a mayor número de autores menor el número de artículos retractados (Figura 4).

Tiempo transcurrido hasta la retractación. En la muestra analizada so observó que el mayor tiempo transcurrido hasta el momento de la retractación fue de 18 años (PubMed Identifier, PMID: 8942332) (Tabla 1S, artículo 1.358). La retractación de 794 (57,8 %) artículos se presentó antes de los dos primeros años y de 579 (42,2 %), después de dos años de su publicación. La distribución de los artículos según el tiempo que tardó la retractación y la causa de dicha retractación se muestran en la Figura 5, en la cual puede observarse el porcentaje de artículos por categoría de retractación y el número de años que tardó la retractación en cada categoría. El 42,79 % de las retractaciones por error admitido ocurrieron después del primer año de publicación, 17,96 % tomaron dos años; 10,86 %, tres años; 8,87 %, cuatro años, y en el 19,51 % restante la retractación tomó cinco años o más. La retractación de 55,38 % de los 325 artículos retractados por plagio o autoplagio de datos, se dio tras el primer año de publicación, la de 12,92 % de ellos a los dos años, la de 5,23 % a los tres años, la de 7,69 % a los cuatro años y la de 18,46 %, al menos a los cinco años. En 18,52 % de los 270 artículos retractados por falsificación o fabricación de datos, la retractación ocurrió tras el primer año de publicación, en 11,85 % a los dos años, en 7,78 % a los tres años, en 9,26 % a los cuatro años y en 52,59 %, al menos a los cinco años (Figura 5).

Figura 5

Solicitud de retractación. De los 1.373 artículos, 714 (52 %) fueron retractados por los autores, 485 (35,32 %) por los editores y 70 (5,09 %) de común acuerdo entre ambas partes. Para los 104 (7,57 %) documentos restantes no fue posible determinar la fuente de solicitud de la retractación. La retractación de la mayoría de los artículos que presentaron plagio o autoplagio, falsificación o fabricación de datos, influencia de los autores, fallas bioéticas y error de los editores fue solicitada por los editores. En contraposición, el error admitido fue la principal categoría de los artículos cuya retractación fue solicitada por los autores (Figura 6).

Citación de artículos retractados. En las 1.373 publicaciones retractadas, se verificó que 1.110 (80,84 %) de ellas habían sido citadas y 261 (19,00 %), no. Según las categorías de retractación, se encontró que de 451 artículos retractados por error admitido, 393 (87,13 %) fueron citados; de los 270 artículos retractados por falsificación o fabricación de datos, 251 (92,96 %) fueron citados, y de los 325 artículos retractados por plagio o autoplagio, 235 (72,3 %) fueron citados (Tabla 3). De un total de 14.598 citas, 9.220 (63,15 %) ocurrieron antes y 5.378 (36,84 %) después de la retractación. El 69,04 % (948/1373) de los artículos retractados con nota de retractación disponible fue citado por lo menos una vez después de la publicación de la nota de retractación. La información sobre las citas de cada artículo antes y después de la retractación se presenta en la tabla 1S.

Tabla 3

Artículos retractados y factor de impacto de la revista. No fue posible determinar el factor de impacto de 89 revistas en el JCR de 2014. Para la comparación del número de artículos retractados (n=1.235) con el factor de impacto de las 340 revistas en las que fueron publicados, se calculó un coeficiente de correlación ro de Spearman de 0,266, por lo cual no fue posible establecer que el número de retractaciones dependiera del factor de impacto de las revistas (datos no mostrados).

 

Discusión

El aumento sostenido del porcentaje de artículos de libre acceso retractados comparados con los artículos publicados se inició en 1989, con 0,0088 %, lo cual equivalía a una retractación por cada 11.276 artículos publicados, hasta alcanzar un máximo de 0,0472 % equivalente a una retractación por cada 2.117 artículos de libre acceso publicados en el 2013. En el 2014, el porcentaje de artículos retractados fue de 0,04079 %, es decir, una retractación por cada 2.461 artículos publicados, y en los primeros cuatro meses del 2015 el porcentaje fue de 0,0337 %, equivalente a una retractación por cada 2.961 artículos publicados de libre acceso (Figura 1). Cualquier retractación basada en el fraude constituye un desperdicio de los recursos para la divulgación científica, muchos de los cuales se ven nutridos por fondos públicos. Sin embargo, la retractación tiene un enorme valor, pues significa que la ciencia corrige sus errores (Fang & Casadevall, 2011). El aumento de las retractaciones observado en las últimas décadas es un signo del empleo de mejores métodos de detección del plagio o el autoplagio, la falsificación o la fabricación de resultados por parte de las instituciones y de los editores, y de la capacidad de los investigadores para admitir los errores publicados (Fanelli, 2013).

Van Noorden (2011) señaló que a comienzos del milenio aparecían 30 retractaciones al año, sin embargo, en el 2011 esta cifra alcanzó más de 400 retractaciones anuales.

Nuestra búsqueda con las palabras clave "retracted publication" efectuada el 26 de abril del 2015 en PubMed, arrojó 1.483 artículos retractados con texto de libre acceso. Una búsqueda similar efectuada el 22 de julio de 2016 arrojó 2.034 artículos de libre acceso retractados, lo cual indica que en los 15 meses transcurridos entre las dos búsquedas, fueron retractados 551 artículos, con un promedio de 37 artículos de libre acceso por mes. En esa misma fecha se detectaron 4.443 artículos retractados, incluidos 2.034 de libre acceso más aquellos a cuyo texto se accedía por pago, lo cual significa que mensualmente se estarían retractando un total de 70 a 100 artículos o entre 840 y 1.200 artículos por año.

En cada nuevo estudio sobre artículos retractados, los porcentajes por año y por país, así como las causas de retractación, van cambiando, ya que los nuevos artículos retractados van ingresando a la base de datos de PubMed organizados por fecha de publicación y código PMID. Se requerirán nuevos estudios para constatar si las causas de retractación mantienen sus tendencias, o si surgen nuevas modalidades de fraude como se evidenció en el presente trabajo, en el cual la "revisoría ficticia o influencia de los autores", se comenzó a detectar desde comienzos del 2015 sin que hubiera antecedentes en los años anteriores.

El análisis de los 1.373 artículos retractados evidenció que las tres principales causas de retractación fueron el error admitido (32,85 %), el plagio o autoplagio (23,67 %) y la falsificación o fabricación de resultados (19,66 %) (Tabla 2). Un trabajo previo sobre 2.047 artículos retractados (de libre acceso y por pago) evidenció que el 21,3 % se debía a error admitido, 9,8 % a plagio, 14,2 % a publicaciones duplicadas y 43,4 % a fraude o sospecha de fraude; además, se señaló que los artículos retractados por fraude se incrementaron diez veces desde 1975 (Fang, et al., 2012).

Será muy útil contar con nuevos trabajos que comparen las causas de retractación de los artículos de libre acceso y de acceso mediante pago, con el fin de confirmar si existen diferencias significativas en las causas de retractación de estos dos grupos de artículos. También se han observado diferencias en las definiciones de las categorías de retractación; en el presente trabajo, por ejemplo, se utilizó la categoría "plagio y autoplagio" y en ella se incluyeron también las publicaciones duplicadas, considerándolas como autoplagio, mientras que otros autores tratan el plagio y las publicaciones duplicadas como categorías independientes. Sin duda estas diferencias pueden dificultar la comparación de trabajos realizados por diferentes autores.

En el presente trabajo las tres principales causas de retractación fueron el error admitido, el plagio o autoplagio y la falsificación o fabricación de resultados, las cuales comenzaron a incrementarse desde los años 80, como puede verse en la Figura 2A. En la figura 2B se muestran las causas de retractación de 90 artículos en los primeros cuatro meses del 2015, en los cuales se encontró que la falsa revisoría o la influencia de los autores sobre los revisores, con 37 artículos, aparece como una nueva modalidad de mala conducta en investigación no detectada en años anteriores y que representó el 2,76 % del total de las causas de retractación. En marzo del 2015, PubMed retractó 42 artículos en ciencias biomédicas firmados por investigadores de la China debido a revisoría ficticia o suplantación de los revisores en correos electrónicos manejados directamente por los autores (The Lancet, 2015a), 38 de los cuales se detectaron en el presente trabajo. Por otro lado, en el curso del análisis de la muestra de 1.373 artículos retractados objeto del presente estudio, el 18 de agosto de 2015 la editorial Springer retractó 64 artículos aparecidos en diez revistas y de autores de diferentes nacionalidades también por revisoría falsa; se estimó que el 15 % de los artículos retractados en los últimos tres años tendrían revisoría falsa, lo que confirma esta nueva modalidad de mala conducta en la investigación (Haug, 2015), la cual necesariamente afecta la confianza de la sociedad en la ciencia, la tecnología y la innovación, situación también señalada por el COPE (2015).

En el 2011 se retractaron 13 artículos por fallas bioéticas, cuatro en el 2012, seis en el 213, tres en el 2014 y dos en el 2015. Esta disminución de las retractaciones por fallas bioéticas observada a partir del 2011 podría ser el resultado de la divulgación de instructivos para los autores y los editores por sugerencia del COPE en el 2009 (Wagner, et al., 2009). Como se pudo observar en este trabajo, el incremento en la detección de la falsificación y la fabricación de datos desde el 2009 y del plagio o autoplagio desde el 2011 podría estar relacionada con incitativas como la del blog Retraction Watch creado en el 2010 para divulgar, reportar y analizar las retractaciones (http://retractionwatch.com/).

Las retractaciones por error admitido, consideradas como una conducta responsable en investigación, y que, además, deben promoverse también para salvaguardar el buen nombre del investigador (Fanelli, 2013; The Lancet, 2015b), aumentaron sostenidamente desde 1985 (Figura 2A).

El aumento de las diferentes modalidades de mala conducta en la investigación causantes de la retractación de los artículos de libre acceso y de acceso con pago, se ha documentado ampliamente (The Lancet, 2015a; Haug, 2015; Sabir, et al., 2015), y se ha relacionado con las altas presiones a las que se ven sometidos los investigadores bajo una falsa ideología de "publica o perecerás", la cual es un incentivo para todo tipo de ambiciones personales, para la prepotencia en los investigadores, y los intereses económicos y comerciales (NorvaiÅ¡a, 2011). En este contexto, la educación tiene un papel importante para corregir estas tendencias que desfiguran completamente el sentido de la publicación científica.

El análisis del porcentaje del total de artículos retractados de libre acceso en relación con los publicados por país, evidenció una variación de 0,0042 % a 0,2732 %, es decir, una diferencia de 65 veces entre los países con menor y mayor proporción de retractaciones (Figura 3). El número de artículos de libre acceso publicados por país tuvo un amplio rango (366 y 1.317.838), así como de artículos retractados (1 y 453). La honestidad, la imparcialidad, la objetividad y la responsabilidad son valores que se promueven durante la formación de los investigadores, sin embargo, no en todos los países se asume esta tarea con la misma responsabilidad e interés, de manera que el error admitido, considerado como una capacidad autocrítica del investigador, reflejó variaciones en los diferentes países, lo cual sugiere diferencias en la formación de una conducta responsable en la investigación científica. Además, los mecanismos para la detección de las diferentes categorías de mala conducta en la investigación, como el plagio y el autoplagio, o la falsificación y la fabricación de datos, generalmente varían de un país a otro. En este sentido, no fue posible establecer una tendencia clara de la frecuencia de retractaciones asociada a variables geográficas. Sin embargo, se pudo observar que entre los primeros 15 países con menores porcentajes de retractaciones, nueve eran países europeos: Finlandia, Bélgica, Austria, Hungría, Francia, Dinamarca, Holanda, Irlanda y Reino Unido (Figura 3), en tanto que de los 15 países con los mayores porcentajes de artículos retractados, 14 eran asiáticos o africanos: Egipto, Líbano, Corea del Sur, China, Jordania, Vietnam, India, Omán, Bangladesh, Túnez, Nepal, Sudán, Marruecos y República Gabonesa (Figura 3). El error admitido se presentó con mayor frecuencia en países como Holanda, Suiza, Francia, Suecia, Reino Unido, Estados Unidos y Argentina (Figura 1S).

En la muestra estudiada no fue posible verificar si, como era factible esperarse, los artículos retractados desarrollados con ayuda de la colaboración interinstitucional eran menos que los que no contaban con dicha colaboración. Sin embargo, se observó una relación inversa entre el número artículos retractados y el número de autores por artículo, lo cual evidencia que cuando hay un mayor número de colaboradores científicos disminuye la probabilidad del fraude. Es de esperarse que, dado que son examinados desde diferentes ópticas científicas, en los proyectos interdisciplinarios se tenga mayor cuidado y objetividad durante la obtención y el análisis de los resultados, lo cual confirma la importancia de la colaboración entre disciplinas (The Royal Society, 2011), y su efecto en la disminución de la retractación.

Se observó que el plagio o el autoplagio puede detectarse mediante métodos electrónicos después de publicado un artículo, lo cual disminuye el tiempo entre la publicación y la retractación. En la mayoría de los casos, el error admitido depende de la decisión de uno o varios de los autores para informar a los editores. Por otro lado, la falsificación o fabricación de datos solo se detecta cuando otros investigadores intentan replicar la metodología utilizada y obtienen resultados completamente diferentes de los publicados, situación que evidencia el fraude; este proceso requiere de más tiempo como queda claro en la Figura 5.

Se encontró que en 52 % de los 1.373 artículos de libre acceso la solicitud de retractación fue presentada por los autores, en 35,3 %, por los editores y en 5,1 %, por acuerdo de ambas partes. Grieneisen & Zhang (2012) analizaron 3.510 artículos (de libre acceso y con acceso restringido), y encontraron que en el 59,5 % la retractación fue hecha por los editores. Estos resultados divergentes plantean la necesidad de hacer estudios comparativos entre muestras de artículos retractados de libre acceso y de artículos sin libre acceso, con el fin de verificar si existen diferencias en cuanto al papel de los editores en el control de los manuscritos y los artículos publicados. El papel de los editores de la revistas es determinante en la detección y corrección de errores, por este motivo, desde el 2007 el COPE desarrolló el "Código de conducta y guías de buenas prácticas para los editores de revistas". Cuando los autores admiten haber cometido errores y solicitan la retractación del artículo, demuestran la importancia de la autocrítica en la ciencia, sin embargo, gran parte de las notas de retractación redactadas por los propios autores no son suficientes para definir la verdadera causa de la retractación, lo cual inclina a los lectores a considerarlos bajo el estigma de "mala conducta científica" (Van Noorden, 2011). Por esta razón, el COPE resalta la importancia de especificar las causas por las cuales un artículo es retractado, como una forma de diferenciar los errores no deliberados de la sospecha o confirmación de mala conducta (Wager & Williams, 2011).

Sin duda, los revisores desempeñan un importante papel para asegurar la calidad y el control de los manuscritos publicados en cualquier revista, y por ello es necesario establecer estrategias que garanticen que su papel no sea vulnerado por prácticas fraudulentas. En este sentido, Das (2016), propone varias medidas para los editores, entre ellas las siguientes: a) cada revista debe tener su propia base de datos de revisores; b) es necesario verificar los correos electrónicos de los revisores suministrados por los autores, además de los detalles de su afiliación a instituciones científicas; c) se debe verificar la credibilidad de los revisores antes de solicitar su participación en la revisión; d) los editores deben distinguir entre un buen revisor, un revisor parcializado o un mal revisor, y e) es necesario hacer el reconocimiento anual de los revisores en las revistas. Das (2016) afirma que en aras de una revisión y publicación rápidas no debe sacrificarse una revisoría que busque garantizar la calidad del manuscrito sometido a evaluación.

Si bien 1.373 de los 1.483 (92,58 %) artículos estudiados tenían notas de retractación públicas, como lo recomienda el COPE (2009), un porcentaje elevado de estos (948/1.373; 69,04 %) siguió siendo citado después de la retractación, hecho que también ha sido reportado en otros trabajos (Budd, et al., 1998; Sox & Rennie, 2006). A finales del 2015 Retraction Watch publicó una lista de los documentos retractados más citados, con 500 a más de 1.000 citas, después de la retractación (http://retractionwatch.com/the-retraction-watch-leaderboard/top-10-most-highly-cited-retracted-papers/). En este estudio se evidenció que el 7,4 % de los 1.483 artículos retractados publicados entre 1959 y el 2015 no tenían notas de retractación de libre acceso, lo cual supone que no todas las revistas acogen las sugerencias del COPE (2009) encaminadas a disminuir el impacto de las publicaciones retractadas en la literatura científica. En este sentido, los autores tienen un acceso limitado a las notas de retractación y pueden incurrir en la citación y, en consecuencia, en la perpetuación de las publicaciones retractadas.

Fulton, et al., (2015) sugieren que la continuidad de estas citaciones puede deberse a que muchos autores descargan la copia del formato digital del artículo que necesitan y no vuelven a consultar la fuente original, y la escasa actualización de estas librerías personales posibilita la citación de documentos retractados durante el proceso de redacción del manuscrito; estos autores recomiendan que los autores y los revisores verifiquen antes de la publicación de un manuscrito si entre las referencias citadas hay artículos retractados. El sistema de actualización CrossMark es un servicio de CrossRef, el cual permite detectar en tiempo real cualquier cambio en el documento como correcciones, erratas o retractaciones. En los próximos años este tipo de sistema facilitará el flujo de la información con la consecuente disminución del impacto de los documentos retractados (http://www.crossref.org/crossmark/).

Los resultados del presente trabajo no evidenciaron correlación entre el número de artículos retractados por mala conducta y el factor de impacto de las revistas evaluadas. En estudios previos publicados por Fang & Casadevall, 2011; Fang, et al. , 2012, y Steen, et al., 2013, se encontró que en las categorías de plagio, error y fraude, cuanto mayor era el factor de impacto de la revista, mayor era la tendencia a la retractación, lo cual podría deberse al menos a cuatro razones distintas: 1) las revistas de alto impacto generalmente son citadas y visitadas más ampliamente, lo que significa un mayor escrutinio de la comunidad científica (Steen, et al., 2013); 2) estas revistas son más diligentes en la búsqueda o la respuesta a denuncias de mala conducta y errores que aquellas con un factor de impacto más bajo, las cuales suelen tener menos recursos para esto (Wagner & Williams, 2011); por ejemplo, se sospecha que en las revistas de acceso abierto los manuscritos reciben menos atención en la revisión por pares (Bohannon, 2013; Carafoli, 2015); 3) se ha demostrado que el factor de impacto de las revistas tiene relación directa con los requisitos éticos y con políticas más claras para la detección de la mala conducta en la investigación (Charlier, et al., 2011). En un estudio publicado en el 2004, se demostró que solo el 21 % de 122 revistas biomédicas evaluadas tenía políticas de retractación (Atlas, 2004). De hecho, la adopción de estas políticas ha venido aumentando en la última década en revistas de alto impacto, lo cual se puede traducir en un mayor número de retractaciones (Resnik, et al., 2015), y 4) la presión social para publicar resultados novedosos o "sorprendentes" en revistas de alto impacto lleva a que los artículos se sometan a publicación de forma descuidada y con errores o fraudes, lo cual incide en la falta de fiabilidad en la ciencia (Lu, et al., 2013; Bretscher, 2013).

 

Conclusiones

Probablemente el año 2015 será recordado porque entre el 25 y 31 de marzo fueron retractados 42 artículos en revistas de circulación internacional debido a revisoría fraudulenta efectuada mediante correos electrónicos ficticios de supuestos revisores creados por los mismos autores, y el 18 de agosto, otros 64 artículos fueron retractados por la misma razón. Se evidenció así una nueva modalidad de mala conducta en la investigación, la denominada "revisoría ficticia", que no había sido detectada en estudios anteriores. El presente estudió mostró una proporción máxima de un artículo retractado por cada 2.117 artículos de libre acceso publicados en el 2013. Esta cifra parecería baja, sin embargo, muchos investigadores consideran que los datos observados en los diferentes estudios constituyen solamente la punta del iceberg y que, por lo tanto, el cálculo real de artículos científicos que adolecen de fallas relacionadas con el plagio, el autoplagio, el error negligente, la fabricación y falsificación de resultados y la autoría ficticia, sería difícil de obtener. A pesar de ello, es necesario desarrollar nuevos estudios sobre publicaciones retractadas, ya que las librerías construidas con estos artículos se modifican con el tiempo, lo cual afecta las proporciones por año y por país y modifica la frecuencia de las causas de retractación; incluso, pueden surgir nuevas modalidades de fraude como la revisoría ficticia detectada en el 2015.

Se destaca que entre 1959 y 2015, la proporción de artículos retractados de libre acceso fue tres veces mayor que la proporción de artículos de acceso restringido retractados, lo cual señala la necesidad de nuevos estudios comparativos en torno a los factores determinantes de la retractación entre estos dos grupos de artículos.

Es preocupante el elevado número de artículos que siguen siendo citados después de la retractación; en este caso, de los 1.373 artículos en estudio, el 69 % fue citado. Es por esto que buena parte del problema se relaciona con fallas en la comunicación científica, porque los autores no verifican si las referencias bibliográficas que utilizan en sus manuscritos son de artículos que han sido retractados. Los resultados de este estudio sugieren que cuanto mayor es el número de autores mejor es el escrutinio de los artículos, que el examen de las referencias del manuscrito puede evitar la citación de documentos retractados, y que la depuración de las bases de literatura y la optimización de la revisión por pares, entre otras medidas, son factores clave para prevenir la citación de artículos retractados. En las revistas de circulación internacional, los estudios sobre mala conducta en la investigación concitan cada vez mayor interés, sin embargo, en Colombia y en muchos países latinoamericanos, la conducta responsable en la investigación y la integridad de la ciencia son temas que los integrantes de los sistemas nacionales de ciencia, tecnología e innovación aún no abordan con suficiente interés. Por tal razón, es importante que desde los niveles iniciales de la formación científica en escuelas y universidades se promuevan los valores inherentes a quien se dedica a la investigación, tales como la honestidad, la imparcialidad, la objetividad, la fiabilidad, el escepticismo, la responsabilidad y la apertura hacia la comunidad científica y la sociedad. Siempre será pertinente programar seminarios sobre conducta responsable en la investigación en los niveles de pregrado, en las maestrías y los doctorados, para divulgar las normas y los códigos éticos de buenas prácticas científicas, basados en la honestidad y la integridad como valores principales.

Agradecimientos

A la Facultad de Ciencias y la Maestría en Ciencias Biológicas de la Universidad del Tolima, por apoyar durante el 2015 la organización del seminario sobre "La conducta responsable en investigación y la integridad de la ciencia: de la responsabilidad individual a la responsabilidad colectiva de la comunidad científica", en cuyo marco se discutió, analizó, corrigió y redactó el presente documento. Agradecimientos especiales a los evaluadores anónimos, cuyos comentarios y sugerencias mejoraron la calidad del artículo.

Conflicto de intereses

Los autores declaran no haber tenido conflicto de intereses durante la elaboración del presente documento.

 

Referencias

Acosta, O. & Celis, J. (2014). The emergence of doctoral programs in the Colombian higher education system: Trends and challenges. Prospects. 44 (3): 463-481. doi: 10.1007/s11125-014-9310-5        [ Links ]

Agresti, A. & Coull, B.A. (1998). Approximate is better than "Exact" for Interval Estimation of Binomial Proportions. The American Statistician. 52 (2): 119-126. doi: 10.2307/2685469        [ Links ]

Atlas, M.C. (2004). Retraction policies of high-impact biomedical journals. Journal of the Medical Library Association. 92 (2): 242-250.         [ Links ]

Avey, M.T., Fenwick, N., Griffin, G. (2015). The use of systematic reviews and reporting guidelines to advance the implementation of the 3rd Journal of the American Association for Laboratory Animal Science. 54 (2): 153-162.         [ Links ]

Blyth, C.R., & Hutchinson, D.W. (1960). Table of Neyman-shortest unbiased confidence intervals for the binomial parametert. Biométrica. 47 (3-4): 381-391. doi: 10.2307/2333308        [ Links ]

Bohannon, J. (2013). Who's afraid of peer review? Science. 342 (6154): 61-65. doi: 10.1126/science.342.6154.60        [ Links ]

Bretscher, A. (2013). Magazine or journal-what is the difference? The role of the monitoring editor. Molecular Biology of the Cell. 24 (7): 887-889. doi: 10.1091/mbc.E12-12-0899        [ Links ]

Budd, J.M., Sievert, M.E., Schultz, T.R. (1998). Phenomena of retraction reasons for retraction and citations to the publications. JAMA. 280 (3): 296-298. doi: 10.1001/jama.280.3.296        [ Links ]

Cañedo, R. (2009). Cuba, Iberoamérica y la producción científica en salud en la base de datos PubMed en el periodo 1999-2008. ACIMED. 20 (1): 1-27.         [ Links ]

Carafoli, E. (2015). Scientific misconduct: the dark side of science. Rendiconti Lincei. 26 (3): 369-382. doi: 10.1007/s12210-015-0415-4        [ Links ]

Charlier, P., Bridoux, V., Watier, L., Menetrier, M., Grandmaison, G., Herve, C. (2011). Ethics requirements and impact factor. Journal of Medical Ethics. 38 (4): 253- 255. doi: 10.1136/medethics-2011-100174        [ Links ]

COPE. (2009). Retraction guidelines. Fecha de consulta: 24 de abril de 2015. Disponible en: http://publicationethics.org/files/retraction%20guidelines_0.pdf.         [ Links ]

COPE. (2014). What constitutes authorship? COPE Discussion Document. Fecha de consulta: 24 de abril de 2015. Disponible en: http://publicationethics.org/files/Authorship_DiscussionDocument_0.pdf.         [ Links ]

COPE. (2015). COPE statement on inappropriate manipulation of peer review processes. Disponible en: Fecha de consulta: 23 de abril de 2015. http://publicationethics.org/news/cope-statement-inappropriate-manipulation-peer-review-processes#_blank.         [ Links ]

Cyranoski, D., Gilbert, N., Ledford, H., Nayar, A., Yahia, M. (2011). Education: The PhD factory. Nature. 472 (7343): 276-279. doi: 10.1038/472276a        [ Links ]

Das, A.K. (2016). 'Peer review' for scientific manuscripts: Emerging issues, potential threats, and possible remedies. Med J Armed Forces India. 72 (2):172-4. doi: 10.1016/j.mjafi.2016.02.014.         [ Links ]

Fanelli, D. (2013). Why growing retractions are (mostly) a good sign. PLoS Medicine, 10 (12): e1001563. doi: 10.1371/journal.pmed.1001563        [ Links ]

Fang, F.C., & Casadevall, A. (2011). Editorial: Retracted science and the retraction index. Infection and Immunity. 79 (10): 3855-3859. doi: 10.1128/IAI.05661-11        [ Links ]

Fang, F.C., Steen, R.G., Casadevall, A. (2012). Misconduct accounts for the majority of retracted scientific publications. Proceedings of the National Academy of Sciences. 110 (3): 17028-17033. doi: 10.1073/pnas.1212247109        [ Links ]

Fulton, A.S., Coates, A.M., Williams, M.T., Howe, P.R., Hill, A.M. (2015). Persistent citation of the only published randomised controlled trial of Omega-3 supplementation in chronic obstructive pulmonary disease six years after its retraction. Publications. 3 (1): 17-26. doi: 10.3390/publications3010017        [ Links ]

Grieneisen, M.L. & Zhang, M. (2012). A comprehensive survey of retracted articles from the scholarly literature. PLoS ONE. 7 (10): e44118. doi: 10.1371/journal.pone.0044118        [ Links ]

Haug C.J. (2015). Peer-review fraud - Hacking the scientific publication process. The New England Journal of Medicine. 373 (25): 2393-2395. doi: 10.1056/NEJMp1512330        [ Links ]

Hermerén, G. (2008). Integridad y mala conducta en el ámbito investigador. Sociedad Española de Bioquímica y Biología Molecular. 156: 5-10.         [ Links ]

Jinha, A.E. (2010). Article 50 million: An estimate of the number of scholarly articles in existence. Learned Publishing. 23 (3): 258-263. doi: 10.1087/20100308        [ Links ]

Lu S.F., Jin J.Z., Uzzi B., Jones B. (2013). The retraction penalty: Evidence from the Web of Science. Scientific Reports. 3: 3146. DOI: 10.1038/srep03146        [ Links ]

Masic, I. (2012). Plagiarism in scientific publishing. Acta Informatica Medica. 20 (4): 208-213. doi: 10.5455/aim.2012.20.208-213        [ Links ]

NorvaiÅ¡a, R. (2011). Journal impact factor and academic ethics. Evolution of Science and Technology. 3 (2): 120-128. doi: 10.3846/est.2011.10        [ Links ]

Office of Research Integrity. (2014). Misconduct. Disponible en: http://ori.hhs.gov/definition-misconduct. Fecha de consulta: 9 de septiembre de 2015.         [ Links ]

Partridge, L. (2015). Celebrating 350 years of Philosophical Transactions: Life science papers. Philosophical Transactions of the Royal Society. 370: (20140380). doi: 10.1098/rstb.2014.0380        [ Links ]

Quesemberry, C.P. & Hurst, D.C. (1964). Large sample simultaneous confidence intervals for multinomial proportions. Technometrics. 6 (2): 191-195. doi: 10.1080/00401706.1964.10490163        [ Links ]

Resnik, D.B., Wagner, E., Kissling, G.E. (2015). Retraction policies of top scientific journals ranked by impact factor. Journal of the Medical Library Association. 103 (3), 136-138. doi: 10.3163/1536-5050.103.3.006        [ Links ]

Resnik, D.B. & Stewart, C.N. (2012). Misconduct versus honest error and scientific disagreement. Account Res. 19 (1): 1-7. doi: 10.1080/08989621.2012.650948.         [ Links ]

Sabir, H., Kumbhare, S., Parate, A., Kumar, R., Das, S. (2015). Scientific misconduct: A perspective from India. Medicine, Health Care and Philosophy. 18 (2): 177-184. doi: 10.1007/s11019-014-9603-8        [ Links ]

Shewan, L.G. & Coats, A.J.S. (2010). Ethics in the authorship and publishing of scientific articles. International Journal of Cardiology. 144 (1): 1-2. doi: 10.1016/j.ijcard.2010.07.030        [ Links ]

Sistema Nacional de Instituciones de Educación Superior- SNIES. (2016). Módulo de consultas. Fecha de consulta: 26 de mayo de 2016. Disponible en: http://snies.mineducacion.gov.co/consultasnies/programa#. Fecha de consulta: 26 de mayo de 2016.         [ Links ]

Sox, H.C., & Rennie, D. (2006). Research misconduct, retraction, and cleansing the medical literature: Lessons from the Poehlman case. Annals of Internal Medicine. 144 (8): 609- 13. doi: 10.7326/0003-4819-144-8-200604180-00123        [ Links ]

Steen, R.G., Casadevall, A., Fang, F.C. (2013). Why has the number of scientific retractions increased? PloS One. 8 (7): e68397. doi: 10.1371/journal.pone.0068397.         [ Links ]

The Lancet. (2015a). Editorial: China's medical research integrity questioned. The Lancet. 385 (9976): 1361. doi: 10.1016/S0140-6736(15)60700-0        [ Links ]

The Lancet. (2015b). Editorial: Correcting the scientific literature: Retraction and republication. The Lancet. 385 (9966): 394. doi: 10.1016/S0140-6736(15)60137-4        [ Links ]

The Royal Society. (2011). Knowledge, networks and nations: Global scientific collaboration in the 21st century. ISBN: 978-0-85403-890-9. The Royal Society, Londres, Inglaterra. 113 pp.         [ Links ]:

Van Noorden, R. (2011). Science publishing: The trouble with retractions. Nature. 478 (7367): 26-28. doi: 10.1038/478026a        [ Links ]

Wager, E., Barbour, V., Yentis, S., Kleinert, S. (2009). Retractions: Guidance from the Committee on Publication Ethics (COPE). Disponible en: http://publicationethics.org/files/u661/Retractions_COPE_gline_final_3_Sept_09__2_.pdf. Fecha de consulta: 2 de enero de 2016.         [ Links ]

Wager, E. & Williams, P. (2011). Why and how do journals retract articles? An analysis of Medline retractions 1988-2008. Journal of Medical Ethics. 37 (9): 567-570. doi: 10.1136/jme.2010.040964        [ Links ]

Creative Commons License All the contents of this journal, except where otherwise noted, is licensed under a Creative Commons Attribution License