http://dx.doi.org/10.1016/j.rca.2012.05.013

Investigación científica y tecnológica

José Andrés Calvache^a'*, Leticia Barajas-Nava^b, Claudia Sánchez^c, Alberto Giraldo^d, José Domingo Alarcón^e y Mario Delgado-Noguera^f

^a Residente 111 de Anestesiología, Departamento de Anestesiología, Universidad del Cauca, Anesthesiology/Biostatistics Department, Erasmus Medical Center Hospital, Rotterdam, Países Bajos
^b Red Cochrane Iberoamericana, Barcelona, España
^c Profesor, Universidad Antonio Nariño, Bogotá, Colombia
^d Anestesiólogo, Clínica Amiga, Cali, Colombia
^e Red Cochrane Iberoamericana, Profesor, Universidad Surcolombiana de Neiva, Neiva, Colombia
^f Profesor, Departamento de Pediatría, Universidad del Cauca, Popayán, Colombia

* Autor para correspondencia:Departamento de Anestesiología, Hospital Universitario San José, tercer piso. Cra 6 10N-142, Popayán, Colombia. Correo electrónico: jacalvache@gmail.com (J.A. Calvache).

Historia del artículo: Recibido el 2 de abril de 2012 Aceptado el 29 de mayo de 2012
On-line el 11 de julio de 2012

Resumen

Introducción: El ensayo clínico aleatorizado (ECA) es una de las mejores formas de adquisición de pruebas científicas en ciencias de la salud. Es catalogado como la piedra angular de la medicina basada en la evidencia y como eje de la formación de conocimiento de alta calidad. Diversos tipos de sesgos pueden comprometer sus resultados y afectar su validez interna. Objetivos:Evaluar el «riesgo de sesgo» de los ensayos clínicos publicados en la Revista Colombiana de Anestesiología (RCA) mediante la aplicación de la herramienta para detección de «riesgo de sesgo» de la Colaboración Cochrane.

Métodos:Mediante una búsqueda sistemática se identificaron todos los ensayos clínicos publicados en la RCA. Estos se distribuyeron de forma aleatoria entre 6 evaluadores entrenados en la utilización de la herramienta para detección de «riesgo de sesgo» de la Colaboración Cochrane. Los resultados se presentaron de forma descriptiva, gráfica y temporal para cada uno de los 6 dominios que constituyen la herramienta.

Resultados: La RCA ha publicado 40 volúmenes desde 1973. El proceso de búsqueda identificó hasta el 2009 un total de 75 ECA. La frecuencia de publicación de ECA ha aumentado con el paso del tiempo, las ciudades con mayor publicación fueron Bogotá DC y Medellín, y en su mayoría están relacionados al manejo del dolor agudo y crónico. El mayor riesgo de sesgo (29% de los ECA) se identificó en el encubrimiento de la secuencia de aleatorización (dominio 2). El 30% de los estudios presentaron 4 dominios o más clasificados como bajo riesgo de sesgo. Se apreció una tendencia a la reducción de la proporción de dominios clasificados como alto riesgo de sesgo con el paso del tiempo.

Conclusiones:Existe una tendencia sostenida al mejoramiento y a la reducción del riesgo de sesgo de los ECA publicados en la RCA, con algunos puntos a fortalecer en el proceso de diseño, conducción, análisis y reporte.

Palabras clave: Ensayos clínicos, Ensayo clínico controlado, aleatorizado, Sesgo de selección, Anestesiología.

Abstract

Introduction: Randomized clinical trials (RCT) are one of the most reliable methods of scientific investigation in health sciences. It is a corner stone of evidence based medicine and the backbone of high standard knowledge. Several types of errors can compromise the results and affect its validity.

Objectives: To assess the risk of bias of the clinical trials published in the Revista Colombiana de Anestesiología (RCA) medical journal by applying the «risk of bias detection» tool of the Cochrane Collaboration.

Methods: All the clinical trials in the RCA journal were found by carrying out a systematic research. These trials were randomly distributed among 6 evaluators trained in the use of the «risk of bias detection» tool of the Cochrane Collaboration. Results were presented descriptively, graphically and chronologically to each of the 6 parameters that conform the «risk of bias detection» tool.

Results:The RCA journal has published 40 volumes as of 1973. The searching process identified a total 75 RCT up until 2009. The frequency of RCT publication has risen with time. The cities with most publications were Bogotá DC and Medellín, and most trials were related to the management of acute and chronic pain. The greatest risk of bias (29% of all RCT) was found in the concealing of randomization sequences (parameter 2). 30% of the studies showed four or more parameter values of low risk of bias. A trend of decreasing proportion of high risk values was observed as time passed.

Conclusions:There is a sustained trend of improvement and risk reduction in RCTs' in the RCA journal.

Keywords: Clinical trials, Randomized controlled trial, Selection bias, Anesthesiology.

© 2012 Published by Elsevier España, S.L. on behalf of Sociedad Colombiana de Anestesiología y Reanimación.

Introducción

El ensayo clínico es un experimento cuantitativo, comparativo y controlado en el cual un grupo de investigadores estudian 2 o más intervenciones en un grupo de individuos quienes generalmente las reciben de forma aleatoria¹. Representa una de las mejores formas de adquisición de evidencia científica en ciencias de la salud y es el diseño de investigación que proporciona mayor inferencia de causalidad. Es catalogado como la piedra angular de la medicina basada en la evidencia y como eje de la formación de conocimiento de alta calidad². Sus resultados sirven de sustrato para la elaboración de evidencia científica de alta calidad, de revisiones sistemáticas y guías de práctica clínica.

Su bien posicionado lugar en la jerarquía de la evidencia ha generado algunas concepciones equivocadas de validez, calidad y carencia de sesgo que se han relacionadoúnicamente a su nombre y al abuso de sus virtudes. A pesar de sus bondades, no está libre de problemas metodológicos que pueden afectar su validez interna y externa³.

Con respecto a validez interna, los posibles sesgos que pueden amenazar un ensayo clínico pueden resultar de fallas en el diseño, conducción, análisis, interpretación y reporte de sus resultados. Han sido clasificados en 4 grupos: sesgos de selección, realización, desgaste y de detección⁴. Se ha demostrado que la inadecuada aleatorización, el «fallo» en el ocultamiento de la asignación, la ausencia de ceguera o las pérdidas diferenciales del seguimiento pueden afectar los efectos observados de los tratamientos^5-8. Hay evidencias que sugieren que el inadecuado ocultamiento de la asignación y la carencia de doble ciego pueden sobreestimar el efecto de la intervención en estudio⁹.

El método para evaluar la calidad de un ensayo clínico es un tema de amplio debate. La ausencia de un estándar de referencia para esta evaluación y la incertidumbre de la evaluación en el efecto de la intervención han llevado al desarrollo de múltiples escalas y listas de chequeo¹⁰. Sin embargo, solo el 12% de estos instrumentos ha sido evaluado de forma empírica¹¹. Muchos de ellos incluyen la evaluación de elementos referentes al reporte y diseño que no están relacionados directamente con el sesgo⁴.

En febrero de 2008, la Colaboración Cochrane introdujo una herramienta para la evaluación de riesgo de sesgo, diseñada para establecer la validez interna de un ensayo clínico⁴. La elección de los componentes incluidos (6 dominios) se basó en evidencias de su asociación positiva o negativa con la estimación del efecto^7,8,12. Sus autores tuvieron como objetivo diferenciar entre los elementos usados para desarrollar un ensayo clínico de los necesarios para su reporte. Cada domino es evaluado en 3 categorías de riesgo de sesgo (alto, bajo, no claro) que finalmente resultan en la evaluación individual de cada estudio y para cada dominio con 2 herramientas gráficas de valoración. Su calificación se hace a partir del reporte original del ensayo clínico y además puede incluir otros documentos adicionales, como el protocolo del estudio¹³.

La Revista Colombiana de Anestesiología (RCA) es la publicación oficial de la Sociedad Colombiana de Anestesiología y Reanimación (SCARE), y tiene como objetivos divulgar los conocimientos relacionados con la especialidad yáreas afines. Desde su primera publicación, en 1973, ha publicado 40 volúmenes con 157 números. Está actualmente clasificada como categoría A2 en Publindex de Colciencias.

El objetivo de este estudio fue evaluar el riesgo de sesgo de todos los ensayos clínicos aleatorizados (ECA) publicados en la RCA mediante la aplicación de la herramienta para detección de riesgo de sesgo de la Colaboración Cochrane.

Métodos

Estudio observacional que incluyó todos los ECA publicados en la RCA desde la fecha de su primera edición (año 1973) hasta los contenidos en el volumen 37, número 1, de 2009.

Se diseñó una búsqueda sistemática para la identificación de todos los ensayos clínicos publicados que incluyó la exploración de la base de datos SCIELO, revisión manual de todos los volúmenes de la RCA y el uso de la herramienta de búsqueda y localización del sitio web http://www.revcolanest.com.co. Se excluyeron los ensayos o experimentos cuasiexperimentales (antes-después) y los que no habían sido desarrollados con humanos.

Una vez identificados los estudios, para su evaluación, el total de estudios se dividió en 6 grupos iguales utilizando una tabla de números aleatorios generada por computador (R Development Core Team [2010]¹⁴). Cada grupo de estudios fue dividido entre 6 evaluadores, quienes tenían previa experiencia y entrenamiento para la evaluación de ensayos clínicos y/o publicación de revisiones sistemáticas mediante la metodología de la Colaboración Cochrane. La numeración original y la distribución de los estudios estuvieron a cargo del autor principal de este estudio.

Cada revisor aplicó a cada estudio un formulario electrónico. En este formulario se recogió información correspondiente a: 1) título del estudio; 2) tipo de ensayo clínico; 3) número de grupos en estudio; 4) número de autores del estudio; 5) desenlaces estudiados y tiempo de estudio del desenlace primario; 6) sitio y fecha de realización, 7) número de participantes del estudio, y finalmente los 6 dominios de la herramienta para la evaluación del riesgo de sesgo de la Colaboración Cochrane.

Análisis de la información

Para el análisis de los datos se diseñó una base de datos en el paquete estadístico R¹⁴. Los resultados se presentan de forma descriptiva y gráfica e incluyen la descripción de los estudios incluidos, las proporciones temporales y geográficas de publicación y la proporción de evaluación del riesgo de sesgo para cada dominio dentro de sus 3 categorías (alto riesgo, bajo riesgo, riesgo no claro). Adicionalmente, se crearon gráficas para evaluar las tendencias de publicación, su relación con el riesgo de sesgo y el número de participantes reclutados.

Resultados

La RCA ha publicado hasta el momento 40 volúmenes, con 4 números por año, para un total de 157 ejemplares (considerando el número 1, volumen 40, de 2012). Su publicación se inició en julio de 1973 (volumen 1, número 1) y se ha continuado durante losúltimos 39 años.

El primer ensayo clínico de la RCA fue publicado en el número 10, del año 1982. Desde entonces el proceso de búsqueda, que incluyó hasta el volumen 37, número 1, de 2009, localizó un total de 75 ensayos clínicos publicados. No se incluyeron losúltimos 8 números de la revista (3 de 2010, 4 de 2011 y uno de 2012), en los cuales se han publicado 13 nuevos ensayos clínicos, dado que durante este periodo se llevó a cabo la etapa de extracción y análisis de este estudio. En la figura 1 hay más detalles del proceso de búsqueda y selección.

Las características generales de los estudios incluidos, lasáreas de investigación en orden de frecuencia y el tiempo de seguimiento que hicieron del (de los) desenlace(s) primario(s) se presentan en la tabla 1. La figura 2 presenta el sitio de realización de los estudios y la figura 3, el número de estudios publicados por bloques de 3 años en la historia de la RCA.

La clasificación como bajo riesgo de sesgo se alcanzó en el 66% de los estudios en el dominio 4 (pérdidas del seguimiento), en el 54% (reporte selectivo) y en el 45% en el dominio 1 (aleatorización). El dominio con mayor clasificación como alto riesgo de sesgo fue el número 2, relacionado con el encubrimiento de la secuencia de aleatorización. El 30% del total de ECA alcanzó 4 o más dominios clasificados como bajo riesgo de sesgo. La tablas 2 y 3 y la figura 4 presentan las frecuencias y proporciones de los dominios de la herramienta para la evaluación del riesgo de sesgo alcanzadas por los ensayos clínicos publicados en la RCA.

La relación entre el año de publicación, el número de ensayos publicados y la evaluación de los 4 principales dominios de la herramienta de evaluación se describe en la figura 5. En ella se aprecia el incremento delárea de coloración azul con el paso del tiempo como evidencia de la reducción sostenida en el riesgo global de sesgo de los estudios. Adicionalmente, la figura 6 presenta en color azul la proporción de estudios que alcanzan 3 o más dominios con bajo riesgo de sesgo y en el radio de las burbujas el tamaño promedio de reclutamiento de los estudios.

Para finalizar, la figura 7 es un diagrama de cajas con la distribución del total de participantes reclutados por los estudios en relación al año de publicación (organizados en bloques de 3 años).

Discusión

Este estudio presenta una perspectiva de la producción de ensayos clínicos en elárea de anestesiología en Colombia. Fue una iniciativa de estudio con el propósito de mostrar nuestro crecimiento y posiblemente planificar estrategias de mejoramiento en el futuro.

Presentamos la discusión de sus resultados en 2 secciones. Primero, los aspectos generales de la producción en la revista, y finalmente el análisis del riesgo de sesgo de las publicaciones.

Aspectos generales de la producción

La mayoría de los estudios publicados han sido desarrollados en la ciudad de Bogotá y Medellín. Posiblemente estas ciudades provean mayores capacidades organizativas, colaborativas, logísticas y de financiación para el desarrollo de ensayos clínicos, los cuales, por su complejidad, así lo exigen. Varios estudios de origen internacional también han utilizado la RCA para su publicación, aunque el número de artículos internacionales ha disminuido en losúltimos años. La visibilidad internacional de la RCA ha aumentado de forma importante por diversas estrategias adoptadas por la SCARE y por su comité editorial. Actualmente se encuentra indizada en SciELO Colombia, LILACS, EBSCO, Imbiomed, Index Copernicus, Redalyc, LICOCS, Latindex y, la más reciente, Elsevier-Doyma¹⁵. Es un interés general el hecho de convertirse en atractiva para la publicación de estudios desarrollados en otras latitudes y de alcanzar su indización en Medline.

El número de ensayos clínicos ha aumentado con el paso del tiempo, y a partir del año 2003 se han producido aproximadamente 5 artículos por año. La tendencia gráfica aparenta ser lineal y sostenida. Muchos autores, investigadores y grupos podrían ser influenciados por equipos de asesoría metodológica y analítica. En una publicación que evaluó los ensayos clínicos de la Reuista Española de Anestesiología, García et al. reportaron que el 30% de los estudios probaban intervenciones no farmacológicas¹⁶. Para la RCA esta proporción es más baja; sin embargo, está presente. Por las características propias de la especialidad, la anestesiología es unárea en la cual se utilizan variadas intervenciones no farmacológicas que representan una oportunidad para nuevos retos en el diseño y planeación de estudios experimentales.

Pocos estudios realizaron seguimientos de los desenlaces mayores a 24h. De hecho, la mayoría de ellosúnicamente lo hicieron durante 2 h. Un gran número de ECA en elárea de anestesiología se limitan al periodo postoperatorio inmediato, pero muchos desenlaces relevantes para el paciente —más que para el anestesiólogo o para el investigador— pueden presentarse en el seguimiento intrahospitalario o en el periodo de recuperación tardía. Esta consideración debe ser tenida en cuenta y adaptarse a la pregunta de investigación y al escenario en estudio¹⁷. Adicionalmente, en el caso de utilizar desenlaces subrogados (o mediciones sustitutas o intermedias), que usualmente son más fáciles de medir, estos deben ser cuidadosamente seleccionados para representar adecuadamente el evento clínico de interés para el paciente¹⁸.

Los ensayos clínicos son estudios que exigen una gran planificación y altos recursos incluso cuando su diseño o sus intervenciones no sean complejos. En la RCA, más del 50% de los estudios fueron publicados por 3 o menos autores. En nuestra consideración, son pocos investigadores para el complejo proceso de planificación, diseño, conducción y publicación de un proceso de esta envergadura. Es necesaria la conformación de un mayor número de grupos de investigadores, y su conexión efectiva en red.

Análisis del riesgo de sesgo de las publicaciones

El ensayo clínico y las revisiones sistemáticas de dichos ensayos proporcionan la evidencia «más válida» de los efectos de las intervenciones en salud y sus asociaciones causales. Sin embargo, las inferencias de causalidad extraídas a partir de estos estudios pueden estar menoscabadas por falencias en el diseño, conducción, análisis y reporte de los mismos. Esto resulta en una subestimación o sobreestimación de los efectos de la intervención (sesgos)^5,6,13. Usualmente, es imposible conocer con exactitud la medida en que los sesgos afectan los resultados de un ensayo clínico. Es más, es difícil juzgar —como lectores— las dificultades a las que el grupo de investigación se enfrentó durante un estudio en particular. Por tal motivo, la tendencia actual es juzgar el «riesgo de sesgo» entendiendo la «calidad» como el grado en que el diseño, conducción, análisis y presentación son apropiados para enfrentar los retos de llevar a cabo un ECA sin sesgos.

La herramienta empleada en este estudio para la evaluación del riesgo de sesgo se utiliza para el desarrollo de revisiones sistemáticas al interior de la colaboración Cochrane. Pocas publicaciones la han utilizado con elánimo de describir el riesgo de sesgo en una revista determinada (posiblemente por su reciente diseño)¹⁹. A pesar de algunas limitaciones encontradas en esta herramienta y descritas en la literatura^20-22, nuestro interés fue presentar una perspectiva global de la evolución de los ECA de la RCA.

El análisis de las tablas y figuras presentadas en este estudio muestra que el número de dominios clasificados con bajo riesgo de sesgo alcanzados por los ensayos clínicos es mayor con el paso de los años. El 30% de los estudios presentan 4 o más dominios con bajo riesgo de sesgo. Esta tendencia representa en gran medida una intención clara y sostenida de mejoramiento, de formación y de capacidades de desarrollar investigación de alta calidad. En una próxima publicación de este grupo de trabajo esperamos presentar un subanálisis del periodo comprendido entre el año 2000 hasta la actualidad.

Los resultados de este estudio proporcionan evidencia del gran interés de la RCA, su comité editorial y la SCARE por seguir adelante en el proceso de mejoramiento e incrementar cada vez más la visibilidad de la publicación^15,23. Sin embargo, este esfuerzo debe ser también compartido con cada uno de los autores de la revista, quienes establecen el paso inicial con la calidad de sus reportes²⁴.

El proceso de elaborar un ECA de alta calidad, con bajo riesgo de sesgos, requiere de instituciones sólidas y un sistema de salud que garantice los derechos de los usuarios. También es necesaria una reforma del sistema educativo, en el cual los profesores de las instituciones educativas de nivel superior tengan las suficientes garantías para desarrollar su trabajo investigativo y que las universidades tengan un adecuado presupuesto para este rubro. En Colombia, el sistema de salud actual —dirigido principalmente por la búsqueda pobremente controlada de rentabilidad del intermediario en la prestación de servicios de salud— limita la ejecución no solo de ECA, sino de toda la investigación clínica que se trata de hacer. La rigidez y la estrechez de la rentabilidad comoúnico fin de un sistema de salud coartan la libertad de pensamiento y de acción necesarias para buscar mejores e incluso más económicas alternativas para el cuidado de los pacientes.

Financiación

Recursos propios de los autores.

Conflicto de intereses

Los autores declaran no tener ningún conflicto de intereses.

Agradecimientos

A la Sociedad Colombiana de Anestesiología y Reanimación SCARE, al Departamento de Educación de la SCARE y a la Unidad de Epidemiología Clínica de la Universidad del Cauca.

REFERENCIAS

1. Jadad A, Enkin M. Randomised controlled trials. Blackwell Publishing - BMJ Books; 2007.         [ Links ]

2. Altman D. Better reporting of randomised controlled trials: the CONSORT statement. BMJ. 1996;313:570-1.         [ Links ]

3. Glasziou P, Vandenbroucke J, Chalmers I. Assessing the quality of research. BMJ. 2004;328:39-41.         [ Links ]

4. Higgins J, Green S. Cochrane Handbook for Systematic Reviews of Interventions. Version 5.1.0 [actualizado March 2011]. The Cochrane Collaboration; 2011. Disponible en: http://www.cochrane-handbook.org/        [ Links ]

5. Chalmers T, Celano P, Sacks H, Smith HJ. Bias in treatment assignment in controlled clinical trials. N Engl J Med. 1983;309:1358-61.         [ Links ]

6. Moher D, Pham B, Jones A, Cook D, Jadad A, Moher M, et al. Does quality of reports of randomised trials affect estimates of intervention efficacy reported in meta-analyses? Lancet. 1998;352:609-13.         [ Links ]

7. Schulz K. Assessing allocation concealment and blinding in randomised controlled trials: why bother? Evid Based Nurs. 2001;4:4-6.         [ Links ]

8. Schulz K, Chalmers I, Hayes R, Altman D. Empirical evidence of bias. Dimensions of methodological quality associated with estimates of treatment effects in controlled trials. JAMA. 1995;273:408-12.         [ Links ]

9. Jadad A, Moore R, Carroll D, Jenkinson C, Reynolds D, Gavaghan D, et al. Assessing the quality of reports of randomized clinical trials: is blinding necessary? Control Clin Trials. 1996;17:1-12.         [ Links ]

10. Olivo S, Macedo L, Gadotti I, Fuentes J, Stanton T, Magee D. Scales to assess the quality of randomized controlled trials: a systematic review. Phys Ther. 2008;88:156-75.         [ Links ]

11. Moher D, Jadad A, Nichol G, Penman M, Tugwell P, Walsh S. Assessing the quality of randomized controlled trials: an annotated bibliography of scales and checklists. Control Clin Trials. 1995;16:62-73.         [ Links ]

12. Chan A, Hróbjartsson A, Haahr M, G0tzsche P, Altman D. Empirical evidence for selective reporting of outcomes in randomized trials: comparison of protocols to published articles. JAMA. 2004;291:2457-65.         [ Links ]

13. Higgins J, Altman D, Gotzsche P, Jüni P, Moher D, Oxman A, et al., The Cochrane Collaboration's tool for assessing risk of bias in randomised trials. BMJ. 2011;18:343.         [ Links ]

14. Team RDC. R: A language and environment for statistical computing, reference index version 2.14.1. Vienna, Austria: R Foundation for Statistical Computing; 2005 [consultado 3 Feb 2011]. Disponible en: http://www.r-project.org        [ Links ]

15. Rincoín-Valenzuela D. Jamais nos hemos resignado a ser simples artesanos de la Anestesia: pasado, presente y futuro de la Revista Colombiana de Anestesiologiia. Rev Colomb Anestesiol. 2012;40:6-7.         [ Links ]

16. García-Alamino J, Parera A, Ollé G, Bonfill X. Características y calidad metodologica de los ensayos clínicos publicados en la Reuista Española de Anestesiología y Reanimación. Rev Esp Anestesiol Reanim. 2007;54:333-9.         [ Links ]

17. Godlee F. Outcomes that matter to patients. BMJ. 2012;344:e318.         [ Links ]

18. Yudkin J, Lipska K, Montori V. The idolatry of the surrogate. BMJ. 2011;343.         [ Links ]

19. Liu Y, Yang S, Dai J, Xu Y, Zhang R, Jiang H, et al. Risk of bias tool in systematic reviews/meta-analyses of acupuncture in Chinese journals. PLoS One. 2011; 6:e28130.         [ Links ]

20. Hartling L, Ospina M, Liang Y, Dryden D, Hooton N, Krebs Seida J, et al. Risk of bias versus quality assessment of randomised controlled trials: cross sectional study. BMJ.2009;339:b4012.         [ Links ]

21. Armijo-Olivo S, Stiles C, Hagen N, Biondo P, Cummings G, Assessment of study quality for systematic reviews: a comparison of the Cochrane Collaboration Risk of Bias Tool and the Effective Public Health Practice Project Quality Assessment Tool: methodological research. J Eval Clin Pract. 2012;18:12-8.         [ Links ]

22. Hartling L, Bond K, Vandermeer B, Seida J, Dryden D, Rowe B. Applying the risk of bias tool in a systematic review of combination long-acting beta-agonists and inhaled corticosteroids for persistent asthma. PLoS One. 2011;24:e17242.         [ Links ]

23. Reyes G. Revista Colombiana de Anestesiologiia: auín en su volumen 40 sigue en busca de la excelencia como medio de la difusioin de nuestra produccioín cientiífica. Rev Colomb Anestesiol. 2012;40:4-5.         [ Links ]

24. Miller D. Hacia una mayor transparencia y exactitud de los reportes cientiíficos en las revistas biomeidicas. Rev Colomb Anestesiol. 2012;40:1-3.         [ Links ]