SciELO - Scientific Electronic Library Online

 
vol.9 número1¿Por qué tienen éxito y fracasan las personas con poder y sin poder? Poder y atribuciones de controlEl impacto de la cultura nacional sobre la cultura organizacional índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Articulo

Indicadores

Links relacionados

  • En proceso de indezaciónCitado por Google
  • No hay articulos similaresSimilares en SciELO
  • En proceso de indezaciónSimilares en Google

Compartir


Universitas Psychologica

versión impresa ISSN 1657-9267

Univ. Psychol. v.9 n.1 Bogotá ene./abr. 2010

 

Evaluación de la potencia explicativa de los grafos de redes sociales clandestinas con UciNet y NetDraw*

Assessment the explanatory power of clandestine social networks graphs with UciNet and NetDraw

 

Humberto M. Trujillo **

Fernando M. Mañas

Joaquín González-Cabrera
Universidad de Granada, Granada, España

*Artículo de investigación.

**Facultad de Psicología, Universidad de Granada, Campus de Cartuja s/n, 18071, Granada-Spain. Correos electrónicos: humberto@ugr.es, frnanas@gr.es y joaquinmgc@ugr.es

Recibido: marzo 11 de 2009 | Revisado: junio 14 de 2009 | Aceptado: agosto 10 de 2009

Resumen

El objetivo del presente trabajo es evaluar la potencia explicativa de la visualización de las representaciones generadas mediante gráficas de redes sociales. Para ello se analizan los grafos obtenidos con la aplicación de las herramientas de software UciNet y NetDraw, teniendo en cuenta una serie de principios para su interpretación efectiva. Se estudian las características internas de las principales redes "yihadistas" que se han formado y que han actuado en España. Esto es, se indaga analíticamente el grado de relevancia de la interacción social de los actores durante su militancia y las características e implicaciones de su estructura en red.

Palabras clave autores

Análisis de redes sociales, redes yihadistas, terrorismo, visualización, grafos, software.

Palabras clave descriptor

Redes sociales, métodos gráficos, medición de software.


Abstract

The aim of this paper is to assess the explanatory power of graphic representation by visualization of social networks. We analyze outcomes generated by the software tool UciNet and NetDraw, in order to explain networks outcomes using principles for effective interpretation of graphs. The internal characteristics of the major "jihadist" groups formed in Spain, are taken into consideration/account for analysis in the present paper. Our study examines the relevance of social interaction during "jihadist" militancy and the characteristics and implications of structure within a network.

Key words authors

Social Networks Analysis, Jihadist Network, Terrorism, Visualization, Graphs Software.

Key words plus

Social Networks, Graphic Methods, Software Metrics.


Análisis reticular

El análisis reticular es una estrategia que permite ordenar tanto las interacciones de los miembros de una red social como las interacciones entre distintas redes, de forma que éstas puedan ser representadas en un gráfico y, así, visualmente, explicadas. Fundamentalmente, este tipo de análisis permite identificar los determinantes estructurales de la acción humana y no tanto las motivaciones individuales o colectivas de los individuos (Wassermann &Faust, 1994).

Antes que nada, es conveniente establecer un glosario de términos en uso en este ámbito. Se entiende por red social a todo grupo de individuos que, de forma sub-agrupada o individualmente, se relacionan con otros con un fin específico (las redes pueden tener una o más clases de relaciones entre pares de individuos). El grafo es el nombre técnico que recibe el gráfico resultante de representar una red social. Los nodos o actores son las personas o grupos de personas que se encuentran en torno a un objetivo común. El tamaño de la red es la suma de todos los nodos o actores de la red. Los vínculos son los lazos conectivos que existen entre dos o más nodos de la red (se representan con líneas). El flujo indica la dirección y el sentido del vínculo de los miembros de la red, pudiendo ser éste bidireccional (flujo mutuo) o unidireccional (flujo dirigido). Los atributos son las características de los actores o nodos de la red, lo que permite identificar a cada uno de estos actores dentro de la misma (nacionalidad, grupo de pertenencia, rol, estatus, ideología, etc.). El camino geodésico es la distancia del vínculo entre un actor de la red y otro miembro de la misma.

Postulados básicos del análisis reticular

El concepto de estructura utilizado en las investigaciones reticulares presupone que las formas de la acción humana se manifiestan en los vínculos existentes entre los nodos que integran un sistema social (individuos, grupos, organizaciones, etc.). De forma que las redes sociales se consideran como un conjunto de vínculos entre nodos.

En el análisis reticular, un sistema social es, ante todo, un conjunto estructurado de posiciones donde se postula que el rol de cada actor es dependiente del lugar que ocupa y de los atributos que lo caracterizan. Como consecuencia de esto las dimensiones valorativas y normativas de la conducta son más bien efectos y no causas.

Los conjuntos de vínculos entre actores constituyen los datos básicos del análisis reticular. Esto es, la estructura buscada se concibe como pautas o regularidades en las formas de vinculación, que emergen en los conjuntos relacionales como consecuencia del análisis.

Se presupone que las características estructurales de las redes de relaciones sociales descubiertas en el curso del análisis determinan los comportamientos de los individuos implicados en ellas. Por ello, este tipo de análisis concibe los sistemas sociales como redes de relaciones y no como un conjunto de individuos cuya conducta está regulada por normas y valores interiorizados, por atributos individuales o por meras relaciones diádicas. Los vínculos no tienen que ser necesariamente diádicos, considerándose, a su vez, los vínculos entre vínculos como elementos esenciales de la estructura. Además, los vínculos entre los nodos que definen un retículo social son entendidos como flujos de información o de influencia (Carrington, Scott & Wassermann, 2005).

Instrumentos analíticos

Las técnicas de análisis empleadas en las investigaciones reticulares presentan características diferenciales respecto a las técnicas usuales y más tradicionales de investigación social. Estas diferencias se derivan del objeto mismo que se analiza, ya que según se ha indicado anteriormente las redes de relaciones sociales son conjuntos de vínculos entre entidades y no conjunto de entidades o individuos. Es por esto que las técnicas estadísticas usuales no son adecuadas para su análisis, al postularse desde ellas el carácter aleatorio de las relaciones interindividuales y, por lo tanto, operar con conjuntos de individuos atomizados y elegidos aleatoriamente por distintos procedimientos de muestreo.

Las técnicas estadísticas usuales conllevan una concepción categorial y distributiva de las estructuras, lo que ocasiona que sus resultados sean siempre distribuciones (uni o multivariadas) de atributos individuales. Y, además, cuando se examinan distribuciones de categorías agregadas de atributos, tampoco se analizan directamente relaciones sociales, sino sus efectos sobre las variables atributivas. Así mismo, las técnicas usuales de análisis estadístico, al desdeñar las vinculaciones concretas entre los individuos, sólo pueden explicar la acción colectiva atribuyendo a las normas interiorizadas un papel causal, a veces, desmesurado (Wassermann &Faust, 1994).

Por todo ello, el análisis reticular ha buscado instrumentos heurísticos y de formalización en esquemas de pensamiento matemático, ajenos a la estadística. Primero en la teoría de grafos incluida en la topología, después en teorías algebraicas abstractas, como es el caso de la teoría de semigrupos y, finalmente, en la teoría de las categorías y desarrollos topológicos, donde la teoría de los complejos simpliciales ha visto en el análisis de redes sociales un inesperado campo de aplicación. Como vemos, una de las dimensiones más interesantes del pensamiento reticular estriba, precisamente, en el desarrollo de instrumentos matemáticos propios en lugar de la aplicación a su propio campo de otros forjados en problemáticas empíricas muy alejadas.

Las redes de relaciones sociales se analizan mediante el uso de indicadores de centralidad y conglomerados ("cliqués" o "cluster"). Ambos conceptos están destinados a poner en evidencia singularidades estructurales, puntos de particular significación o conjuntos de puntos asimilables entre ellos. No obstante, su empleo exige la definición de medidas adecuadas, cuyo desarrollo ha llevado a plantearse, con mayor rigor, la problemática de las variaciones locales en la densidad relacional. Para resolver el problema, se han aplicado conceptos de la teoría de grafos como, por ejemplo, el de la longitud de los caminos geodésicos más cortos entre dos puntos. Esto es, la estructura de una red se puede analizar utilizando conglomerados ("cliqués" o "cluster") y/o mediante los siguientes indicadores de centralidad de su densa interconexión: (1) grado de conectividad; (2) actores con el mayor y menor número de interacciones; (3) intermediación de los actores en las relaciones entre otros; y, (4) cercanía entre los actores a través de sus interacciones.

Existen numerosas definiciones tanto de la centralidad y de su medida como de conglomerados o cliqués y de la heurística que lleva a su detección. Sin embargo, en el curso de las investigaciones empíricas ha acabado por emerger el concepto de equivalencia estructural en las redes. Así, dos nodos de una red social son estructuralmente equivalentes, cuando sus relaciones con todos los nodos restantes son idénticas.

El concepto de equivalencia estructural permite la identificación de todos los actores equivalentes y constituye, por así decirlo, el esqueleto de la red analizada, de forma que se llaman "posiciones" a los nodos de una red reducida mediante la aplicación de este concepto de equivalencia estructural. Es importante hacer explícito que el concepto de equivalencia estructural se traduce en una metodología de difícil aplicación para redes formadas por un elevado número de nodos, pues recurre al análisis de categorías, para la identificación de las vinculaciones compuestas -vinculaciones entre vinculaciones- de orden N, siendo N el número total de nodos existentes en la red. El análisis de la composición de las relaciones exige un elevado volumen de cálculo. Por ejemplo, para redes de 1000 nodos sigue siendo irrealizable a pesar del aumento de la capacidad y velocidad de los ordenadores. Por ello, se han desarrollado conceptos menos exigentes de equivalencia estructural como es el caso de los "blockmodels", lo que ha desembocado en algoritmos para el análisis de la equivalencia aplicables a redes de centenares de nodos.

La potencia explicativa de la visualización tras la representación de una red social

Con cierta frecuencia, el uso de la visualización de la representación gráfica de datos científicos se ha restringido a la mera representación de éstos en tablas o gráficos. Sin embargo, nosotros atenderemos la utilidad de la representación gráfica para la exploración, esto es, en lo que puede estar ocurriendo a tenor de la representación de los datos, con el fin de conseguir información y conocimiento para poder comprender y, así, llegar a saber. En este sentido, Ackoff (1989) distingue entre dato, información, conocimiento, comprender y saber. Los datos representan un hecho sin relación alguna con otra cosa. La información es cuando los datos tienen un significado debido a su relación conectiva con otros. El conocimiento es una suficiente y provechosa cantidad de información. La comprensión es el proceso por el cual se llega a tener y sintetizar nuevo conocimiento a partir de conocimientos previos. Saber es la comprensión evaluada mediante procesos de extrapolación, indeterminados y probables.

Se ha demostrado empíricamente que una buena representación gráfica de la información permite conocimiento mediante la visualización de ésta si su calidad es suficiente (Freeman, 2000, 2005; Tufte, 1997). Así que para conseguir una representación gráfica de excelencia, es necesario lo siguiente: (1) que los datos sean de interés; (2) que comunique ideas complejas con claridad, precisión y eficiencia; (3) que aporte un gran número de ideas en poco espacio; (4) que sea multivariada; y, (5) que sea fiel a la naturaleza de los datos.

Según Brandes, Kenis y Raab (2006), para la visualización efectiva de la representación gráfica de una red social, entendida como imagen adecuada de una realidad compleja, es necesario identificar claramente y elegir la información importante para la misma, mediante el filtrado y selección adecuada de los actores, de las conexiones entre éstos y de los atributos más importantes que caracterizan a los mismos. Se trata de atender las dimensiones sustantivas del fenómeno de estudio, para lo cual serán necesarios distintos indicadores de centralidad de la red y el estatus de la información contenida en la misma. No obstante, se debe tener en cuenta que los principios para conseguir la excelencia gráfica, mencionados anteriormente, son necesarios pero no suficientes, para conseguir una buena potencia explicativa de la representación con grafos de una red social. Además, nos tendríamos que preguntar si tal representación sirve para comprender los datos y, lo que es más importante, los posibles mecanismos que subyacen a su estructura (Brandes & Erlebach, 2005; Brandes, Raab & Wagner, 2001).

Objetivos

Con este trabajo se pretende demostrar que el análisis reticular es una alternativa útil a las herramientas estadísticas usuales para conocer el significado y los componentes de una red social y para explicar visualmente las estructuras sociales, partiendo de información fundamentalmente cualitativa. Se intenta hacer patente que la visualización de la representación gráfica de una red social puede ser de gran utilidad, al menos, para llegar a conseguir información sustantiva que sirva de base para el conocimiento. Para tal fin, se estudia la estructura de la militancia yihadista en España realizando un análisis de las redes terroristas de Abu Dahdah y del 11-M, y de la conexión entre ambas y la antigua red argelina de Allekema Lamari.

Análisis reticular de la militancia "yihadista" en España

Las técnicas estadísticas usuales no son del todo útiles para el análisis de redes sociales (Brandes & Erlebach, 2005), por lo que es necesario la aplicación de otras herramientas computacionales o plataformas de software con base matemática como, por ejemplo, UciNet y NetDraw (Borgatti, 2002).

Técnicas de análisis reticular utilizadas e indicadores de centralidad

La aplicación UciNet dispone de distintas rutinas analíticas aplicables a estructuras en red y provee una plataforma para el manejo de datos y herramientas de transformación, para aplicar procedimientos de teoremas gráficos con un lenguaje algebraico interpuesto por matrices. Además, permite la aplicación de distintas estrategias de análisis multivariado. Por otra parte, NetDraw permite realizar grafos de estructuras reticulares usando distintos algoritmos para generar aquellos en segunda y tercera dimensión, además de facilitar la lectura de archivos matriciales generados por UciNet y su transformación en gráficos. Los grafos que produce aportan información y conocimiento mediante visualización de los mismos.

La aplicación conjunta de ambas plataformas ha mostrado una suficiente bondad matemática y gráfica, para generar indicadores válidos para el estudio de redes sociales (Borgatti, 2002; Jordán, Mañas & Trujillo, 2006).

Estas plataformas de software se consideran herramientas computacionales, analíticas y gráficas adecuadas para llevar las interacciones entre individuos, o grupos de éstos, a un nivel de análisis que permita interpretar la importancia de la red, de sus nodos o actores y de los vínculos y flujos de las interacciones ocurridas, mediante la cuantificación y graficación de la densa interconexión, utilizando los siguientes indicadores de centralidad: grado, intermediación y cercanía. El grado de conectividad de la red se considera como el número de vínculos directos de un actor de la red con otros de la misma red. La intermediación de los actores en las relaciones en red es el número de veces que un actor aparece en el camino más corto entre otros dos actores. La cercanía entre los actores es la suma de las distancias que separan a un actor del resto de actores de la red, lo que indica la capacidad de un actor para llegar a otros en pocos pasos.

Fuentes de información utilizadas

Se utilizaron las siguientes fuentes informativas: (1) sumario 35/2001; (2) contenido íntegro de la sentencia 36/2005 sobre la red de Abu Dahdah; (3) auto de procesamiento del sumario 20/2004 sobre los atentados del 11 de marzo en Madrid; (4) noticias de prensa nacional y extranjera sobre las investigaciones judiciales; y, (5) reportajes de periodismo científico sobre la temática.

Resultados

Tras la aplicación de NetDraw para el análisis por separado de las redes de Abu Dahdah y la del 11-M, se obtienen dos grafos que permiten observar las diferencias y semejanzas entre las estructuras conectivas existentes entre los actores de cada una de ellas (Figura 1).

Con la aplicación del mismo software se genera el grafo de la interconexión estructural de las redes de Abu Dahdah, del 11-M y la red argelina de Allekema Lamari, lo que resulta en un único gráfico de densa relación, en el que se puede apreciar, mediante visualización, la conectividad, intermediación y cercanía entre los actores que las componen (Figura 2).

Mediante UciNet se obtiene información normalizada, expresada en porcentaje, acerca del grado de conectividad, intermediación y cercanía de los actores de las redes de Abu Dahdah, del 11-M y la de Allekema Lamari analizadas conjuntamente (véanse Tablas 1, 2 y 3).

La evaluación de la potencia explicativa de una red se debería evaluar atendiendo una serie de principios que, según Tufte (1997), cualquier representación de una red social tendría que satisfacer. Sean los siguientes:

1. Documentar adecuadamente las fuentes y las características de los datos. Aunque el principio de documentar las fuentes de información y las características de los datos se considera algo obvio; sin embargo, no siempre se lleva a efecto en la práctica. Hasta tal punto es esto así, que es relativamente frecuente encontrar representaciones gráficas en las cuales la información sobre las características y origen de los actores, no existe. Con UciNet y NetDraw se evita esto, ya que las características y atributos de los actores se tienen que establecer necesariamente (Véanse, Figuras 1 y 2).

2. Hacer las comparaciones adecuadas. La configuración de centralidad y de estatus que ofrecen conjuntamente UciNet y NetDraw sobre las redes yihadistas, hace posible combinar y agregar datos en el mismo grafo, ya que se aporta información sobre los vínculos entre los nodos (Véanse, Figuras 1 y 2) y sobre la centralidad o estatus de las puntuaciones (Véanse, Tablas 1, 2 y 3). Además, estas plataformas de software permiten tres posibilidades de comparación. Primera, los nodos pueden ser comparados de acuerdo a su posición y, simultáneamente, de acuerdo a las conexiones entre estas posiciones; así, diferentes estructuras conectivas pueden llevar a la misma posición estructural (Véanse, Figuras 1 y 2). Segunda, el color, el tamaño y la forma pueden servir para representar diferentes atributos o características de los actores, lo cual es de utilidad para explicar la posición estructural de éstos o características generales de la red (Véase, Figura 2). Tercero, se pueden construir múltiples grafos para representar por yuxtaposición diferentes casos (Véase, Figura 2). De forma que si las características de las redes sociales son un factor importante para la explicación de los resultados, entonces estructuras similares deberían llevar a resultados similares y estructuras diferentes deberían llevar a resultados diferentes. Esto es, la utilización de estas representaciones gráficas basadas sobre los mismos principios de composición permite comparar una gran cantidad de información de una forma condensada.

3. Identificación de los mecanismos bajo los que se estructura la red (causa y efecto). Los datos deben estar ubicados en un contexto apropiado para poder identificar los mecanismos de las causas y efectos. Por lo tanto, los diferentes factores asumidos como generadores de efectos deben ser claramente visibles (Véase, Figura 2).

4. Expresar estos mecanismos cuantitativamente. Esto supone aportar información cuantitativa acerca de la estructura del grafo mediante la obtención de indicadores numéricos de centralidad (Véanse, Tablas 1, 2 y 3). Esto lo permite el trabajo conjunto con UciNet y Netdraw.

5. Organizar la naturaleza multivariada inherente al problema analizado. Normalmente, los fenómenos sociales no pueden ser explicados por una causa única ya que son la consecuencia de interacciones complejas de múltiples factores (Trujillo, Jordán, Gutiérrez & González-Cabrera, 2009). Es por esto que la representación gráfica de una red debería contemplar múltiples causas. Las estructuras conectivas (grafos) generadas por UciNet y NetDraw resuelven este problema, pues siempre es posible combinar las causas que originan las características de los actores (lugar de origen, cultura, organización a la que pertenecen, estatus, ideología, religión, etc.) con las causas procedentes de la estructura social a la que pertenecen a nivel de actor (conexiones directas e indirectas con otros actores, índices de agrupación, etc.) y a nivel de red (densidad, centralidad, número de cluster) (Véase, Figura 2). No obstante, es conveniente hacer notar que existe una limitación para la representación conjunta de las causas, ya que en dos dimensiones no se pueden representar simultáneamente más de tres características o atributos por nodo representado (tamaño, forma y color).

6. Evaluar la posibilidad de mecanismos explicativos alternativos. La posibilidad de explicaciones alternativas se puede conseguir mediante la posición estructural de los nodos en la red y las diferencias de posiciones de los actores a través de redes. La aplicación de UciNet y NetDraw para el análisis redes yihadistas permiten esto (Véanse, Figuras 1 y 2).

Limitaciones del análisis reticular

Que se sepa, las investigaciones inspiradas en la perspectiva del análisis de redes tienen, al menos, dos limitaciones: (1) las estructuras que generan son estáticas; y (2) es complicado llegar a conclusiones inequívocas de causalidad.

La introducción de la temporalidad en el análisis reticular conllevaría sustanciales ventajas para la definición de los criterios de invariancia y de regularidad estructurales. Sin embargo, no es una tarea sencilla en su dimensión teórica y práctica, ya que hay que articular lo diacrónico y lo histórico en la elaboración de los paradigmas de investigación empírica, y tener en cuenta esta articulación en la elaboración de conceptos matemáticos. Por lo general, estas tareas no han sido aún abordadas a pesar de la existencia de elementos que las podrían facilitar.

No obstante, se puede afirmar que cuando se construya un espacio reticular en el que se puedan definir estructuras sociales y, sin cambiar de paradigma ni de conceptos, sus transformaciones temporales, entonces se estará en condiciones de plantear con mayor rigor la problemática inherente al análisis de redes sociales.

Conclusiones

El análisis reticular es una alternativa y a la vez un complemento al análisis estadístico usual, para el conocimiento de lo social. Los resultados obtenidos favorecen la explicación de lo social mediante la visualización de los grafos de red y de los indicadores numéricos de centralidad que facilita (Brandes, Kenis & Raab, 2006; Jordán, Mañas & Trujillo, 2006).

La visualización de grafos puede contribuir potencialmente al conocimiento. Si bien, un requisito importante para conseguir esto, es que la representación se haga siguiendo una serie de principios que favorezcan que los grafos contengan suficiente información. Pensamos que los esfuerzos para representar redes sociales con UciNet y NetDraw, son un paso en esta dirección.

Los resultados obtenidos muestran que estas plataformas podrían ser de utilidad para la elaboración del ciclo de inteligencia y contrainteligencia en operaciones antiterroristas y contra el crimen organizado, y, por lo tanto, en la toma de decisiones en el ámbito de la seguridad. Así mismo, pensamos que el hecho de conocer con certeza las relaciones existentes entre los miembros de una red social dedicada, por ejemplo, al crimen organizado, así como conocer también las posiciones que cada uno de ellos ocupa en la misma, sin duda permitiría la aplicación de acciones policiales proactivas para la prevención de los actos delictivos que pudieran cometer.

Referencias

Ackoff, R. L. (1989). From data to wisdom. Journal of Applied Systems Analysis, 16, 3-9.        [ Links ]

Borgatti, S. P (2002). NetDraw [computer software]. Harvard, MA: Analytic Technologies.        [ Links ]

Brandes, U. & Erlebach, T (Eds.). (2005). Lecture notes in computer science tutorial. Network analysis: Methodological foundations (Vol. 3418). Berlin: Springer-Verlag.        [ Links ]

Brandes, U., Kenis, R & Raab, J. (2006). Explanation through network visualization. Methodology. European Journal of Research Methods for the Behavioural and Social Science, 2, 16-23.        [ Links ]

Brandes, U., Raab, J. & Wagner, D. (2001). Explanatory network visualization: Simultaneous display of actor status and connections. Journal of Social Structure, 2(4). Recuperado el 15 de enero, 2007, de http://www.cmu.edu/joss/content/articles/volume2/BradesRaabWagner.html        [ Links ]

Carrington, P. G., Scout, J. & Wassermann, S. (2005). Models and methods in social network analysis. Cambridge: Cambridge University Press.        [ Links ]

Freeman, L. C. (2000). Visualizing social networks. Journal of Social Structure, 1 (1). Recuperado el 15 de enero, 2007, de http://www.cmu.edu/joss/content/articles/volume2/Freeman.html.        [ Links ]

Freeman, L. C. (2005). Graphic techniques for exploring social network data. In P G. Carrington, J. Scott &S. Wasserman (Eds.), Models and Methods in social network analysis (pp. 248-169). Cambridge: Cambridge University Press.        [ Links ]

Jordán, J., Mañas, F. M. & Trujillo, H. M. (2006). Perfil sociocomportamental y estructura organizativa de la militancia yihadista en España. Análisis de las redes de Abu Dahdah y del 11-M. Inteligencia y Seguridad. Revista de Análisis y Prospectiva, 1, 79-111.        [ Links ]

Trujillo, H.M., Jordán, J., Gutiérrez, J.A., & González-Cabrera, J. (2009). Radicalization in Prisons? Field Research in 25 Spanish Prisons. Terrorism and Political Violence, 21, 558-579.        [ Links ]

Tufte, E. R. (1997). Visual explanations: Images and quantities, evidence and narrative. Cheshire, CT Graphics Press.        [ Links ]

Wassermann, S. & Faust, K. (1994). Social network analysis: Methods and applications. Cambridge: Cambridge University Press.        [ Links ]