1. Introducción

La década de 1960 estuvo marcada no solo por la expansión de las organizaciones y el incremento en las inversiones en recursos humanos y financieros orientados a la investigación científica y tecnológica, sino también por su mayor énfasis en la recolección de información y la construcción de estadísticas capaces de medir estas actividades (^{Velho, 1997}). Al notar que la ciencia, tecnología e innovación (CT&I) desempeña un papel fundamental en las economías modernas, la medición de estas actividades pasa a recibir atención especial de los planificadores de políticas públicas.

El interés por los indicadores de CT&I e investigación y desarrollo (I&D) comenzó a hacerse más evidente cuando los investigadores descubrieron que había relación entre el aumento de las inversiones en CT&I, el crecimiento del producto interno bruto (PIB) y los niveles de trabajo, es decir, en los impactos de la producción de riquezas (^{Barré, 1997}). En la actualidad, existe cierto consenso en que el desarrollo e interacción entre CT&I son determinantes tanto para el desarrollo económico y social como para la generación de empleo y renta cualificados, y para proporcionar competitividad internacional.

Existen relaciones entre los conceptos de I&D y CT&I; sin embargo, no son sinónimos. La I&D se considera investigación experimental (que comprende investigación básica, investigación aplicada y desarrollo experimental). La actividad está vinculada a otras de carácter científico y tecnológico. Las actividades de CT&I pueden considerarse más amplias e incluyen, además de I&D, educación y formación científica y tecnológica, así como servicios científicos y técnicos. La innovación apunta a la realización de productos y procesos tecnológicamente nuevos y mejores. La I&D forma parte de las actividades de innovación, puede utilizarse como fuente de ideas inventivas, pero también para resolver problemas de procesos hasta su finalización (^{Organización para la Cooperación y el Desarrollo Económicos [OCDE], 2015}).

Con el pasar del tiempo, no ha sido fácil medir estas relaciones, por lo que existe la necesidad de nuevos instrumentos teórico-metodológicos que logren comprender mejor las relaciones entre CT&I y el desarrollo económico. Notablemente, el desarrollo y la difusión de la ciencia y la tecnología son procesos extremadamente complejos, dinámicos y heterogéneos, en función de la multiplicidad de relaciones y vínculos entre los componentes de los sistemas de ciencia, tecnología e innovación. Surge, así, un campo de estudios que comenzó a dedicarse a la producción y al análisis de indicadores de CT&I.

Las actividades de CT&I también poseen características difíciles de medir con indicadores de relaciones entre input y output o según los modelos económicos, que consideran el balance costo-beneficio o de inversión-resultado. Los gastos en ciencia son tangibles y pueden ser medidos con los mismos estándares de otras actividades (recursos financieros previstos, costos resultantes y recursos humanos disponibles). Sin embargo, los resultados o beneficios son intangibles, multidimensionales y prácticamente imposibles de cuantificar en términos económicos. Al tratar de medir la producción y el aumento del conocimiento, es importante reconocer que se trata de un concepto intangible, cuyos beneficios alcanzados se revelan solo indirectamente, y no es posible estimarla según los modelos convencionales (^{Sancho, 2001}).

^{Barré (1997)} muestra un concepto de indicadores de CT&I que ilustra las posibilidades de cobertura de aplicaciones y complejidades inherentes a estos indicadores: los conocimientos cuantitativos sobre los parámetros de las actividades científicas, tecnológicas e innovadoras, a nivel institucional, disciplinario, sectorial, regional, nacional o plurinacional, pretenden caracterizar y situar instituciones, regiones y países en mapas temáticos, para permitir la realización de estudios comparativos, análisis temporales y acceso a conocimientos básicos para el debate general y la elaboración de políticas públicas.

Ante la necesidad de la producción de indicadores, algunas organizaciones comienzan a producir manuales orientativos. Los manuales de la Red de Indicadores de Ciencia y Tecnología (RICYT) y la OCDE han sido considerados en la producción de indicadores, sobre todo en contextos nacionales (por ejemplo, el Instituto Brasileño de Geografía y Estadística; el Ministerio de Ciencia, Tecnología, Innovación y Comunicaciones de Brasil; el Observatoire des Sciences et des Techniques, en Francia; y el Observatorio Colombiano de Ciencia y Tecnología). No obstante, también existen algunas iniciativas locales de uso de los manuales, como los indicadores producidos por la Fundación de Apoyo a la Investigación del Estado de Sao Paulo (^{FAPESP, 2005}). Sin embargo, son pocas las iniciativas locales, regionales y sectoriales que utilizan explícitamente los manuales como referencia conceptual y metodológica para la construcción de indicadores de CT&I e I&D. En el contexto brasileño, la Investigación de Innovación (Pintec), que sigue, en líneas generales, el Manual de Oslo (^{Instituto Brasileiro de Geografia e Estatística [IBGE], 2014}), es un ejemplo clásico de análisis sectoriales.

Con la evolución de las tecnologías de la información y comunicación y la necesidad de rendir cuentas a la sociedad sobre las actividades de CT&I, existe la tendencia de divulgación de los datos primarios (nacionales e internacionales) abiertos, en un entorno en línea. A partir de estos datos abiertos, las informaciones pueden ser utilizadas, agregadas y mezcladas, y, por tanto, aumentar su relevancia. Diversas iniciativas han sido realizadas por organizaciones como las del Consorcio World Wide Web (W3C), que ha producido tecnologías y orientaciones para poner a disposición datos abiertos.

La rendición de cuentas a la sociedad en el ámbito de las actividades de CT&I, fuertemente fomentadas con recursos públicos, también sigue la misma lógica. La producción de indicadores de input y output (indicadores de los recursos asignados y los resultados producidos con las actividades de C&T), con la utilización de datos abiertos, puede llegar a ser una buena estrategia para esto. Por lo tanto, se vislumbra la posibilidad de generación de indicadores adaptados a las demandas no solo nacionales (macros), sino también regionales, locales y sectoriales (micros). Universidades, estados y regiones, sectores y áreas del conocimiento, por ejemplo, pueden crear sus propios indicadores y observatorios de C&T, con el uso de los datos producidos a nivel nacional e internacional; además, agregar y cruzar información frente a sus realidades y necesidades específicas.

En Francia, el intento de comprender cada vez más las relaciones entre economía, ciencia, tecnología y sociedad dio origen al primer observatorio en ciencia y tecnología del mundo, el Observatoire des Sciences et des Techniques, que inspiró a otros países a tomar iniciativas similares. Los observatorios de ciencia y tecnología son definidos como organizaciones diseñadas para recolectar, integrar, difundir y producir información, con el objetivo principal de crear indicadores para el análisis del Sistema Nacional de Investigación, Desarrollo e Innovación (ID&I). A través de la utilización de estándares y metodologías reconocidas internacionalmente, los observatorios permiten la medición de las actividades científicas y tecnológicas de una nación, alineándose con las iniciativas de la OCDE y de la RICYT (^{De la Vega, 2007}). Partiendo de esta definición de observatorio de C&T, de la evolución de las tecnologías y la ampliación de la divulgación de datos publicados abiertamente, emergen nuevas posibilidades para la producción de indicadores y planificación de observatorios locales, regionales y sectoriales.

Las tecnologías de la información han reducido fuertemente los costos de manejo y análisis de datos, así como las barreras para el acceso y la recolección a nivel nacional e internacional. En la actualidad, cuando los datos y los indicadores no son considerados secretos o confidenciales, el acceso en línea se convierte en la norma y, de forma creciente, pasan a estar disponibles abiertamente. Algunos ejemplos son bases de datos nacionales e internacionales de estadísticas, como MSTI, EUROSTAT-Chronos, bases de datos bibliométricas y bases de datos internacionales de patentes. Además, la producción de una serie de indicadores tuvo una reducción de los costos con el acceso a internet y a las tecnologías (^{Lepori, Barré & Filliatreau, 2008}).

Aunque se reconozca la importancia de los manuales metodológicos de la OCDE y RICYT para el desarrollo de metodologías y prácticas para las estadísticas y los indicadores de CT&I, no se sabe la influencia real de estos en la producción científica y, por consiguiente, su importancia en la actualidad como referencia para la construcción de indicadores. Identificar la influencia histórica de estos manuales se considera un paso preliminar para planificar la construcción de indicadores, así como de observatorios nacionales, regionales, locales y sectoriales de CT&I.

De esta manera, la presente investigación busca comprender la influencia de los manuales de la OCDE y la RICYT en la producción científica internacional por medio del análisis de citación y cocitación en la base de datos Scopus. También, comprender cómo países y áreas del conocimiento se están estructurando para elaborar indicadores a partir de estos manuales. Se pretende, por lo tanto, responder específicamente a las siguientes cuestiones: ¿cuál es la evolución de la citación de los manuales, referencias para la producción de indicadores de CT&I, en la literatura científica? ¿En qué áreas del conocimiento, temas y países los manuales están ejerciendo mayor influencia? ¿Cuál es la proximidad o la densidad de los artículos científicos que citan los manuales, medida a partir del análisis de cocitación?

2. Manuales de la OCDE y de la RICYT destinados a la medición de las actividades de CT&I e I&D

El desarrollo de indicadores de CT&I surge con iniciativas aisladas destinadas a un grupo muy especializado de economistas. Las primeras mediciones de estas actividades fueron realizadas por la Unión Soviética en 1930. Posteriormente, en 1940, tuvieron inicio en los Estados Unidos (^{Sancho, 2001}). Después de la Segunda Guerra Mundial, las experiencias comienzan a multiplicarse. Una de las más importantes, por ejemplo, ocurre en 1950, cuando la National Science Foundation en los Estados Unidos comienza a recolectar periódicamente datos estadísticos de las actividades de I&D. Al mismo tiempo, desarrollos similares se inician en la Europa Occidental, especialmente en el Reino Unido, los Países Bajos y Francia. Durante el período de 1950 y 1960, varios países participaron de discusiones sobre la producción de indicadores estandarizados comparables internacionalmente. Poco después, en 1964, es publicado el Frascati Manual por la OCDE, el primero de una serie de manuales conocidos como Familia Frascati (^{Boshoff & Mouton, 2003}).

A partir de la década de 1970, los países desarrollados ampliaron los esfuerzos para medir estadísticamente sus actividades de CT&I y organizaron diversos emprendimientos en esta área. Los Estados Unidos, a través de la National Science Foundation (NSF), lanzaron la primera edición del informe Science and Engineering Indicators, Inglaterra creó el Science Policy Research Unit (SPRU) y Francia, por medio de la OCDE, dio los primeros pasos para subsidiar decisiones en el marco de las políticas de investigación con la realización de una serie de estudios cuantitativos (^{Barré, 1997}).

Con el esfuerzo orientado a la sistematización de los datos estadísticos, para mejorar la producción de indicadores de CT&I y realizar comparaciones internacionales, la OCDE entra en escena. Influenciada por las experiencias adquiridas por la NSF (^{Sancho, 2001}), desarrolló diversos trabajos que culminaron en la compilación de una serie de publicaciones que reúnen conceptos, estándares, metodologías y formas para la parametrización de la recolección de datos estadísticos de CT&I. La OCDE es una de las organizaciones que más se destaca en la elaboración de diversas publicaciones de esta naturaleza. Las más conocidas, utilizadas internacionalmente para la producción de indicadores de CT&I, son los manuales conocidos como Familia Frascati. Los principales manuales publicados buscan medir actividades de I&D (Manual Frascati), innovación (Manual de Oslo), recursos humanos (Manual de Camberra) y balance de pagos tecnológicos (Manual TBP).

Los manuales producidos por la OCDE (Tabla 1) son las principales referencias conceptuales y prácticas para reflexiones y estudios sobre las actividades de CT&I; estos proporcionan comparaciones internacionales de países y organizaciones. Inicialmente, los manuales fueron dirigidos a los países miembros de la OCDE, pero a lo largo del tiempo su adopción se extendió internacionalmente, y son utilizados por numerosos países de América Latina, Europa Oriental, Asia, África y Oceanía.

En el contexto de Iberoamérica, el interés por el desarrollo de metodologías para la construcción de indicadores de CT&I también es evidente. Además de la adopción de los manuales producidos por la OCDE como referencia, los países de la región han buscado desarrollar adaptaciones de estos manuales y proponer indicadores específicamente pensados para su realidad, con el fin de tener en cuenta las especificidades nacionales. Algunas de las principales iniciativas en este sentido vienen siendo capitaneadas por la RICYT.

La RICYT, organización creada en 1995, tiene la misión de promover el desarrollo de instrumentos para la medición y análisis de C&T en Iberoamérica, en un escenario de cooperación internacional, a fin de obtener más conocimiento y utilizarlo mejor como instrumento para los procesos de toma de decisión. La organización integra todos los países de las Américas, además de España y Portugal. Actualmente, la RICYT tiene como colaborador principal la Organización de los Estados Iberoamericanos (OEI), a través del Observatorio Latinoamericano de Ciencia, Tecnología y Sociedad (^{Albornoz & Alfaraz, 2006}; RYCT, 2017). Desde entonces, ya han sido publicados por la red los manuales destinados a la medición de actividades de innovación (Manual de Bogotá, RICYT, 2001), la internacionalización de la C&T (Manual de Lisboa, ^{RICYT, 2009}), indicadores de la Sociedad de la Información (^{Manual de Santiago, RICYT, 2007}), la percepción pública sobre C&T (Manual de Antigua, ^{RICYT, 2015}) y la vinculación de la universidad con el entorno económico (^{Manual de Valencia, RICYT, 2017}) (Tabla 2).

Cuando la RICYT fue creada, la cuestión de los indicadores de CT&I en América Latina era incipiente y no había conciencia de su importancia. Los primeros indicadores seguían la lógica lineal de desarrollo de la C&T, con base en el Manual de Frascati. La RICYT inicialmente centró sus esfuerzos en la medición de las actividades de I&D (agregando actividades científicas y tecnológicas, según recomendaciones de la Unesco). Luego, se dedicó a los indicadores de innovación. La percepción de la necesidad de ajustar la metodología del Manual de Oslo de la OCDE a las peculiaridades de América Latina dio como resultado la publicación del Manual de Bogotá en el 2001 (^{Albornoz, 2014}). Las comparaciones son importantes, pero se sabe de la importancia de comprender lo que distingue a los países y regiones. Es necesario comprender las oportunidades que cada uno de los países tiene en materia de ciencia y tecnología. Seguramente, estas no son las mismas de los países desarrollados, por lo tanto, los indicadores para tomar decisiones no pueden ser los mismos (^{Albornoz, 2014}).

3. Metodología

El estudio es de tipo cuantitativo y de naturaleza empírica con métodos y técnicas cienciométricas (citación y cocitación) para la medición de la influencia de los manuales de la OCDE y la RICYT en la producción científica internacional. El universo de la investigación está compuesto por los artículos, que citaron los manuales de la OCDE y RICYT, indexados en la base de datos Scopus. Los datos fueron recolectados el día 1.º de junio de 2017. La elección de la base de datos consideró su carácter multidisciplinar y la disponibilidad de recursos mejorados para la recuperación de la información de citaciones, refinamiento de la búsqueda y exportación de los resultados en diferentes formatos.

Como unidad de análisis se consideraron los artículos que citan los manuales de la OCDE y la RICYT. Las variables analizadas corresponden a la fecha y al país de publicación de los artículos, a las áreas de conocimiento, a las palabras clave y a los trabajos que citan los manuales simultáneamente. El recorte temporal de la investigación comprende desde el inicio de la cobertura de la base (1954) hasta el año 2016.

En la etapa de recolección de datos se realizaron búsquedas en la base de datos Scopus considerando los siguientes campos de metadatos y delimitaciones: referencia (REF), que son las referencias de los manuales citados en cada artículo; búsquedas de los términos en lengua inglesa, española y portuguesa; en cuanto al tipo de documento (DOCTYPE), se limitó a artículos; en el año de publicación (PUBYEAR) fueron considerados desde el inicio de la base hasta el año 2016. La expresión de búsqueda fue construida con el fin de recuperar artículos que en las referencias tuvieran la aparición simultánea de al menos uno de los manuales y de la respectiva organización responsable. Las expresiones de búsqueda diseñadas para la recuperación de los artículos se presentan en la Tabla 3.

La base Scopus proporciona opciones para personalizar la exportación de los registros recuperados y permite que se configuren los campos que se desea, así como el formato del archivo que será generado. Los datos fueron extraídos en formato comma-separated value (CSV), importados, tratados, normalizados y analizados con el software Excel. También se utilizó el programa OpenRefine, herramienta que ayuda en la estandarización y agrupación de datos (^{Verborgh & De Wilde, 2013}), para el tratamiento y normalización de las palabras clave.

4. Resultados

La búsqueda de los artículos que han citado los manuales de la OCDE resultó en un total de 1906 publicaciones distribuidas entre los años de 1984 y 2016. Se puede observar (Gráfico 1) que hay un constante crecimiento del número de artículos que citaron los manuales de la OCDE, con gran incremento a partir del año 2007. Se percibe que en el período entre 1998 y 2007 hubo una tasa de crecimiento de aproximadamente 141,2 %, mientras que en el período entre 2007 y 2016 fue de cerca del 636,6 % de los artículos que citaron los manuales de la OCDE. Esto evidencia la creciente influencia de los manuales y, por consiguiente, el interés por los indicadores de CT&I e I&D de la comunidad científica internacional.

Con la búsqueda realizada para la identificación de los artículos que han citado los manuales de la RICYT, fueron encontrados 12 artículos; entre ellos el más citado fue el Manual de Bogotá (en nueve artículos), seguido por el Manual de Lisboa, citado en tres artículos. Número muy inferior en comparación con los artículos que citaron los manuales de la OCDE y que representan menos del 0,63 % del total de artículos encontrados.

Dos hipótesis fueron planteadas ante esta constatación: el hecho de que los manuales de la RICYT son relativamente nuevos en comparación con los manuales de la OCDE (comenzaron a ser publicados a partir de 2001) influenció el número de citaciones recibidas. La segunda hipótesis es que la base de datos utilizada para la recolección de los artículos, Scopus, tiene una gran cobertura de artículos publicados por investigadores europeos y norteamericanos, pero muestra una menor representatividad de indexación de la producción científica de los investigadores de América Latina y el Caribe. Por lo tanto, se cree que el número de citaciones a los manuales de la RICYT sería mayor si se incluyera el análisis de las citaciones en otras bases de datos en las que la producción científica de América Latina y el Caribe estuviera mejor representada.

Con los resultados de la búsqueda de los artículos que citaron los manuales de la OCDE, se constata que los que más influyen en la producción científica internacional son los de Oslo y Frascati. En el conjunto total de artículos publicados, el más citado es el Manual de Oslo (1223 registros), seguido por Frascati (501 registros) y Patents (136 registros). Los otros dos manuales representan el 2,47 % del total de registros encontrados. Esto demuestra poca influencia en la comunidad científica. La cantidad de artículos que citaron cada uno, por períodos de cuatro años, se puede examinar en la Tabla 4.

El análisis de los artículos que citaron los manuales durante el período (1984 a 2016) muestra un momento de relativa inercia en la década de 1980 a 1990, por lo que se evidencia una relativa baja cantidad de citaciones. Esto se debe, probablemente, al hecho de tratarse del proceso de consolidación inicial de los esfuerzos de planificación de los indicadores de CT&I. Nótese que, en este período, el Manual de Frascati, pionero de los manuales, era el único que había sido publicado. Con el pasar del tiempo hubo un creciente interés por los manuales.

Fuente: elaboración propia a partir de datos recolectados en Scopus.

Gráfico 1 Evolución de la producción de artículos que citaron los manuales de la OCDE (1998-2016). 

Se produjo un aumento más significativo de las citaciones a los manuales a partir del año 2000, principalmente para los manuales de Oslo, Frascati y Patents. Se presupone, considerando las citaciones y la fecha de las publicaciones, que en la década de 1990 fue el gran momento de consolidación de los manuales de la OCDE como propuesta metodológica para la planeación de los indicadores de CT&I e I&D. Esta consolidación de los manuales reverberó, posteriormente, en el aumento sustancial de la citación observada ya en el inicio de la década del 2000 en adelante.

Al analizar las áreas en las que los manuales fueron más referenciados, fue posible identificar cuáles de los manuales de la OCDE ejercen más influencia en la producción científica y en la propia comunidad académica (Tabla 5). Entre las áreas con mayor presencia de artículos que citaron los manuales, se destacan negocios, gestión y contabilidad; ciencias sociales; economía, econometría y finanzas. Juntas, estas áreas acumulan más del 60 % de los artículos que han citado los manuales. Cuando estas se suman a las áreas de ingeniería y ciencias de la decisión, este porcentaje llega a más del 78 %. Notablemente, estas son algunas de las áreas que más se han dedicado a la cuestión de la producción de indicadores para el monitoreo y la toma de decisiones y planificación de políticas en CT&I e I&D.

La base de datos Scopus permite la importación de palabras clave normalizadas por la propia base, y que pasaron por un proceso de adecuación con la intención de dar una mayor fidelidad en la descripción de los artículos, así como de las palabras clave informadas por el propio autor. En la presente investigación, fueron analizadas 6867 palabras clave informadas por los autores y 7836 palabras normalizadas por Scopus. La mayor frecuencia de las palabras clave, tanto de los autores como de la base (452 y 424, respectivamente), fue el término innovación. La Tabla 6 muestra las palabras clave normalizadas por Scopus. Las palabras con más resultados son innovación (5,4 %); investigación y desarrollo (1,86 %); industria (0,79 %); Europa (0,78 %) y patentes e invenciones (0,61 %).

Con el análisis de los datos de las palabras clave, una de las hipótesis que se tenía fue parcialmente desestimada. Se creía que las palabras más cercanas a los objetivos de los manuales presentarían más resultados. Se esperaba, por lo tanto, más resultados de palabras como indicador, estadística, índice y metodología. Estas palabras tuvieron los siguientes resultados: indicador (3), estadística (5), índice (0) y metodología (8). Se presupone que las palabras encontradas se refieren a aplicaciones prácticas de los manuales (por los artículos) a determinadas temáticas y sectores, en lugar de la reflexión sobre el propio instrumento, sus potencialidades y limitaciones para la construcción de indicadores.

Sin embargo, los contextos en los que los manuales fueron citados es tema que merece ser mejor investigado.

Cuando se analizan los artículos que citaron los manuales de la OCDE por países, se observa que la participación está concentrada en los países europeos, especialmente España, Reino Unido y Alemania que, juntos, representan más del 30 % de la producción de los artículos. A continuación, aparecen Estados Unidos, Italia, Holanda, Francia, Brasil y Australia (con un total de 20 %). Es válido destacar que los dos únicos países del continente americano, entre los mencionados, son Estados Unidos y Brasil, siendo este último el único periférico.

La distribución de los artículos que citaron los manuales de la RICYT por países revela que España cuenta con la mayor producción con seis artículos, seguido por Venezuela (tres artículos), Cuba (dos artículos), Argentina, Brasil y Colombia con un artículo citado cada uno. A pesar de ser un número pequeño para hacer afirmaciones concluyentes, se considera interesante el hecho de que existe una gran variedad de países de América Latina entre los que citaron los manuales de la RICYT en sus artículos.

El análisis de cocitación de los manuales de la OCDE fue realizado para identificar cada una de las posibles intersecciones entre ellos. Considerando que fueron analizadas las citaciones otorgadas a los cinco manuales, estos podrían haber sido citados simultáneamente, por, al menos, dos manuales y, por máximo, cinco. El análisis correlacional de las citaciones puede ser considerado una medida de la conexión temática entre los documentos. Así, se cree que cuanto mayor es el número de intersecciones mayor será la proximidad temática de los textos que citan los manuales de la OCDE.

Se sabe que la intensidad de la cocitación entre artículos (y otros documentos) puede ser determinada por el número en el que las producciones académicas son citadas conjuntamente en la literatura científica. Estas relaciones de cocitación evidencian la estructura del conocimiento de una determinada área, según la comprensión de la comunidad científica citante (^{Grácio, 2016}). Con esto, se puede inferir que, en el presente caso, cuanto mayor es la aparición de manuales en un mismo documento, mayor será la influencia teórico-metodológica de los manuales en el conjunto de artículos.

Los datos demuestran que existe un importante grado de cocitación entre los manuales de la OCDE (Tabla 7).

Del total de artículos, 311 tuvieron por lo menos una cocitación, es decir, al menos dos manuales fueron ci tados simultáneamente; esto corresponde al 16 % de los artículos que citaron los manuales. La intersección de “Oslo∩Frascati” se destaca con una ocurrencia en 142 artículos, lo que corresponde a aproximadamente el 46,7 % de todos los artículos que presentan algún tipo de cocitación. Las demás conexiones fueron muy inferiores a esta. En la secuencia, con un número de intersecciones mucho menor, aparece la combinación “Frascati∩Camberra”, combinación cocitada en 17 (5,47 %) de los artículos que tuvieron alguna cocitación.

De manera general, las cocitaciones presentadas se dieron entre dos manuales. Los artículos que citaron al menos dos manuales simultáneamente sumaban un total de 229. Así, aproximadamente el 73,6 % de los artículos citaron simultáneamente solamente dos manuales. Las demás combinaciones simultáneas posibles entre los manuales se producen en 82 artículos. Esto quiere decir que el 24,8 % de los artículos que citaron los manuales lo hicieron de tres a cinco veces, simultáneamente.

Se entiende que cuanto mayor es el número de ocurrencia de citaciones simultáneas en un mismo artículo, mayor será la pertinencia del artículo al tema de indicadores de CT&I. Se percibe la citación simultánea de los cinco manuales (intersección presentada en la Tabla 7 como “Oslo∩Frascati∩Camberra∩Patentes∩TBP”) solamente en cinco artículos. Esto remite a un alto grado de conexión entre ellos y una fuerte relación con los manuales de la OCDE. Los cinco artículos que citaron simultáneamente los manuales de la OCDE son presentados en la Tabla 8.

Con el análisis de los cinco artículos que presentaron cocitación de los cinco manuales de la OCDE (Tabla 8), se constata cierta proximidad entre ellos. En general, estos artículos tratan de las metodologías de producción de indicadores de CT&I e I&D propuestas por las agencias de estadísticas, sobre todo de la OCDE; presentan los principales indicadores sugeridos; problematizan aspectos metodológicos y teóricos de la producción de estos indicadores, y proponen indicadores adicionales o nuevas formas de medición de las actividades de CT&I en contextos específicos.

5. Discusión

La investigación tuvo como objetivo comprender la influencia de los manuales de la OCDE y la RICYT en la producción científica internacional, por medio del análisis de citación y cocitación en la base de datos Scopus, para comprender cómo los países y áreas del conocimiento se están estructurando para la elaboración de indicadores a partir de estos manuales. La búsqueda de los artículos que citaron los manuales de la OCDE reportó un total de 1906 publicaciones distribuidas entre 1984 y 2016.

Se percibe que, en el período entre 1998 y 2007, hubo una tasa de crecimiento de 141,17 %, mientras que en el período entre 2007 y 2016 fue de 636,58 % en los artículos que citaron los manuales de la OCDE, lo que evidencia una creciente influencia de los manuales y, por consiguiente, el interés por los indicadores de CT&I e I&D por parte de la comunidad científica internacional. El manual más citado fue el de Oslo (1223 registros), seguido por el Frascati (501 registros) y el Patents (136 registros).

Solo 12 artículos citaron los manuales de la RICYT, lo que representa menos del 0,63 % del total de los artículos encontrados. La hipótesis de que los manuales de la RICYT son relativamente nuevos en comparación con los manuales de la OCDE (comenzaron a ser publicados a partir de 2001) podría influir en el número de citaciones recibidas. Además, Scopus es una base de datos europea, en la que la producción científica de América Latina y el Caribe no representa un número de indexación significativo.

Entre las áreas con mayor presencia de artículos que citaron los manuales, se destacan negocios, gestión y contabilidad; ciencias sociales; economía, econometría y finanzas (lo que corresponde al 60 % de los artículos que citaron los manuales). Notablemente, estas son algunas de las áreas que más se han dedicado a la cuestión de la producción de indicadores para el monitoreo, la toma de decisiones y la planificación de políticas en CT&I e I&D.

Con el análisis de las palabras clave se identificaron los resultados principales: innovación (5,41 %); investigación y desarrollo (1,86 %); industria (0,79 %); Europa (0,78 %) y patentes e invenciones (0,61 %). Se creía que las palabras más cercanas a los objetivos de los manuales (indicador, estadística, índice, metodología) presentarían más resultados; sin embargo, los resultados no correspondieron a las expectativas.

Los datos demuestran que existe un importante grado de cocitación entre los manuales de la OCDE. Del total de artículos, 311 tuvieron por lo menos una cocitación (16 % de los artículos que citaron simultáneamente los manuales). De manera general, las cocitaciones presentadas se dieron entre dos manuales (229 artículos citaron simultáneamente dos manuales, que corresponden al 73,6 % de los artículos). La intersección de “Oslo∩Frascati” se destaca con una ocurrencia en 142 artículos, lo que corresponde, aproximadamente, al 46,7 % de todos los artículos que presentan algún tipo de cocitación. El análisis de los datos a partir de las técnicas cienciométricas fue un importante aliado para evidenciar los artículos con mayores índices de cocitación de los trabajos que utilizan los manuales de la OCDE. Con la evaluación contextual de los cinco artículos que cocitaron los manuales, se observó su aproximación a la temática “metodología de construcción de indicadores”, y se demuestra la relevancia de la técnica utilizada.

Se cree que los objetivos previstos fueron plenamente cumplidos, y que los datos presentan la influencia de los manuales de la RICYT y la OCDE en la comunidad científica internacional, lo que promueve las reflexiones sobre la importancia y el papel de los indicadores de CT&I e I&D en la actualidad. Se presupone que identificar la influencia histórica de metodologías para la producción de indicadores es considerada una etapa preliminar para planificar iniciativas de implementación de observatorios nacionales, regionales, locales y sectoriales de CT&I y que el presente estudio aporta de forma relevante en este sentido.