SciELO - Scientific Electronic Library Online

 
vol.38 número68El plan nacional de desarrollo 2018-2022: "Pacto por Colombia, pacto por la equidad"El aumento del crimen y la disminución de la participación laboral en el ingreso en México índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

  • En proceso de indezaciónCitado por Google
  • No hay articulos similaresSimilares en SciELO
  • En proceso de indezaciónSimilares en Google

Compartir


Apuntes del Cenes

versión impresa ISSN 0120-3053

Apuntes del Cenes vol.38 no.68 Tunja jul./dic. 2019

https://doi.org/10.19053/01203053.v38.n68.2019.8792 

Teoría Económica

La revolución empírica en economía

The Empirical Revolution in Economics

A revolução empírica na economia

Boris Salazar Trujillo *  

Daniel Otero Robles **  

* Magister en Economía de la New School de Nueva York. Departamento de Economía, Universidad del Valle, Cali, Colombia. boris.salazar@correounivalle.edu.co http://orcid.org/0000-0003-1872-7956

** Economista, Magister en Ciencias de la Computación, Universidad del Valle, Cali, Colombia. daniel.otero@correounivalle.edu.co O https://orcid.org/0000-0001-8451-302X


Resumen

Este artículo intenta explicar el avance de la revolución empírica. Plantea que la búsqueda de experimentos naturales y cuasinaturales, allí donde estuvieran disponibles, para mejorar la credibilidad de los métodos de identificación, condujo a la creación y aplicación de nuevas herramientas econométricas y a su posterior propagación transversal a un número creciente de campos de la economía. La aplicación de los nuevos diseños y herramientas de investigación a la evaluación de intervenciones de política en todo el mundo, activó un potente sistema de retroalimentación que va de las intervenciones a su evaluación mediante nuevas herramientas econométricas, a la publicación de artículos académicos y a la generación de nuevas intervenciones. Usando redes de cocitación y redes semánticas de los artículos que introdujeron las nuevas herramientas, encontramos trazos de su impacto creciente sobre la práctica de los economistas, y de la emergencia de tres agrupaciones de investigadores como efecto de la irrupción del control sintético en 2003.

Palabras clave: revolución empírica; credibilidad; experimentos naturales; variables instrumentales; control sintético; econometría

Abstract

This article proposes an explanation to the empirical revolution in economics. It argues that the search for natural and quasi-natural experiments, wherever they were available, looking for more credible identification methods, led to the creation and application of new econometric tools and to their further propagation to an increasing number of fields in Economics. The application of the new tools and research designs to the evaluation of policy interventions all over the world activated a powerful feedback systems, working from interventions to their evaluations, by means of new econometric tools, to the publication of academic articles and back to the generation of new interventions. By using networks of cocitation and semantic networks of the articles that introduced the new tools, we found traces of their impact over the practice of economists, and over the emergence of three groupings of researchers as an effect of the arrival of synthetic control in 2003.

Keywords: empirical revolution; credibility; natural experiments; instrumental variables; synthetic control; econometrics

Resumo

Este artigo tenta explicar o avanço da revolução empírica. Propõe que a busca de experimentos naturais e cuasi naturais, ali onde estivessem disponíveis, para melhorar a credibilidade dos métodos de identificação, conduziu à criação e aplicativo de novas ferramentas econométricas e a sua posterior propagação transversal a um número crescente de campos da economia. O aplicativo dos novos desenhos e ferramentas de investigação à avaliação de intervenções de política em todo mundo, ativou um potente sistema de retroalimentação que vai das intervenções a sua avaliação mediante novas ferramentas econométricas, e a sua posterior propagação transversal a um número crescente de campos da economía, à publicação de artigos acadêmicos e à geração de novas intervenções. Usando redes de cocitación e redes semánticas dos artigos que introduziram as novas ferramentas, encontramos traços de seu impacto crescente sobre a prática dos economistas, e da emergência de três agrupamentos de pesquisadores como efeito da irrupción do controle sintético em 2003.

Palavras chave: Revolução empírica; credibilidade; experimentos naturais; variáveis instrumentais; controle sintético; econometria

INTRODUCCIÓN

El ascenso de la economía empírica en las tres últimas décadas es un hecho que no está en disputa. Hammersh (2013), encontró que entre 1960 y 2010, en las tres revistas más importantes de la profesión, la proporción de artículos basados en datos producidos por los autores había crecido, mientras que habían caído las proporciones de artículos teóricos producidos y de artículos producidos con datos "públicos". Angrist, Azoulay, Ellison, Hill y Feng Lu (2017), en un estudio de los estilos de investigación de los artículos publicados en ochenta revistas de economía entre 1985 y 2015, encontraron que la fracción de artículos empíricos publicados había crecido en todos los campos de la economía, acercándose al 90 % en campos como el desarrollo, la economía laboral y un "misceláneo" que incluía economía ambiental, economía experimental y economía urbana. Encontraron resultados similares con respecto a las citaciones de artículos teóricos y empíricos: después de 2000 las citaciones de los segundos habían superado las de los primeros.

No hay acuerdo, en cambio, sobre lo ocurrido. Se ha hablado de una revolución de la credibilidad en la econometría (Angrist & Pischke, 2010), de un ascenso de la economía aplicada (Backhouse & Cherrier, 2017), y de un cambio radical en los estilos de investigación (Angrist et al., 2017). Todas aluden, en distintas formas, a los cambios ocurridos en las prácticas de los economistas. Ninguna, hasta donde conocemos, tiene en cuenta los profundos cambios institucionales ocurridos en la profesión como resultado de la evolución de las relaciones entre economistas, gobiernos, agencias gubernamentales y organizaciones no gubernamentales.

La emergencia de laboratorios, institutos y fundaciones con capacidad de intervención sobre el mundo real ha cambiado para siempre, cómo se organizan los economistas para investigar y cómo conectan su actividad a la de gobiernos, inversionistas y filántropos "anclaje de texto indesign" Los tiempos de la austera investigación de "papel y lápiz", o de computador individual con datos "prestados", han pasado la historia. Hoy, ni la calidad ni la magnitud ni el impacto de la investigación económica dependen, en forma exclusiva, de la coincidencia entre la calidad del capital humano involucrado y la potencia de los principios teóricos elegidos. En su lugar ha ido emergiendo un complejo entramado en el que interactúan economistas, agencias gubernamentales, autoridades locales, organismos internacionales y fundaciones sin ánimo de lucro.

Año tras año, en las últimas tres décadas, ese sistema ha realizado cientos de experimentos, ejecutado miles de intervenciones y evaluado el impacto de las últimas sobre distintas poblaciones en todo el mundo. Al mismo tiempo ha producido miles de artículos académicos que presentan los resultados de las evaluaciones y sugieren interpretaciones económicas para sus hallazgos. En medio de la evaluación rutinaria de intervenciones y experimentos, algunos artículos han introducido nuevas herramientas econométricas y han propiciado cambios adicionales en las prácticas de los economistas.

Para realizar esas tareas, una intricada red de laboratorios, institutos y organizaciones gubernamentales y no gubernamentales ha sustituido el lazo tradicional que unía a investigadores individuales y agencias gubernamentales. Institutos y laboratorios son ahora los mediadores entre las agencias gubernamentales y no gubernamentales, por un lado, y los economistas, por el otro.

Contrario a lo ocurrido antes, no han surgido de la iniciativa de gobiernos y universidades, sino de los programas de investigación de ciertos economistas que han encontrado en ellos los vehículos más efectivos para avanzar sus agendas de investigación a largo plazo y multiplicar su impacto sobre las políticas públicas en educación, salud, empleo, distribución del ingreso, finanzas y demás.

La confluencia de investigadores y agencias gubernamentales y no gubernamentales ha sido replicada en la organización de laboratorios e institutos. Distritos escolares, financiadores de distinto tipo y socios académicos han convergido, por ejemplo, en la "Iniciativa para la efectividad escolar y la desigualdad", creada por uno de los precursores de la revolución empírica, Joshua Angrist en MIT. Los mismos agentes, pero a una escala mucho mayor, y con un mayor énfasis en experimentos de campo, han confluido en el Instituto J-PAL, creado por Esther Dufflo y Abhijit Banerjee, también de MIT, para estudiar el desarrollo y la pobreza desde un enfoque experimental.

Este artículo intenta explicar el ascenso de la economía empírica como un cambio radical en el oficio de los economistas, propiciado por las relaciones entre Estados y fundaciones privadas, como demandantes de evaluaciones de programas de intervención social y económica, y los economistas como expertos evaluadores y diseñadores en campos específicos de la disciplina. La compleja interacción entre expertos y gobiernos condujo a un énfasis inédito en el diseño de la investigación y en la credibilidad de la inferencia causal, y a una práctica marcada por innovaciones econométricas puntuales, pero interconectadas, y por su difusión a distintos campos de la economía, a través de miles de intervenciones y evaluaciones en distintos lugares del mundo. El producto final de ese sistema son los artículos publicados en cientos de revistas académicas.

Argumentaremos que la expansión de las nuevas prácticas y herramientas a distintos campos de la economía (identificados por sus códigos JEL), y los vínculos generados entre esos campos, conformó una red de practicantes, gobiernos, instituciones, intervenciones y evaluaciones que no ha dejado de crecer, vía un proceso de retroalimentación positiva entre las demandas de evaluación de programas por parte de gobiernos y fundaciones del mundo y la adopción de un conjunto de métodos empíricos y de estilos de diseño de investigación por parte de un número creciente de investigadores. El avance de las nuevas herramientas empíricas a otros campos ha ido de la mano con la aparición de nuevas herramientas en los campos recién conquistados y con su propagación a otros campos de la economía.

Detrás de su rápido ascenso ha estado una estrategia de expansión de sus métodos a todos los campos en los que era posible encontrar experimentos naturales o cua-sinaturales, o realizar experimentos de laboratorio o de campo. Ese proceso de fertilización condujo a un cambio en la jerarquía social y cognitiva de la disciplina. Los teóricos fueron desplazados por los economistas aplicados y empíricos1. Y los grandes teóricos del pasado fueron sustituidos por los economistas como impulsores de intervenciones políticas y de sus evaluaciones. Lo ocurrido en campos como la educación, el desarrollo, la pobreza, la salud y los mercados laborales muestra el vertiginoso ascenso de economistas empíricos que dirigen institutos, fundaciones y laboratorios, influyen sobre las políticas públicas y determinan las agendas de gobiernos locales y nacionales y de instituciones internacionales de crédito y ayuda.

Al buscar experimentos naturales y cua-sinaturales, donde quiera que estuvieran disponibles, la revolución empírica conquistó nuevos campos, produjo nuevas herramientas y las integró a la práctica de los economistas. Su contrapartida social fue la formación de nuevas agrupaciones de investigadores unidos por vínculos de citación y cocitación. El carácter integrador del proceso fue roto por la emergencia, hace unos 15 años, del enfoque del control sintético, que indujo una clara agrupación de los investigadores empíricos en dos formaciones distintas, separadas por el uso de herramientas distintas.

Hicimos uso de dos herramientas metodológicas: las redes de citación y cocitación (Small, 1973; 1977), y las redes semánticas (Kleinberg, 1999; Griffiths & Steyvers, 2002, 2004). Con la primera vamos a captar la evolución del impacto sobre distintos campos de la economía, de los artículos que introdujeron las herramientas econométricas y experimentales más relevantes -evaluación de programas, variables instrumentales, regresiones discontinuas, efectos de tratamiento promedio, diferencias en diferencias, y métodos de control sintético- (Athey & Imbens, 2017). Los trazos de ese impacto fueron encontrados en la evolución de las cocitaciones2 de artículos que introdujeron o usaron las herramientas mencionadas. Mediante el uso de ventanas temporales de cinco años cada una, para el periodo 1977-2016, seguimos la evolución de las interacciones entre herramientas y prácticas de los economistas empíricos, y la expansión del uso de las herramientas a nuevos campos de la economía. La hipótesis subyacente es que la revolución empírica se extendió de un campo a otro de la economía mediante la transferencia del uso de nuevas herramientas econométricas y experimentales.

Con las redes semánticas mostramos cómo el uso creciente de las nuevas herramientas ha inducido cambios en las redes de palabras más usadas e interconectadas en las agrupaciones de artículos inducidas por el ascenso de la economía empírica, y cómo la irrupción de nuevas herramientas lleva a la separación de los artículos más cocitados en agrupaciones distintas.

Como lo sugirió Kuhn (1962), todo cambio revolucionario implica un cambio radical en las redes de palabras usadas por los científicos para entender el mundo y comunicar sus descubrimientos. El ascenso de la economía empírica es una confirmación de la intuición de Kuhn: el cambio radical en las redes de conceptos usados por sus practicantes refleja cambios profundos en su oficio. Sin embargo, a diferencia de Kuhn, el ascenso de la economía empírica no ha implicado cambios profundos o revolucionarios en la teoría. Por el contrario, la teoría ha permanecido más o menos igual, en stand-by, como un recurso legítimo para interpretar los hallazgos provenientes de experimentos, intervenciones y evaluaciones.

EL PROCESO

El encuentro fortuito entre la demanda por evaluación de programas públicos del Gobierno federal de Estados Unidos, a principios de los años 19803, y la aplicación de nuevas herramientas empíricas para responder a esas demandas desencadenó un proceso recursivo en el que la evaluación exitosa de programas de intervención llevó a la puesta en marcha de nuevos programas, a la extensión del uso de las nuevas herramientas econométricas a otros campos de la economía aplicada, a nuevas oleadas de artículos académicos y a la réplica de los programas exitosos en otros países, en un movimiento en espiral.

No había nada inevitable en ese proceso. Así como el encuentro inicial entre el Gobierno federal y los economistas fue aleatorio, su continuidad dependió también de tres eventos aleatorios en principio: la creación de nuevas herramientas econométricas y experimentales; la voluntad de gobiernos, fundaciones y agencias internacionales de expandir la financiación y aplicación de los programas exitosos a otras regiones, países y continentes, y la decisión de algunos economistas de apostar a la aplicación de métodos alternativos en su trabajo empírico.

Suponemos que el despegue del proceso exigía que las variables clave superaran ciertos umbrales mínimos. Si el número de economistas que comenzaron a aplicar métodos alternativos en su trabajo empírico no hubiera pasado de un cierto nivel crítico; si los gobiernos, agencias y fundaciones que decidieron replicar los programas no hubieran alcanzado un cierto número y la financiación requerida un nivel mínimo; si las evaluaciones pedidas no hubieran alcanzado un cierto umbral, el proceso no habría despegado y tampoco habría mantenido el impulso que ha mostrado en las últimas décadas.

Una vez cumplidas esas condiciones, el proceso devino irreversible, tal como ocurre en las revoluciones políticas y sociales (Arendt, 1960). Los bucles de retroalimentación que iban de las demandas por evaluaciones de gobiernos y organismos internacionales a los métodos alternativos aplicados por los economistas, y de los resultados de estas evaluaciones a la financiación de nuevos programas en todo el mundo y a la aplicación de los nuevos métodos a otros campos de la economía aplicada, no han dejado de interactuar, produciendo de paso una revolución en el oficio de los economistas.

El ascenso y expansión de la nueva práctica no fue el resultado de la repentina dedicación de miles de economistas al diseño de la investigación, o de su énfasis en diseños experimentales o su insistencia en asegurar la validez interna y externa de las relaciones causales encontradas, ni siquiera de la credibilidad econométrica ganada después de tantos años de desconfianza creciente en los métodos de identificación (Learner, 1983; Sims, 1980; Hendry, 1980). Todos esos logros no son más que resultados de la nueva práctica científica que devino dominante en la economía contemporánea. Lo que la hizo revolucionaria fue el carácter irreversible de su avance. Irreversible no por su mayor cercanía a la verdad o por la fuerza y novedad de los hechos descubiertos o por la superioridad de los métodos asociados a la nueva práctica, sino porque las interacciones recursivas entre agentes financiadores, economistas y programas de intervención mantuvieron el impulso inicial.

Agencia

Pero este proceso recursivo no explica cómo se transformaron las prácticas de los economistas ni da cuenta de las creencias y razones que los llevaron a dejar las viejas prácticas y adoptar las nuevas. Es decir, no explica el problema de agencia subyacente al proceso revolucionario. Sabemos que las prácticas de los economistas cambiaron en forma radical, pero no sabemos cómo cambiaron ni quiénes produjeron los cambios iniciales. Si fueron economistas ya establecidos que encontraron, en un momento de inspiración o de malestar con los viejos métodos, nuevos caminos hacia la explicación y predicción de la realidad económica, o si fueron jóvenes economistas, al inicio de sus carreras, los que decidieron tomar caminos inexplorados. O si fue la interacción entre ambos lo que precipitó el despegue de la economía empírica. Lo que nos lleva a preguntar por quiénes hicieron la revolución de la credibilidad en economía. Es decir, al difícil problema de la agencia en la historia de la ciencia. Un problema que debe ser resuelto en forma independiente, pero no aislada, de la caracterización del proceso revolucionario en su conjunto.

Los primeros economistas que se movieron hacia el uso de métodos empíricos no convencionales trabajaban en campos cuyas prácticas implicaban una mayor proximidad a la realidad económica y a las intervenciones gubernamentales. Para ellos, tanto la aplicación de métodos empíricos como el análisis de la efectividad de las intervenciones de política económica, eran parte fundamental de su práctica cotidiana. Todo indica que la economía laboral fue el primero de ellos. Tres de los precursores y creadores de los métodos más usados en la revolución empírica -Robert J. LaLonde, Joshua Angrist y David Card- tenían algo en común: haber tenido como tutor doctoral al economista de Princeton, Orley Ashenfelter. Por su parte, Angrist fue uno de los tutores de Esther Dufflo4. Estas filiaciones no convierten a Ashenfelter en "el padre" de la revolución empírica, pero sí indican la existencia de unas preguntas y unas prácticas asociadas a su programa de investigación, y con su muy cercana relación con el Gobierno federal, sin las cuales la posterior emergencia de la revolución empírica habría sido imposible.

La importancia de las relaciones tempranas de LaLonde, Angrist y Card con Ashenfelter, y de Esther Dufflo con Angrist, no puede ser desechada como una simple anécdota de historia intelectual. El método propuesto por LaLonde transformó la práctica de la economía laboral y, de paso, influyó sobre la transformación de los métodos empíricos en otros campos de la economía. Angrist y Card contribuyeron a la transformación de la economía de la educación, la economía laboral y otros campos aplicados mediante la creación y aplicación de métodos transversales a muchos campos de la economía. Dufflo, en cooperación con otros economistas de MIT y de todo el mundo, ha contribuido a la transformación radical de la economía del desarrollo, la pobreza, la salud y la desigualdad. Los laboratorios de Angrist y Dufflo han transformado las interacciones entre políticas públicas y economía científica en los campos de la educación, el desarrollo, la pobreza, la salud y las finanzas a escala mundial.

Las preguntas iniciales fueron mediadas por la relación temprana que Ashenfelter tuvo con la evaluación científica de los programas gubernamentales en materia laboral. Entre 1972 y 1973, Ashenfelter fue el director de la oficina de evaluación del Ministerio del Trabajo de Estados Unidos, en un momento en el que en Washington la discusión acerca de la efectividad de los programas de la "Guerra contra la pobreza" estaban en su punto más álgido (Ashenfelter, 2014). Su tarea fundamental fue la evaluación de uno de los programas más controversiales del Gobierno federal, el Acto para el Desarrollo y Entrenamiento de la Fuerza Laboral (MTDA, por sus siglas en inglés). El impacto de este encuentro resultaría decisivo para el despegue de la nueva economía empírica.

La demanda del Gobierno federal por evaluaciones científicas de sus programas de entrenamiento de la fuerza laboral tuvo dos efectos cruciales sobre la práctica de los economistas. Primero, puso a prueba la pertinencia de los métodos disponibles para realizar la evaluación. Lo que parecía a primera vista un ejercicio rutinario de economía aplicada, permitió descubrir las dificultades inherentes en ese tipo de ejercicio y la ausencia evidente, en la caja de herramientas de los economistas, de las técnicas y herramientas necesarias para su realización. Segundo, puso sobre el escenario el problema de la credibilidad de los métodos disponibles.

Aunque no está en disputa que Ashenfelter fue quien inició ese tipo de interacciones, no es ese encuentro lo que "causa" el despegue de la revolución empírica. En realidad, el encuentro de Ashenfelter y asociados con las necesidades de evaluación de las políticas laborales por parte del Gobierno federal, no fue más que un punto de partida para el posterior desarrollo de los bucles de retroalimentación entre las fuerzas involucradas en esas interacciones. Las preguntas que intentaban responder en su investigación científica eran cercanas, pero no iguales, a las tareas que le proponía el Gobierno federal y a las que más tarde plantearían los primeros revolucionarios. Y las respuestas obtenidas estaban determinadas también por el punto de vista y los objetivos de quienes las pedían.

Por ejemplo, el enfoque de "diferencias en diferencias", tan celebrado como una de las herramientas más importantes de la nueva economía empírica, debió su éxito no tanto a su superioridad intrínseca como método de control, sino a lo atractivo que resultaba, debido a su transparencia y simplicidad, a los ojos de "un burócrata en Washington, D. C." (Ashenfelter, 2014, p. 575). Fue su compatibilidad, como método expositivo, con las mentes de los burócratas de Washington lo que decidió su éxito posterior. Lo fundamental, por tanto, era la audiencia objetivo. Ashenfelter lo plantea con claridad insuperable: "En resumen, estaba diseñado no para ser un método, sino más bien para exponer los resultados de un complejo análisis de datos de una forma transparente y creíble" (Ashenfelter, 2014, p. 575) (cursivas fuera de texto).

Lo que precipitó la búsqueda y emergencia de nuevos métodos fue el tipo de preguntas que imponían las agencias gubernamentales: ¿Qué tan efectivo ha sido el programa de entrenamiento de la fuerza de trabajo? Si el objetivo de un programa era reducir el desempleo estructural, ¿lo había logrado? El punto no estaba en la novedad de las preguntas, sino en las dificultades asociadas a responderlas, y en quiénes debían interpretar y usar las respuestas. Si el objetivo era establecer, en términos cuantitativos, qué tan efectivo había sido el programa en el logro de sus fines, el problema estaba, primero, en cómo hacerlo de forma econométrica legítima, y segundo, en la accesibilidad de los métodos empleados.

Desde la perspectiva de la agencia, la cuestión estaba en cómo los economistas resolvieron los problemas técnicos asociados a la evaluación de programas gubernamentales. Lo que primero establecieron fue la considerable dificultad de la tarea que les había correspondido. Esta dificultad debe ser entendida no solo en términos de la magnitud de los problemas reales de estimación y tratamiento estadístico que encontraron en su ejercicio, sino también de la novedad del problema y de sus posibles soluciones. Es lo que Ashenfelter hizo visible, haciendo de historiador, en su recuento de los primeros días de los programas de evaluación.

Los tres puntos que conformaban la dificultad5 encontrada por Ashenfelter, habrían de convertirse en problemas básicos del programa de investigación de la economía empírica: "Hay tres razones que hacen tan difícil la evaluación de programas, y para abreviar voy a referirme a ellos como problemas de 1) recolección de datos (datos), 2) exogeneidad del tratamiento (exogeneidad), y 3) existencia del tratamiento (existencia)" (Ashenfelter, 2014, p. 574).

Las soluciones que los discípulos de Ashenfelter dieron a las dificultades mencionadas se convirtieron, con el tiempo, en elementos clave de la caja de herramientas que habría de concretar la novedad revolucionaria de la economía empírica. El elemento central de la solución a las dificultades ya había sido sugerido por Ashenfelter (1974; Ashenfelter & Heckman, 1974): la necesidad imperiosa de realizar experimentos aleatorios, tanto para la producción de los datos, como para garantizar la validez de las inferencias causales producidas. Muy pocos, sin embargo, tomaron en serio la temprana exhortación de Ashenfelter: su propuesta no era compatible con la práctica dominante en ese momento ni en la economía laboral ni en ningún otro campo aplicado de la economía. Solo una década después, algunos discípulos habrían de convertirla en una guía para la acción y en la plataforma de lanzamiento de una nueva práctica empírica en economía6.

El que la propuesta de Ashenfelter fuera en contravía del consenso alcanzado por los economistas empíricos de la época, marca también los alcances de la decisión de quienes la tomaron en serio y produjeron las herramientas concretas para ponerla en marcha. El concepto kuhniano de anomalía no resulta aplicable aquí. La naturaleza, o la economía en este caso, no se "resistía" al tratamiento que le daban los economistas cuando trataba de articular sus hipótesis a la evidencia empírica disponible. No había una falla de la teoría al tratar de dar cuenta de ciertos fenómenos. La realidad observable no negaba una y otra vez las predicciones de la teoría. Lo que no funcionaba bien era la legitimidad de los métodos econométricos para establecer la inferencia causal asociada a los procesos evaluados. Se trataba de producir las herramientas necesarias para realizar inferencias causales creíbles y generar respuestas confiables a las preguntas sobre la efectividad de los programas gubernamentales.

No se trataba, por tanto, de superar la incapacidad de los métodos convencionales para predecir cierta clase de hechos o para producir predicciones que estuvieran de acuerdo con los hechos observados, sino de corregir la falta de credibilidad (Leamer, 1983) de sus inferencias causales en la evaluación de los programas laborales del Gobierno federal. Pero esa falta de credibilidad ocurría también en otros campos de la economía, incluso en el menos afectado por el ascenso de la economía empírica: la macroeconomía (Sims, 1980; Hendry, 1980). La economía laboral habría de ser el primer campo en el que la transformación de la práctica empírica7 de los economistas se concentraría en superar la falta de credibilidad de sus inferencias causales y de la calidad de sus datos.

Las alternativas encontradas por Ashenfelter para superar los problemas estructurales de la economía laboral podrían ser extensivas a otros campos de la economía afectados también por la falta de legitimidad de las inferencias causales derivada de la aplicación de métodos econométricos tradicionales.

Las herramientas usadas con éxito en la economía laboral podían extenderse a otros campos de la economía aplicada con problemas de identificación y credibilidad similares.

Nada de esto es compatible con la interpretación convencional de las revoluciones científicas. ¿Cómo podría ser revolucionaria una propuesta que no buscaba derribar el paradigma teórico dominante y cuyos objetivos fundamentales eran modificar el oficio de sus practicantes y corregir las fallas de los métodos disponibles? De hecho, la solidez de la teoría dominante nunca fue puesta en duda. Más bien ha conservado, a lo largo de estos años, el papel elegante, pero secundario, de instrumento interpretativo a posteriori de las implicaciones de los resultados obtenidos mediante los nuevos métodos.

Fue el conflicto que la aplicación de los nuevos métodos generaba con el uso de los existentes lo que condujo a un proceso revolucionario entendido como el desplazamiento creciente de las prácticas antiguas por las nuevas, y no como el ascenso de un nuevo paradigma teórico. Pero ese proceso no fue el resultado exclusivo del malestar de algunos practicantes con los métodos existentes. Fue la intervención contingente del Gobierno federal lo que desencadenó el proceso recursivo sugerido más arriba. Sin el interés del Gobierno federal por la evaluación de distintos programas de asistencia y entrenamiento, es muy improbable que los acontecimientos hubieran tomado el curso que tomaron, privilegiando el desarrollo de nuevos métodos y el diseño de la investigación. La solución al problema de la agencia en la revolución empírica solo puede ser entendida como el resultado de la interacción permanente y recursiva entre el Gobierno federal y las decisiones, con respecto a cuál era la práctica más cercana al ideal del trabajo científico en economía, de generaciones posteriores de economistas jóvenes8.

La práctica revolucionaria

A una nueva generación de economistas empíricos le correspondió producir las técnicas y herramientas que habrían de constituir la nueva práctica dominante en la economía empírica. El primer paso hacia una nueva práctica fue dado por uno de los discípulos de Ashenfelter en Princeton, Robert J. LaLonde. Como ocurre con casi todas las buenas ideas una vez conocidas, la idea de LaLonde parece muy simple. Si los métodos de identificación convencionales no eran creíbles porque no usaban datos experimentales, y había datos experimentales disponibles, ¿por qué no evaluar los resultados de los métodos econométricos convencionales comparándolos con los resultados obtenidos por la vía experimental? La propuesta de LaLonde se basaba en explotar la pretensión de la econometría convencional de emular los resultados experimentales sin incurrir en sus costos (Ashenfelter & Card, 2017). Las palabras iniciales de su artículo clásico pueden ser leídas como una serena declaración de guerra a la práctica de los econometristas de la época: "Los econometristas pretenden que sus estudios empíricos reproduzcan los resultados de los experimentos que usan asignación aleatoria, sin incurrir en sus costos" (LaLonde, 1986, p. 604).

LaLonde propuso comparar los resultados de un experimento de campo en el que los individuos habían sido asignados en forma aleatoria con las estimaciones que "un econometrista sin datos experimentales habría producido" (LaLonde, 1986, p. 604). Las estimaciones econométricas fueron realizadas haciendo uso de las técnicas más avanzadas disponibles, y respetando los criterios propuestos por dos de los críticos más influyentes de los métodos de identificación en econometría: Edward Leamer (1983) y David Hendry (1980) 9.

Lo que encontró LaLonde es bien conocido: ninguno de los procedimientos econométricos evaluados produjo estimaciones precisas del impacto de los programas de entrenamiento de la fuerza laboral. En todos los casos, los estimados econométricos diferían de los resultados alcanzados mediante métodos experimentales. Como los resultados experimentales eran el estándar ideal contra el que debían compararse los métodos alternativos, las diferencias jugaron en contra de los métodos econométricos. El consejo de LaLonde para los hacedores de política laboral en Washington fue contundente: "Esta evidencia sugiere que los hacedores de política deberían saber que las evaluaciones no experimentales disponibles de los programas de empleo y entrenamiento pueden contener sesgos grandes y ocultos como resultado de errores de especificación" (LaLonde, 1986, p. 617).

Lo que LaLonde había descubierto iba mucho más allá de una simple cuestión de método. Tenía que ver con la posibilidad de encontrar en el mundo real diseños experimentales que no habían sido pensados como experimentos, pero tenían una característica esencial de los métodos experimentales de la investigación en medicina y biología: el hallazgo de dos grupos de personas similares en todo, salvo en una circunstancia particular, inducida por un experimento, una política gubernamental o un hecho de la naturaleza. Un enfoque metodológico que ya era conocido en el trabajo estadístico aplicado a la medicina y la biología (Meyer, 1995), y que pasaría a la economía bajo la etiqueta de "experimentos naturales" o "cuasinaturales".

Aunque los experimentos y las políticas gubernamentales eran intervenciones deliberadas sobre la realidad, no eran pensados todavía como parte de una estrategia científica para producir inferencia causal creíble. Lo que hicieron los revolucionarios fue reunir, en una potente máquina metodológica, a esas intervenciones sobre la realidad con un diseño de investigación que garantizaba la aleatoriedad de las poblaciones de control y tratamiento y la exogeneidad de las variaciones en la variable de interés. Ahora los investigadores actuaban de acuerdo a una rutina que los llevaba a buscar experimentos naturales en la realidad y aplicar métodos creíbles de inferencia causal.

Al ser un desafío a los métodos econométricos convencionales, las nuevas prácticas eran incompatibles con las dominantes. El punto no era mejorar las prácticas convencionales, sino sustituirlas por unas superiores. Para los revolucionarios, los métodos disponibles no permitían responder en forma creíble las preguntas básicas planteadas por las evaluaciones científicas de los programas gubernamentales. El problema no estaba tanto en el contenido de las preguntas, sino en la legitimidad del diseño de investigación y la credibilidad de los métodos de inferencia causal.

En una entrevista con Peter Dizekes (2013), Joshua Angrist recordó una clase de posgrado en Princeton, en la que Ashenfelter propuso desarrollar, para los ingresos, el mismo experimento natural que investigadores en la Universidad de California, en Berkeley, estaban aplicando para evaluar los efectos de haber servido en Vietnam sobre la mortalidad de los soldados que no habían sido voluntarios. No fue una epifanía, pero sí un encuentro feliz. Angrist enfrentó el desafío y trató de hacer lo que su mentor proponía. Fue una tarea titánica, que incluyó superar, en la práctica, las tres razones que para Ashenfelter hacían tan difícil realizar evaluaciones de programas gubernamentales: recuperar los datos, establecer la exogeneidad del tratamiento y asegurar su existencia. Superar la primera de ellas, fue la tarea más exigente: Angrist debió unificar las bases de datos que estaban fragmentadas en computadores muy viejos, en distintas oficinas del Gobierno federal de los Estados Unidos.

Como no se trataba de articular la aplicación de un nuevo paradigma teórico, la revolución se extendió mediante el hallazgo de experimentos naturales en campos muy diversos. No es una casualidad que los artículos clásicos de Angrist (1990), sobre los resultados de su trabajo sobre los ingresos de los veteranos de Vietnam elegidos por el sistema de lotería, y de Card (1990), sobre la oleada de inmigrantes cubanos de Mariel a Miami, fueran publicados el mismo año. La certeza de sus elecciones metodológicas estaba fundamentada en los trabajos pioneros de LaLonde (1986) y Ashenfelter (1987). Este último, según Angrist y Pischke, habría dado el visto bueno para lanzarse a la búsqueda de experimentos naturales en el mundo real al concluir que "los ensayos aleatoriza-dos eran el camino a seguir" (Angrist & Pischke, 2010, p. 5).

El nuevo diseño empírico abrió la posibilidad de trabajar con bases de datos muy grandes, a escalas impensables para la práctica de la microeconomía y de la economía laboral y de la inmigración en esa época, como lo demostró el estudio de David Card sobre las consecuencias de la inmigración, entre mayo y septiembre de 1980, de 125 000 cubanos provenientes del puerto de Mariel. En ese experimento natural, Card vio una oportunidad única para estudiar en forma experimental los efectos de un "incremento exógeno en la oferta de inmigrantes en un mercado laboral en particular" (Card 1990, p. 245). La intervención de Card introdujo, entre otros, dos elementos que habrían de caracterizar las trayectorias de expansión de la revolución empírica.

El primero fue la transformación de eventos ocurridos en el mundo real en experimentos naturales, que no solo cumplían con la regla de oro de la superioridad estadística de los diseños experimentales, sino que permitían conducir experimentos de una magnitud inimaginable, por sus costos, en formatos de laboratorio o de campo. Tanto la escala, como la factibilidad del diseño experimental, asociados al experimento natural de Card, abrían una relación inédita con el mundo material y con su "resistencia" a los intentos de los científicos por entenderlo y predecirlo: de pronto era posible tratar, mediante métodos econométricos creíbles, una base de datos muy cercana a "la realidad" de un fenómeno. El segundo elemento crucial fue la extensión de los nuevos métodos empíricos a otros campos de la economía. Cuando Card entrevió un experimento natural en la oleada de Mariel, tenía los pies bien afirmados sobre la economía laboral, pero estaba extendiendo los nuevos métodos hacia el campo de la inmigración y la evaluación de las políticas correspondientes.

Para realizar su tarea, Card debió implementar nuevos métodos. Responder la pregunta básica acerca del efecto de la inmigración de Mariel sobre los salarios y el empleo de los trabajadores locales de menor calificación implicaba la introducción de un grupo de control creíble: ¿Con qué debía comparar los resultados obtenidos para Miami? ¿Cómo controlar el efecto de otras variables -educación, género, estado civil, ocupación de tiempo parcial y experiencia potencial- que pueden afectar las diferencias salariales? La respuesta: comparar los resultados obtenidos con los de cuatro ciudades similares a Miami -Atlanta, Houston, Los Ángeles y Tampa-San Petersburgo-, en términos del tamaño relativo de sus poblaciones negra y latina, y de sus patrones de crecimiento económico en los años 1970 y al comienzo de los 1990 (Card, 1990, p. 249).

Este procedimiento, conocido más tarde como el método de diferencias en diferencias10, fue diseñado para abordar situaciones en las que un tratamiento afecta a ciertos grupos (personas, ciudades, estados), pero no afecta a otros:

El desafío para la inferencia causal es llegar a una estimación creíble de los resultados que habría podido obtener el grupo de control en ausencia del tratamiento. Esto requiere estimar un cambio (contra factual) en el tiempo para el grupo de tratamiento si el tratamiento no hubiera ocurrido. El supuesto subyacente las estrategias de diferencias en diferencias es que el cambio en los resultados en el tiempo para el grupo de control es informativo del cambio que habría ocurrido en el grupo de tratamiento en ausencia del tratamiento. (Athey & Imbens, 2017, p. 9)

A principios de la década de los 90, los nuevos métodos empíricos fueron extendidos a un campo en el que la evaluación de los programas había estado en manos de investigadores de orientación cualitativa y sin ninguna formación econométrica: la educación. El arribo de los nuevos métodos empíricos a la educación puso en marcha las interacciones recursivas entre las demandas gubernamentales por evaluaciones de programas y las innovaciones en las prácticas de los investigadores que propusimos más arriba. Y aunque el patrón de interacciones resultante fue el ya descrito, su concreción difiere de lo ocurrido en otros campos.

A primera vista, la secuencia parece haber sido la misma: la financiación, en 2002 y 2003, por parte del Departamento de Educación de los Estados Unidos, de 12 estudios cuantitativos haciendo uso de asignación aleatoria o de algún tipo de diseño cuasiexperimental (Angrist, 2004, p. 198), llevó a la masiva aplicación de métodos experimentales a la evaluación de programas educativos. Con una diferencia: la financiación estatal de principios del nuevo milenio no precedió la extensión de los nuevos métodos a la educación. Ese proceso ya había comenzado una década antes con las incursiones realizadas por algunos de los precursores de la nueva economía empírica en el territorio de la educación. Sin embargo, la extensión de los nuevos métodos a la educación solo alcanzó su punto crítico de no retorno con la masiva financiación de 2002 y 2003. Fue con la financiación masiva del Gobierno que el proceso iniciado por las incursiones de algunos revolucionarios al campo de la educación (Angrist & Krueger, 2001; Card & Krueger, 1992) despegó y adquirió el impulso que le permitiría convertirse en un proceso recursivo similar al que propusimos más arriba.

El ahora clásico estudio de Card y Krueger (1992), representa muy bien la aparición de métodos innovadores como un efecto de los intentos por responder preguntas básicas de otros campos, mediante la aplicación de los métodos empíricos creados para responder preguntas en la economía laboral y de la inmigración. El problema de diseño fundamental era el sesgo producido por las variables omitidas. Si el investigador quería conocer el efecto de la calidad de la educación sobre sus retornos debía controlar todas las variables, asociadas a las trayectorias individuales, que podrían haber tenido algún efecto sobre los retornos obtenidos. Esas variables eran el estado de nacimiento de cada individuo (y por tanto la calidad de la educación en ese estado), la cohorte a la que pertenecía y el nivel de ingreso promedio en las regiones en las que había habitado.

Los autores estimaron las variaciones en los recursos por individuo de acuerdo con su estado de nacimiento y su cohorte y los ligaron a los retornos a la educación estimados al mismo nivel, lo que les permitió controlar las diferencias en trayectorias entre individuos educados y residentes en el norte de Estados Unidos, con las de individuos educados en el sur, pero residentes en el norte. La novedad, otra vez, estuvo en la habilidad de los autores para convertir datos no experimentales en un experimento natural:

Ellos usan implícitamente variaciones en el gasto en educación por estado como un experimento natural: la agregación de los datos individuales, hasta los niveles de estado y cohorte, es un procedimiento de variables instrumentales en el que los instrumentos son las variables dummy del estado de nacimiento y la cohorte. (Angrist & Pischke, 2010, p. 13)

Una década después, cuando los métodos experimentales se habían extendido con éxito a varios campos de la economía, Heckman y Urzúa (2010) y Deaton (2009), cuestionaron las pretensiones a la generalidad científica de los métodos de aleatorización y el uso de variables instrumentales. En palabras de Heckman y Urzúa:

Defensores de los enfoques ateóricos para el análisis de datos recurrieron la aleatorización como un ideal e invocaron las IV11 (o emparejamiento o diseños de regresión discontinua) como sustituto para la aleatorización. Sin embargo, aun aleatorizaciones perfectamente ejecutadas no resuelven todas las preguntas económicas interesantes. Hay importantes ejemplos en los que modelos estructurales producen más información sobre preferencias que los experimentos. (Heckman & Urzúa, 2010, p. 2)

MÉTODOS

El avance de la revolución empírica ha contado con el impulso de dos fuerzas fundamentales: la extensión a distintos campos de la economía, vía evaluación del impacto de políticas públicas, del uso de métodos aleatorizados, y la creación y aplicación de nuevas herramientas econométricas en el curso de su expansión. El avance de la nueva práctica empírica ha implicado el rápido desplazamiento de los métodos estructurales antes dominantes en la economía aplicada, y el fin de la relación privilegiada que la teoría mantenía con el trabajo empírico en economía.

Para aproximar el avance de la revolución empírica hemos seleccionado los artículos en los que aparecieron por primera vez las herramientas más importantes asociadas a la nueva práctica empírica. No se trata de un capricho de los autores. En el centro de la revolución empírica han estado las nuevas herramientas econométricas y experimentales que han cambiado la práctica de los economistas. Esas herramientas fueron introducidas y aplicadas por autores específicos en momentos definidos del tiempo. El avance de la revolución puede detectarse y confirmarse en la propagación del uso de esas herramientas a otros campos de la economía. Trazos del avance de la revolución pueden encontrarse en las citaciones y cocitaciones de los artículos que introdujeron por primera vez, o transformaron de forma significativa, esas herramientas.

Los artículos del núcleo innovador fueron elegidos siguiendo el criterio planteado antes: tener en cuenta los artículos que primero introdujeron el uso público de las herramientas econométricas que habrían de cambiar la práctica de los economistas, es decir, los artículos precursores de su uso generalizado. He aquí los artículos seleccionados. En variables instrumentales, Imbens y Angrist (1994), Angrist y Lavy (1999) y Angrist y Krueger (2001). En control sintético, Abadie, Diamond y Hainmueller (2010) y Abadie y Gardeazábal (2003) . En evaluación de políticas con métodos aleatorizados, LaLonde (1986), Card (1990), Card y Krueger (1992),Imbens et al. (2001). En regresiones discontinuas, Imbens y Lemieux (2008) y Jacob y Lefgren (2004). En aplicación de métodos aleatorizados a la educación, Angrist y Lavy (1999) y Angrist (2004) . En métodos de identificación, Leamer (1983) y Angrist, Imbens y Rubin (1996).

Supusimos que, tal como ocurre en otros campos científicos, los economistas tienden a usar con mayor frecuencia las herramientas y modelos que les ayudan a producir nuevos artículos, en los que contestan preguntas interesantes o resuelven problemas considerados como pertinentes en esos campos. Una evidencia cuantitativa de ese uso son las redes de citaciones y cocitaciones (Small 1973, 1977) de los artículos en los que esos modelos y herramientas han sido introducidos. Una red de citación está conformada por un conjunto de artículos (nodos) y uno de citas (vínculos) - artículos que citan artículos publicados antes-. Una red de cocitación incluye a todos los artículos que citan, al mismo tiempo, a pares (o triples) de artículos. La agrupación de muchos artículos que cocitan un núcleo común de artículos es un indicio de la forma en que el conocimiento ha cambiado en uno o varios campos de una disciplina científica. La intuición más simple es que los artículos más cocitados son las bases o "los hombros de gigantes" (Small, 1999), sobre los que reposa el trabajo de muchos científicos en un cierto campo del conocimiento.

Nuestra hipótesis es que en la revolución empírica la emergencia de nuevas herramientas generó nuevos usuarios y, en consecuencia, nuevos patrones de agrupación de los artículos más cocitados. Detrás de la agrupación por cocitaciones ha estado el aprendizaje, la aplicación, la combinación y la transformación de las herramientas que están cambiando la práctica de los investigadores en los campos estudiados. En nuestro caso, no se trató de la transformación de las prácticas en un campo de la economía, sino en varios campos interconectados por la aplicación y combinación de las nuevas herramientas y la emergencia de un conjunto de nuevas prácticas que hoy son estándar en el diseño de investigaciones empíricas en la economía contemporánea.

El proceso de extracción de los datos para construir las redes de cocitación y semánticas se desarrolló en cuatro pasos. Los datos se encontraban en el servidor API de RePEc/Ideas, en formato JSON, y debieron ser procesados para obtenerlos finalmente en formato csv. Para la extracción de los datos se construyó un conjunto de scripts en el lenguaje de programación Pyhton y se usaron las librerías requests, JSON, simplejson y pandas. Los pasos seguidos para tener acceso a la base de datos fueron los siguientes:

  1. Adquirir clave acceso a la API de RePEc.

  2. Utilizar los scripts para extraer los datos en formato JSON.

  3. Convertir datos en JSON a formato CSV.

  4. Extraer las citaciones para cada uno de los artículos de la base de datos.

Una vez extraída la base de datos y puesta en formato CSV, utilizamos el software estadístico R para realizar el modelamiento de redes complejas en redes de citación y cocitación. Dado el diseño de nuestra investigación, nos concentramos en la construcción de las redes de cocitaciones. Para este fin se utilizó el paquete igraph de R. Para la construcción de las redes semánticas y análisis de contenido se utilizaron los paquetes tm y igraph.

A partir de los datos encontrados en los repositorios de RePEc/ideas, construimos una red de citaciones de los artículos pertenecientes al núcleo precursor del uso de nuevas herramientas econométricas, entre 1977 y 2016. Obtuvimos una red compuesta por 7012 nodos y 7879 vínculos. A partir de la red anterior construimos una red de cocitaciones.

Para estudiar la evolución de la red de cocitaciones creamos seis ventanas temporales y extrajimos las cocitas por cada ventana temporal. En términos de citas, la primera ventana (1977-1989) está compuesta por 50 nodos (artículos) y 47 vínculos (cocitationes); la segunda ventana (1990-1994) está compuesta por 52 nodos y 48 vínculos; la tercera ventana (1995-1999) está compuesta por 185 nodos y 193 vínculos; la cuarta ventana (2000-2004) está compuesta por 787 nodos y 890 vínculos; la quinta ventana (2005-2009), está compuesta por 2005 nodos y 2041 vínculos; la sexta ventana (2010-2016) está compuesta por 3511 nodos y 4228 vínculos.

¿Cómo detectar cuál ha sido el tipo de trayectoria predominante en la revolución empírica? Estableciendo los contenidos de los artículos más cocitados y tratando de ver cómo se agrupan las palabras (conceptos) más usadas en la agrupación o agrupaciones resultantes del proceso revolucionario. Ir a los contenidos supone reconocer que la citación y cocitación simples no establecen en qué consiste la similitud entre pares de artículos citados por muchos artículos, o entre artículos citantes y citados (Small, 1980). Es posible que un artículo cite a otro para criticarlo y refutar sus resultados, o que lo haga para usarlo como modelo para resolver nuevos problemas o construir nuevos modelos. De igual forma, un par de artículos puede ser cocitado por cientos de artículos porque sus herramientas y modelos les permiten resolver problemas o porque consideran fallidos sus resultados y prácticas.

Para encontrar los contenidos semánticos de una agrupación de artículos que trabajan en un campo o campos comunes usamos el algoritmo de fuentes autorizadas en contextos con hípervínculos, desarrollado por Kleinberg (1999). Kleinberg descubrió que en el contexto de la WWW la relación entre las páginas con la autoridad de servir como fuente a otras páginas y las páginas hub, o con mayor número de conexiones, que las interconectaban, permitía clasificar todas las páginas de acuerdo con un hub score o índice de conectividad. En nuestro caso, son un índice de cuán usada es una palabra o un concepto en una agrupación de artículos muy cocitados.

RESULTADOS

En la primera y en la segunda ventanas temporales no encontramos cocitaciones. Esto implica que, al principio, las herramientas eran aplicadas por separado en ciertos campos de la economía, sobre todo en el de la economía laboral.

Las cocitaciones aparecen a partir de la tercera ventana temporal y se mantienen hasta la sexta ventana. Es evidente que a partir de 1995 la comunidad de economistas que aplicaba los nuevos métodos y diseños de investigación en distintos campos de la economía comenzó a combinar y transformar las herramientas contenidas en el núcleo inicial. Cada cocitación implicaba la combinación de al menos dos herramientas del núcleo innovador en la práctica de los autores que los citaban. Implicaba también que esas herramientas eran usadas, en forma conjunta, en distintos campos de la economía, confirmando la propagación de las nuevas herramientas como la vía fundamental de la expansión revolucionaria.

La expansión del uso de las herramientas revolucionarias significó también la modificación de esas herramientas. El proceso no consistió en el simple "paso" de las herramientas de un campo a otro y en su aplicación rutinaria. Por el contrario, las herramientas fueron modificadas y transformadas en el curso de su aplicación y de la propagación de su uso a otros campos (Erickson, 2015; Salazar & Otero, 2019).

Al aplicar el algoritmo de extracción de comunidades de Blondel, Guillaume, Lambiote y Lefebvre (2008), a la red de artículos más cocitados de la nueva economía empírica, encontramos que hasta la ventana 3 los artículos más cocitados pertenecían a una agrupación única. A partir de la ventana 4 (2000 2004), la irrupción del método de control sintético indujo la creación de dos agrupaciones distintas. Una agrupación basada en el hallazgo de intervenciones y experimentos naturales y cuasinaturales, que usó herramientas ligadas a las variables instrumentales, las regresiones discontinuas y los diseños aleatorizadas, asociada al trabajo precursor de Angrist, y otra agrupación derivada del trabajo de Abadie y asociados (Abadie & Gardeazábal, 2003), centrada en el enfoque del control sintético12.

Figura 1 Artículos más cocitados, ventana temporal 4: 2000-2004. Las bolas rojas son los artículos más cocitados de la agrupación que usa métodos de control sintético. Las bolas verdes representan los artículos más cocitados de la agrupación que usa las otras herramientas. Las líneas entre ellas son los vínculos de cocitación. El tamaño de cada bola representa el número de citaciones. El grosor de las líneas representa el número de artículos en que han sido cocitados un par de artículos. 

En la ventana 6 (2010-2016) aparecieron tres agrupaciones distintas de artículos más cocitados, que reflejan el mayor uso de ciertas herramientas por autores que trabajan en campos distintos y resuelven preguntas y problemas diferentes. La agrupación de color lila incluye los artículos más cocitados en la evaluación de impacto de las intervenciones de política, práctica que requirió la creación, aplicación y transformación aplicación del efecto de tratamiento de herramientas como las variables instrumentales (Angrist & Krueger, 2001), la identificación transparente (LaLonde, 1986; Leamer, 1983), y avances en la aplicación delefecto de tratamiento promedio (Angrist, 2004), y el desarrollo de métodos para la explotación de experimentos naturales como el clásico estudio de Card (1990).

Figura 2 Agrupaciones de artículos más cocitados, ventana 6: 2010-2016. En verde, agrupación de métodos de control sintético y diferencias en diferencias. En lila, agrupación de artículos más cocitados en evaluación de políticas de impacto, identificación y diseño experimentales y cuasiexperimentales de investigación. En naranja, artículos más cocitados en regresiones discontinuas y efectos de tratamiento promedio en distintos campos de la economía. 

La agrupación de nodos de color naranja refleja el uso y la transformación de herramientas como el enfoque de las regresiones discontinuas aplicado a la educación (Angrist & Lavy, 1999; Jacob & Lefgren, 2004) y a otros campos de la economía (Imbens & Lemieux, 2008), la identificación y estimación de efectos locales promedio (Imbens & Angrist, 1994). Noten que las agrupaciones no están ligadas a campos específicos de la economía. Tienden a ser transversales a varios de ellos y en las aplicaciones a campos particulares usan combinaciones de herramientas distintas.

La agrupación de color verde concentra los artículos más cocitados del enfoque de control sintético y de su antecedente inmediato, el método de diferencias en diferencias. Sus aplicaciones son también transversales a distintos campos de la economía y su uso ha cambiado la forma en que se evalúa el impacto de las intervenciones de política.

Para estudiar el contenido de la separación de agrupaciones de acuerdo con las herramientas más usadas por conjuntos de artículos cocitantes, comparamos la agrupación "tradicional", definida como la que usa herramientas distintas al control sintético. El término "tradicional" no implica que esas herramientas no observaron cambios en los periodos considerados. Por el contario, fueron transformadas y modificadas en el curso de las últimas dos décadas. La ruptura encontrada sugiere que los investigadores que decidieron usar el enfoque del control sintético dejaron de aplicar las herramientas asociadas con la práctica establecida y se agruparon en otra formación interconectada de artículos y contenidos.

La lista de palabras más usadas e interconectadas de la agrupación 1 refleja la importancia de los efectos de tratamiento promedio, de las variables instrumentales, de la causalidad, de la economía de la educación (logros de los estudiantes, asignaciones a una escuela o población, periodos escolares [verano]) y, por supuesto, de Joshua Angrist como uno de los precursores, animadores y transformadores de la nueva economía empírica en los últimos treinta años.

Al mismo tiempo reflejan un proceso de difusión que integró las nuevas herramientas (regresiones discontinuas, nuevos métodos para los efectos de tratamiento promedio) surgidas de la práctica en los nuevos campos conquistados por la revolución. El efecto más visible de este proceso integrador es la madurez alcanzada por la "literatura sobre la estimación de efectos de tratamiento promedio sin factores de confusión"13 (Athey & Imbens, 2017, p. 5) (cursivas en el original.) El punto crucial, sin embargo, no es que hubiera una sola técnica dominante, sino un conjunto de estimadores y herramientas que competían entre sí, con distintas aplicaciones, en el contexto de una práctica común. La madurez establecida por Athey e Imbens puede ser observada en la agrupación 1 (Tabla 1), que lista las palabras más usadas por los artículos que cocitan a los artículos más cocitados de los campos colonizados por los nuevos métodos empíricos.

Tabla 1 Palabras más usadas, de mayor a menor, en la agrupación 1, tradicional, y en la agrupación 2, innovadora. Los hub scores están en el rango [0,1] 

Agrupación 1 Agrupación 2
Palabra Hub Score Palabra Hub Score
Effects 1 Data 1
Treatment 0.91 Per 0.86
Can 0.89 Synthetic 0.79
School 0.82 Capita 0.73
Variables 0.72 Studies 0.71
Angrist 0.71 Table 0.67
Average 0.7 Comparative 0.64
Estimates 0.67 Case 0.62
Economic 0.62 Period 0.58
Achievement 0.6 California 0.58
Assigment 0.56 Comparison 0.57
Causal 0.55 Units 0.56
Students 0.54 Average 0.53
Summer 0.53 Labor 0.52
Data 0.52 GDP 0.52

Pero la expansión integradora fue interrumpida por la irrupción del control sintético, una herramienta econométrica originada en la ciencia política, en donde había sido usada para medir los costos económicos del conflicto (Abadie & Gardeazábal, 2003). En lugar de integrarse al proceso de expansión por fertilización aleatoria, el control sintético indujo el desplazamiento o la sustitución de los enfoques dominantes hasta entonces (Figura 1) Esto no quiere decir que las herramientas anteriores hayan dejado de ser usadas, sino que los practicantes del control sintético dejaron de usar las anteriores y se concentraron en la aplicación y desarrollo del nuevo enfoque.

La evidencia sugiere, más bien, que para trabajar en el nuevo enfoque sus practicantes no requerían de las herramientas anteriores ni de sus aplicaciones y tampoco de sus productos. De hecho, la intersección entre los practicantes de las herramientas tradicionales y los practicantes del enfoque del control sintético es muy pequeña. Emergieron entonces dos mundos distintos, habitados por agrupaciones con núcleos básicos divergentes. En la lista de palabras más usadas y conectadas de la agrupación 2 aparecieron nuevos términos: per cápita, sintético, comparativo, California (el estado en el que se hizo el estudio clásico de control sintético), y términos técnicos como trabajo, promedio, unidades y producto nacional bruto (GDP) que, integrados en estructuras mayores, dan cuenta de las implicaciones semánticas de la aplicación del enfoque.

Lo que cambió fue la precisión estadística de los controles usados. En lugar de "usar una única unidad de control o un promedio simple de unidades de control, [el enfoque de control sintético] usa un promedio ponderado de un conjunto de controles" (Athey & Imbens, 2017, p. 9). El problema interesante estaba en cómo elegir las ponderaciones específicas para cada control. Aquí, las decisiones matemáticas de los investigadores contaban y tenían un efecto sobre la precisión y credibilidad de las herramientas usadas y de las inferencias causales obtenidas.

CONCLUSIONES

Al introducir nuevas herramientas econométricas, desplazar los viejos métodos, producir datos propios en contextos experimentales, dar credibilidad a sus hallazgos inferenciales y contestar en forma definitiva preguntas que antes solo podían ser respondidas en el ambiente artificial de los modelos o a través de opiniones, la revolución empírica cambió en forma irreversible la práctica de los economistas aplicados. La búsqueda de experimentos naturales y cuasinaturales en cualquier campo de la economía garantizó un rápido proceso de expansión a todos los campos de la economía que estuvieran disponibles. En ese proceso aparecieron nuevas herramientas y nuevos métodos econométricos que fueron aplicados en nuevas intervenciones, nuevas evaluaciones y nuevos artículos académicos, generando un proceso de retroalimentación positiva, del cual hemos recuperado algunos trazos en las redes de citación y cocitación de los artículos que introdujeron por primera vez el uso de esas herramientas. Su rápido ascenso fue el resultado de la aplicación de una estrategia espontánea de fertilización que, al buscar experimentos naturales y cuasinaturales en cualquier campo en donde estuvieran disponibles, activó un mecanismo efectivo de expansión del uso de las nuevas herramientas y de las nuevas prácticas que llegaban con ellas.

La expansión fue integradora hasta la aparición del enfoque de control sintético, que introdujo una ruptura en la agrupación de artículos más cocitados de la nueva economía empírica, induciendo la emergencia de dos nuevas agrupaciones en la ventana 5 (2005-2009) y de tres en la ventana 6 (2010-2016). El control sintético surgió como una transformación radical del viejo enfoque de las "diferencias en diferencias", y su rápida expansión en los quince años siguientes confirma que la revolución empírica, en lugar de cambiar la teoría económica, transformó la práctica de los economistas, introduciendo nuevas herramientas econométricas y haciendo creíbles los diseños de investigación. Y la práctica llevó a la transformación permanente de herramientas y diseños de investigación, haciendo irreversible el humilde proceso de reforma de las evaluaciones iniciado más de treinta años atrás en la economía laboral

AGRADECIMIENTOS

Los autores agradecen la ayuda financiera de la Facultad de Ciencias Sociales y Económicas de la Universidad del Valle

REFERENCIAS

Abadie, A., Diamond, A. & Hainmueller, J. (2010). Synthetic Control Methods for Comparative Case Studies: Estimating the Effect of California's Tobacco Control Program. Journal of the American Statistical Association, 105(490), 493-505. [ Links ]

Abadie, A. & Gardeazabal, J. (2003). The Economic Costs of Conflict: A Case Study of the Basque Country. American Economic Review, 93(1), 113-32. [ Links ]

Angrist, J. D. (1990). Lifetime Earnings and the Vietnam Era Draft Lottery: Evidence from Social Security Administrative Records. American Economic Review , 80, 313-336. [ Links ]

Angrist, J. D. (2004). American Education Research Changes Tack. Oxford Review of Economic Policy, 20(2), 198-212. [ Links ]

Angrist, J., Azoulay, P., Ellison, G., Hill, R. & Feng Lu, S. (2017). Economic Research Evolves: Fields and Styles. American Economic Review : Papers and Proceedings, 107(5), 293-297. [ Links ]

Angrist, J. D., Imbens, G. W. & Rubin, D. B. (1996). Identification of Causal Effects Using Instrumental Variables. Journal of the American Statistical Association , 91(434), 444-55. [ Links ]

Angrist, J. D. & Krueger, A. (2001). Instrumental Variables and the Search for Identification. Journal of Economic Perspectives, 15, 69-86. [ Links ]

Angrist, J. D. & Lavy, V. (1999). Using Maimonides' Rule to Estimate Effects of Class Size on Student Achievement. Quaterly Journal of Economics, 114(2), 533-75. [ Links ]

Angrist, J. D. & Pischke, J. S. (2010). The Credibility Revolution in Empirical Economic: How Better Research Design is Taking the Con out of Econometrics. Journal of Economic Perspectives , 24(2), 3-30. [ Links ]

Arendt, H. (1960). On Revolution. New York: Penguin. [ Links ]

Ashenfelter, O. (1974). The Effect of Manpower Training on Earnings: Preliminary Results. Princeton, NJ: Princeton University Industrial Relations Section, Working Paper No. 60. [ Links ]

Ashenfelter, O. (1987). The Case for Evaluating Training Programs with Randomized Trials. Economics of Education Review, 6(4), 333-338. https://doi. org/10.1016/0272-7757(87)90016-1.Links ]

Ashenfelter, O. (2014). The Early History of Program Evaluation and the Department of Labor. Industry and Labor Review, 87(Suppl.), 374-377. [ Links ]

Ashenfelter, O. & Card, D. (2017). Introduction to "Essays in Honor of Robert J. LaLonde". Princeton, NJ: Princeton University Industrial Relations Section, Working Paper No. 610. [ Links ]

Ashenfelter, O. & Heckman, J. (1974). Measuring the Effect of an Antidiscrimination Program. Stanford, CA: NBER, Center of the Economic Analysis of Human Behavior and Social Institutions. [ Links ]

Athey, S. & Imbens, G. W. (2017). The State of Applied Econometrics: Causality and Policy Evaluation. Journal of Economic Perspectives , 31(2), 3-32. [ Links ]

Backhouse, R. E. & Cherrier, B. (2017). The Age of the Applied Economist: The Transformation of Economics since 1970. History of Political Economy, 49 (Supplement) , 1-33. [ Links ]

Biagoli, M. (1993). Galileo Courtier. The Practice of Science in the Culture of Absolutism. Chicago: Chicago University Press. [ Links ]

Blondel, V., Guillaume, J. L. Lambiote, R. & Lefebvre, E. (2008). Fast Unfolding of Communities in Large Networks. Journal of Statistical Mechanics: Theory and Experiment, 10 (P10008). DOI: 10.1088/1742-5468/2008/10/P10008. [ Links ]

Card, D. (1990). The Impact of the Mariel Boatlift on the Miami Labor Market. Industrial and Labor Relations Review, 43(2), 245-57. [ Links ]

Card, D. & Krueger, A. B. (1992). Does School Quality Matter? Returns to Education and the Characteristics of Public Schools in the United States. Journal of Political Economy, 100 (1), 1-40. [ Links ]

Deaton, A. (2009). Instruments of Development: Randomization in the Tropic, and the Search for the Elusive Keys to Economic Development. Cambridge, MA: National Bureau of Economic Research Working Paper 14960. [ Links ]

Deaton, A. & Cartwright, N. (2016). Understanding and Misunderstanding Randomized Control Trials. Durham, England: Durham University CHESS Working Paper 2016-05. [ Links ]

Dizikes, P. (2013, January 2). The Natural Experimenter. MIT Technology Review. Retrieved from http://www.technologyreview.com/article/508381/the-natural-experimenter/. [ Links ]

Duflo, E. (2017). Richard D. Ely Lecture: The Economist as Plumber. American Economic Review Papers and Proceedings, 107(5), 1-26. [ Links ]

Erickson, P. (2015). The World the Game Theorists Made. Chicago: University of Chicago Press. [ Links ]

Griffiths, T. L. & Steyvers, M. (2002). A Probabilistic Approach to Semantic Representation. In Proceedings of the Twenty-Fourth Annual Conference of Cognitive Science Society (pp. 381-386). Hillsdale, NJ: Lawrence Erlbaum. [ Links ]

Griffiths, T. L. & Steyvers, M. (2004). Finding Scientific Topics. PNAS, 101(1), 5228-5235. [ Links ]

Hammersh, D. S. (2013). Six Decades of Top Economics Publishing: Who and How? Journal of Economic Literature, 51(1), 162-172. [ Links ]

Heckman, J. J. & Urzúa, S. (2010). Comparing IV with Structural Methods: What Simple IV Can and Cannot Identify. Journal of Econometrics, 156(1), 27-37. [ Links ]

Hendry, D. F. (1980). Econometric, Alchemy or Science? Económica, 47(188), 387-406. https://doi.org/10.2307/2553385Links ]

Imbens, G.W. (2010). Better LATE than Nothing: Some Comments on Heckman and Urzua (2009). Journal of Economic Literature , 48, 399-423. [ Links ]

Imbens, G. W. & Angrist, J. D. (1994). Identification and Estimation of Local Average Treatment Effects. Econometrica, 62(2), 467-75. [ Links ]

Imbens, G. W. & Lemieux, T. (2008). Regression Discontinuity Designs: A Guide to Practice. Journal of Econometrics , 142(2), 615-635. [ Links ]

Imbens, G. W., Rubin, D. & Sacerdote, B.I. (2001). Estimating the Effect of Unearned Income on Labor Earnings, Savings and Consumption: Evidence from a Survey of Lottery Players. American Economic Review , 91(4), 778-794. https:// doi.org/10.3386/w7001.Links ]

Jacob, B. A. & Lefgren, L. (2004). Remedial Education and Student Achievement: A Regression-Discontinuity Analysis. Review of Economics and Statistics, 86(1), 226-44. [ Links ]

Keane, M. P. (2010). A Structural Perspective on the Experimentalist School. Journal of Economic Perspectives , 24(2), 47-58. [ Links ]

Kleinberg, J. (1999). Authoritative Sources in a Hyperlinked Environment. JACM, 46(5), 604-632. [ Links ]

Kuhn, T. S. (2000). The Road since Structure. Chicago: Chicago University Press . [ Links ]

LaLonde, R. J. (1986). Evaluating the Econometric Evaluation of Training Programs with Experimental Data. American Economic Review , 76(4), 604-20. [ Links ]

Leamer, E. E. (1983). Let's Take the Con Out of Econometrics. American Economic Review , 73(1), 31-43. [ Links ]

Leamer, E. (2010). Tantalus on the Road to Asymptopia. Journal of Economic Perspectives , 34(2), 31-46. [ Links ]

Meyer, B. D. (1995). Natural and Quasi-Natural Experiments in Economics. Journal of Business and Economic Statistics, 13(2), 151-161. [ Links ]

Salazar, B. & Otero, D. (2019). A Tale of Tool: The Impact of Sims's Vector Autoregressions on Econometrics. History of Political Economy , 51(3), 557-578. [ Links ]

Sims, C.A. (1980). Macroeconomics and Reality. Econometrica , 48, 1-48. doi:10.2307/1912017. [ Links ]

Small, H. (1973). Co-citation in the Scientific Literature: A New Measure of the Relationship Between Two Documents. Journal of the American Society for Information Science, 24(4), 265-269. [ Links ]

Small, H. (1977). A Co-Citation of a Scientific Specialty: A Longitudinal Study of Collagen Research. Social Studies of Science, 7, 139-66. [ Links ]

Small, H. (1980). Co-citation Context Analysis and the Structure of Paradigms. Journal of Documentation, 36(3), 183-196. [ Links ]

Small, H. (1999, December/January). On the Shoulders of Giants. Bulletin of the American Society for the Information Science, 23-25 [ Links ]

1 Mario Biagoli (1993), ha documentado cómo el cambio científico no está asociado con rupturas en la comunicación entre científicos, "sino con instancias de invasión de fronteras profesionales o disciplinarias y de violación de las jerarquías profesionales" (Biagoli, 1993, 215).

2Una cocitación ocurre cuando dos artículos u y v son citados en un mismo artículo i. La cocitación refleja el efecto conjunto de dos artículos y sus herramientas sobre un conjunto de artículos. Una citación ocurre cuando un artículo u cita a un artículo v. Refleja el impacto directo de un artículo sobre otro.

3El Gobierno federal demandaba evaluaciones y financiaba experimentos desde la década de 1960, pero fue en la década de 1980 que los nuevos métodos y el énfasis en el diseño de la investigación y la legitimidad de la inferencia causal comenzaron a extenderse por toda la profesión.

4 La tesis de doctorado de Dufflo (1999), dirigida por Angrist y Banerjee, ya contenía el núcleo del programa de investigación que luego habría de desarrollar en MlT y en su laboratorio global, J-PAL.

5Noten que no se trataba de anomalías en el sentido de Kuhn, sino de graves fallas en la metodología empírica, sobre todo en la credibilidad de sus métodos e inferencias.

6En 1974, Orley Ashenfelter y James Heckman, quienes más tarde se convertirían en unos de los críticos más duros de las pretensiones de la revolución empírica, escribieron un artículo en el que señalaban el desafío metodológico más fuerte que enfrentaban las evaluaciones de los programas contra la discriminación en los mercados laborales del Gobierno federal. He aquí el pasaje pertinente: "Como tenemos una serie de tiempo (de dos puntos), un método natural para evaluar la efectividad del programa es medir el cambio, en un índice apropiado, para las firmas objetivo con respecto al cambio en las firmas restantes. El problema básico es la ausencia de un grupo de control en presencia de un programa con impacto sobre la toda economía" (Ashenfelter & Heckman, 1974, p. 3) (cursivas fuera de texto). El artículo establecía la ausencia crucial de un grupo de control, pero no lo resolvía. Por eso, en el artículo que inició el uso de métodos experimentales en la evaluación de programas públicos, LaLonde clasificó el trabajo de Ashenfelter y Heckman, junto a otras seis evaluaciones, como "no experimental" (LaLonde, 1986, p. 604).

7La disputa alrededor de la credibilidad de los métodos de identificación ya había ocurrido en la macroeconometría. Por motivos obvios, el énfasis no estuvo, sin embargo, ni en la inferencia causal ni en el diseño experimental de la investigación.

8Conocer los procesos reales de integración de las nuevas generaciones a la RE requiere de otra investigación empírica que aún no hemos realizado.

9Por supuesto, el método de comparación introducido por LaLonde estaba abierto a la crítica de los econometristas. A pesar de las justificaciones establecidas por la teoría estadística y la práctica científica en varias disciplinas, un econometrista podía creer que las estimaciones econométricas no tenían por qué ser inferiores a los resultados obtenidos por la vía experimental. Es más: podrían poner en duda incluso el que los mejores resultados obtenibles fueran los alcanzados mediante el uso de métodos experimentales. En últimas, la introducción de la asignación aleatoria como el estándar de oro estaba en disputa en ese momento y no ha dejado de estarlo. (Para un debate reciente, ver los artículos de Imbens, 2010; Heckman & Urzúa, 2009; y Deaton, 2009; o las críticas más recientes aún de Deaton & Cartwright, 2016).

10No está de más recordar la observación, planteada más arriba, de Ashenfelter sobre su origen incidental.

11 Variables instrumentales por sus siglas en inglés. Leamer sugiere denominarlas "sustitutas", porque sustituyen al experimento que los investigadores quisieran haber realizado y no realizaron (Leamer, 2010, p. 32).

12Athey e Imbens (2017), en su revisión del progreso del estado de la econometría aplicada, consideran el control sintético como la innovación técnica más importante de los últimos quince años: "El enfoque del control sintético desarrollado por Abadie, Diamond y Hainmueller (2010, 2014) y Abadie y Gardeazábal (2003) es la más importante innovación en la literatura de la evaluación de políticas en los últimos 15 años" (Athey & Imbens, 2017, p. 9). El juicio de los autores es corroborado por nuestros hallazgos empíricos.

13O de factores de concurrencia: otros factores o variables que podrían generar variaciones en la variable dependiente. El problema por resolver era disminuir a un mínimo el impacto de esos factores, para encontrar relaciones causales legítimas.

Cómo citar este artículo/ To reference this article / Comment citer cet article /Para citar este artigo: Salazar-Trujillo, B. & Otero-Robles, D. (2019). La revolución empírica en economía. Apuntes del CENES, .38(68), 15-48.

Clasificación JEL: B23, C36, C90, D04

Recibido: 18 de Diciembre de 2018; Aprobado: 11 de Julio de 2019

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons