SciELO - Scientific Electronic Library Online

 
 special issueDrivers of the propensity to innovation and productivity in the service sectors and manufacturing industry in Colombia author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

Journal

Article

Indicators

Related links

  • On index processCited by Google
  • Have no similar articlesSimilars in SciELO
  • On index processSimilars in Google

Share


Revista EAN

On-line version ISSN 0120-8160

Rev. esc.adm.neg  no.spe Bogotá Dec. 2020  Epub Mar 24, 2022

https://doi.org/10.21158/01208160.n0.2020.2646 

Scientific articles

Revisión sistemática de artículos calificados con base en JCR y SJR: coproducción de servicios públicos entre 1970-20181

Systematic review of qualified articles based on JCR and SJR: co-production of public services between 1970-2018

Revisão sistemática de artigos qualificados com base em JCR e SJR: coprodução de serviços públicos entre 1970-2018

Révision systématique d’articles inscrits sur JCR et SJR: coproduction des services publics entre 1970-2018

Luciana Oliveira-Militão1 
http://orcid.org/0000-0002-2845-3832

Andrea Juliet Celis-León2 
http://orcid.org/0000-0003-1564-6237

Josivania Silva-Farias3 
http://orcid.org/0000-0002-1421-3280

Gisela Demo4 
http://orcid.org/0000-0003-1864-0471

1 Abogada de la Universidad FUMEC y especialista en Gestión de Proyectos de la Fundação Dom Cabral (FDC). Universidad de Brasilia (UnB). lucianaomilitao@gmail.com. ORCID https://orcid.org/0000-0002-2845-3832

2Administradora de empresas de la Universidad Francisco de Paula Santander y magister en Educación de la Universidad Militar Nueva Granada. Universidad de Brasilia (UnB). andreitacelis@hotmail.com. ORCID https://orcid.org/0000-0003-1564-6237

3Administradora de empresas de la Universidad Federal de Sergipe (UFS), magister en Desarrollo y Medio Ambiente de la Universidad Federal de Sergipe (UFS) y doctora en Administración de la Universidad de Brasilia (UnB). josivania@unb.br. ORCID http://orcid.org/0000-0002-1421-3280

4 Ingeriera de Producción Eléctrica de la Universidad Federal de Santa Cataria (UFSC), magister en Ingenieria de Producción de la Universidad Federal de Santa Cataria (UFSC) y doctora en Psicología Social, del Trabajo y de las Organizaciones de la Universidad de Brasilia (UnB). giselademo@unb.br. ORCID https://orcid.org/0000-0003-1864-0471


Resumen

La coproducción es una estrategia que los gobiernos pueden utilizar para lograr una mayor eficiencia y eficacia en la prestación de los servicios públicos con la contribución de la sociedad. Esta revisión sistemática se propone analizar la literatura empírica sobre la coproducción de los servicios públicos, calificada internacionalmente con base en JCR y SJR. Sus objetivos específicos son: identificar las características bibliométricas de estos estudios empíricos; describir sus aspectos metodológicos; verificar cómo se ha discutido en estos trabajos la participación ciudadana y las iniciativas gubernamentales orientadas a promover la coproducción; y proponer una agenda de investigaciones. Los resultados demuestran que América Latina es el locus del 19 % de las investigaciones sobre el tema. Por otra parte, fue identificada una pequeña incidencia de revistas latinoamericanas de alto impacto con base en JCR y SJR, hecho que posiblemente puede explicarse por la publicación predominante en los idiomas español y portugués, pese a que el inglés parece ser el idioma más accesible para los investigadores internacionales. También se evidenció que la producción científica ha crecido en la última década, en especial entre el 2016 y el 2018. Los principales métodos empleados fueron el estudio de casos y el experimental. Se identificaron cinco categorías relacionadas con iniciativas gubernamentales y tres con participación ciudadana. Este artículo ofrece como contribución propuestas de investigación basadas en artículos altamente calificados que pueden guiar nuevos estudios empíricos que aún son escasos en la literatura latinoamericana. Además, la adopción de procedimientos transparentes de selección de artículos permite su replicabilidad en las revisiones futuras.

Palabras clave: revisión sistemática; Prisma; artículo científico; Journal Citation Reports -JCR-; SCImago Journal Rank -SJR-; coproducción de los servicios públicos; participación ciudadana; iniciativas gubernamentales

Abstract

Co-production is a strategy that governments can use to achieve greater efficiency and effectiveness in the delivery of public services with the contribution of society. This systematic review intends to analyze the empirical literature on the co-production of public services, rated internationally, based on the JCR and SJR indexes. One of the specific objectives in this work was to identify the bibliometric characteristics of these empirical studies; the description of their methodological aspects; the verification of how citizen participation and government initiatives aimed at promoting co-production have been discussed in these works; and the proposal of a research agenda. The results show that Latin America is the locus of 19 % of the research developed on the subject. On the other hand, a small incidence of Latin American journals of high impact was identified on the JCR and SJR indexes, a fact that can possibly be explained by the predominant publication in the Spanish and Portuguese languages, even though English seems to be the most accessible language for international researchers. The case study and the experimental method were the main methods used, and some categories related to initiatives were identified: five from the government and three with citizen participation. As a contribution, this article offers research proposals based on highly qualified articles that can guide new empirical studies, still scarce in Latin American literature.

Keywords: public service co-production; citizen participation; empirical literature; literature review; Journal Citation Reports; SCImago Journal Rank

Resumo

A coprodução é uma estratégia que os governos podem utilizar para conseguir uma maior eficiência e eficácia na prestação dos serviços públicos com a contribuição da sociedade. Esta revisão sistemática se propôs analisar a literatura empírica sobre a coprodução dos serviços públicos, qualificada internacionalmente, com base nos índices JCR e SJR. Dentro dos objetivos específicos deste trabalho esteve a identificação das características bibliométricas destes estudos empíricos; a descrição de seus aspectos metodológicos; a verificação de como se discutiu nestes trabalhos a participação cidadã e as iniciativas governamentais orientadas a promover a coprodução; e a proposição de uma agenda de pesquisas. Os resultados demonstram que América Latina é o locus do 19 % das pesquisas sobre o tema. Por outra parte, identificou-se uma pequena incidência de revistas latino-americanas de alto impacto com base nos índices JCR e SJR, fato que possivelmente pode ser explicado pela publicação predominante nos idiomas espanhol e português, pese a que o inglês parece ser o idioma mais acessível para os pesquisadores internacionais. Os principais métodos empregados foram o estudo de casos e o experimental e se identificaram cinco categorias relacionadas com iniciativas governamentais e três com participação cidadã. Este artigo oferece como contribuição propostas de pesquisa baseadas em artigos altamente qualificados que podem guiar novos estudos empíricos, ainda escassos na literatura latino-americana.

Palavras-chave: coprodução de serviços públicos; participação cidadã; literatura empírica; revisão bibliográfica; Journal Citation Reports; SCImago Journal Rank

Résumé

La coproduction est une stratégie utilisée par certains gouvernements pour améliorer l’efficience et l’efficacité des services publics offerts à la société. Cet article propose une révision systématique permettant l’analyse de la littérature empirique sur la coproduction de services publics enregistrés sur la base de données internationnale des indices JCR et SJR. Parmi les objectifs spécifiques de ce travail figure l'identification des caractéristiques bibliométriques de ces études empiriques; la description des aspects méthodologiques; la vérification des processus de participation citoyenne et des initiatives gouvernementales visant à promouvoir la coproduction et la proposition d'un programme de recherche. Les résultats montrent que l'Amérique latine concentre 19 % des recherches sur le sujet. En revanche, les revues latino-américaines d’influence n’ont qu’une faible incidence sur la base des indices JCR et SJR car leurs publications predominantes sont réalisées en langue espagnol et portugaise - bien que l'anglais y soit également présent et accessible aux chercheurs internationaux. Cette investigation se base sur des études de cas et de méthode expérimentale et identifie cinq catégories d’initiatives gouvernementales et trois participation citoyenne. Enfin, nous présenterons des propositions investigatives basées sur des articles hautement qualifiés pouvant servir de guide à de nouvelles études empiriques, encore trop rares dans la littérature latino-américaine.

Mots-clés: coproduction de services publics; participation citoyenne; littérature empirique; revue de littérature; rapports de citations de revues; classement du journal SCImago

1. Introducción

El término coproducción se desarrolló dentro de la administración pública en la década de 1970, por iniciativa de Elinor Ostrom e investigadores asociados de la Universidad de Indiana que realizaban estudios sobre teoría política y análisis de políticas (Brandsen y Honingh, 2016; Nabatchi, Sancino y Sicila, 2017; Silvestre, Catarino y Araujo, 2016). Desde entonces se han propuesto evoluciones conceptuales y tipológicas sobre el tema.

Ostrom (1996, p. 1073) define la coproducción como un proceso en el que los insumos requeridos para producir un servicio son provistos por individuos que no están dentro de la misma organización. Abreu-Ronconi, Debetir y de Mattia (2011, p. 46) declaran la coproducción de los servicios públicos como «la producción conjunta -sociedad, Estado e industria- de cierto bien o servicio de interés público» compuesto por «la descentralización e interacción entre el Estado y la sociedad civil, en un proceso de resignificación de la esfera pública».

Ante la creciente demanda de estudios sobre coproducción de los servicios públicos se identificaron revisiones de literatura que trataba el tema. Verschuere, Brandsen y Pestoff (2012) realizaron una publicación cuyo objetivo era analizar el estado del arte en la investigación de la coproducción de los servicios públicos, de manera que cubren temas conceptuales, metodológicos y teóricos. Voorberg, Bekkers y Tummers (2015), a su vez, revisaron de forma sistemática el periodo 1987-2013 con la intención de analizar los objetivos de coproducción de servicios, sus factores de influencia y los resultados de los respectivos procesos. Se han identificado otras revisiones bibliográficas, como, por ejemplo, la de Palumbo (2016) o la de Mees, Crabbé y Driessen (2017), pero en estos casos el alcance de las propuestas estaba limitado a áreas específicas de coproducción -gestión de riesgos, salud e inundaciones-.

Aunque el valor de las revisiones de literatura es innegable, la delimitación temporal de esos estudios no agota el periodo de producción académica sobre el tema -1970 hasta ahora-. La primera revisión (Verschuere et al., 2012) no menciona el periodo investigado, pero ciertamente se limita al año 2012 debido a la fecha de publicación. La revisión de Voorberg et al. (2015) tuvo como punto de partida 1987, un periodo posterior a los estudios seminales de la década de 1970 y se limita al 2013.

Por tal motivo, se eligió la realización de una revisión de literatura con una visión panorámica de la producción científica durante todo el periodo de debates académicos sobre el tema, priorizando la objetividad, la transparencia y la viabilidad de reproducir el estudio. El objetivo general de esta revisión sistemática es analizar la producción empírica sobre coproducción de los servicios públicos de 1970 a 2018, calificada internacionalmente con base en JCR y SJR. Los objetivos específicos son: identificar las características bibliométricas de estos estudios empíricos; describir sus aspectos metodológicos; verificar cómo se han discutido en estos trabajos la participación ciudadana y las iniciativas gubernamentales para promover la coproducción; y proponer una agenda con cuestionamientos para investigaciones futuras.

Se cree que los resultados logrados en este estudio pueden contribuir al avance de la literatura, dado que presentan una visión general de la evolución de la investigación empírica de mayor impacto sobre la coproducción de servicios públicos durante todo el periodo de su existencia. Con base en estos hallazgos, se propuso una agenda para alentar nuevas investigaciones empíricas sobre el tema y, así, llenar el vacío señalado por Parrado, Van Ryzin, Bovaird y Loffler (2013) en relación con los pocos estudios empíricos sobre la coproducción de los servicios públicos. Además, los procedimientos científicos adoptados en este estudio permiten la replicabilidad de esta propuesta en el futuro y la elaboración de otras revisiones.

Después de esta introducción, esta investigación presenta una sección de referencia teórica, en la tercera sección los métodos, en la cuarta los análisis de los resultados y la discusión, y, finalmente, en la quinta las conclusiones.

2. Referencial teórico

2.1 Coproducción

Desde la definición del término coproducción en 1970 por Elinor Ostrom y los demás investigadores se han generado varias evoluciones del concepto a través del tiempo. Por lo general, hacen referencia a usuarios y gobiernos que contribuyen con el fin de proveer un bien o un servicio y mejorar su calidad y eficiencia (Brudney 1983). Nabatchi et al. (2017) proponen aclarar el concepto de coproducción de los servicios públicos definiéndolo como la variedad de actividades que pueden llevarse a cabo en varias fases del ciclo de servicio público, lo que implica la participación de actores estatales y ciudadanos considerados legos, quienes trabajan juntos en el propósito de producir beneficios.

Levine y Glenn (1984, p. 181) declaran que el término coproducción denota «la provisión conjunta de servicios públicos por parte de agencias públicas y consumidores de servicios». Loeffler y Bovaird (2016, p. 1006) manifiestan que la coproducción corresponde a los «servicios públicos y ciudadanos que hacen un mejor uso de los activos y recursos de cada uno para lograr mejores resultados o mejorar la eficiencia. Löffler, Bovaird y Van Ryzin (2008, p. 12) la definen como la «participación de los ciudadanos en la prestación de servicios públicos para lograr resultados que dependen de su propio comportamiento».

Etgar (2008), por su parte, sostiene que entre las etapas del proceso de coproducción se encuentran el desarrollo de condiciones previas, esto es, condiciones macroambientales -económicas, culturales y tecnológicas-, factores del consumidor, factores del producto, factores situacionales y el desarrollo de las motivaciones de los consumidores -impulsores económicos, motivaciones psicológicas-valores intrínsecos y extrínsecos y beneficios sociales-.

Se deben acentuar dos aspectos fundamentales de la coproducción de los servicios públicos: la participación ciudadana (Eijk y Steen, 2014; Torvinen y Ulkuniemi, 2016; Uzochukwu y Thomas, 2018) y las iniciativas o estrategias gubernamentales para promover coproducción de los servicios públicos (Jakobsen, 2013, Meijer, 2011; Thomsen y Jakobsen, 2015; Voorberg, Jilke, Tummers y Bekkers, 2018).

2.2 Servicio público

Osborne y Strokosch (2013, p. 146) afirman que «al adoptar un enfoque dominante de servicio público, la coproducción se convierte en un componente inalienable de la prestación de servicios públicos». En cualquier caso, si la coproducción es inherente o no al servicio público, está claro que existe un movimiento de parte de los gobiernos para incentivar y aumentar la participación ciudadana en la prestación de servicios públicos. Pestoff (2006) añade que la coproducción puede democratizar la distribución de los servicios de bienestar y contribuir a la innovación en los servicios públicos (Pestoff, Osborne y Brandsen, 2006).

Respecto a las fases del ciclo de servicio, Nabatchi et al. (2017, pp. 773-774) «expresan cuatro fases y su naturaleza temporal, señalando la sincronía o asincronía de las actividades». La primera fase, co-commissioning, son todas las actividades usadas con el fin de decidir los servicios públicos, los usuarios, las prioridades y los resultados necesarios. La segunda fase, co-design, menciona las actividades utilizadas para crear, planificar u organizar servicios públicos recurrentes. La tercera, co-delivery, se refiere a las actividades utilizadas en el propósito de mejorar la prestación de servicios concurrentes. Por último, la cuarta fase, co-assessment, engloba las actividades utilizadas con la fianlidad de evaluar retrospectivamente la calidad del servicio público.

2.3 Incentivos del gobierno y la motivación de la participación ciudadana

Los gobiernos buscan cada vez más incentivar a la sociedad para contribuir y mejorar la calidad de vida (Brudney y England, 1983). Según Thomsen y Jakobsen (2015), las iniciativas gubernamentales pueden aumentar la coproducción al desarrollar la capacidad y la motivación de los ciudadanos de coproducir. Para que los ciudadanos participen en la coproducción de los servicios públicos deben tener la capacidad y la motivación de querer hacerlo (Alford, 2002; 2009; Jakobsen, 2013; Eijk y Steen 2015). Por otra parte, la literatura sobre coproducción señala varias formas de promover la participación ciudadana en la prestación de servicios, tales como sanciones, recompensas materiales, recompensas intrínsecas, incentivos solidarios y valores expresados (Alford, 2002; Etgar, 2008; Ostrom, 1996; Pestoff, 2006). Hjortskov, Andersen y Jakobsen (2018) señalan que la participación ciudadana en la producción de servicios puede aumentar el conocimiento de los ciudadanos sobre el gobierno y sus capacidades de participación.

Los factores motivadores se pueden clasificar en tres categorías (Alford 2002; 2009; Alonso, Andrews, Clifton y Diaz-Fuentes, 2019, p.1623; Sharp 1984; Eijk y Steen 2014; 2015): la primera son los incentivos materiales, que pueden estar representados por dinero y bienes; la segunda son los incentivos solidarios, los cuales se refieren a la socialización, la diversión y el sentido de pertenencia; y la tercera son los incentivos expresados, en otras palabras, el sentido de haber contribuido a una causa común. Según los autores, además de los incentivos materiales, el deseo de hacer parte de un grupo puede generar satisfacción y esta se asocia a incentivos solidarios, como, por ejemplo, el de servir a la comunidad para contribuir al bienestar común (Alonso, et al. 2019. p.1623; Clohesy, 2000; Perry y Hondghem, 2008). De esta manera, las personas también pueden estar impulsadas por valores como el altruismo (Verschuere, et al., 2012, pp.1086-1087). Los servicios sociales, por ejemplo, mejoran la calidad de vida de las personas, generando interés en el ciudadano por involucrarse y contribuir de la mejor forma (Pestoff, 2012). Pero según Pestoff (2012), el ciudadano estará más motivado si esa actividad resulta importante para él, si mejora sus condiciones de vida o las oportunidades de las personas con las que él guarda un afecto especial. Los ciudadanos también pueden estar motivados por valores como, por ejemplo, la socialización (Alford, 2009).

Verschuere et al. (2012) concluyen, en la revisión de la literatura, que existen cuatro factores de motivación que impulsan a los ciudadanos a coproducir: recompensa intrínseca, social, normativa y material. Adicionalmente, señalan que a fin de involucrar a los ciudadanos en la coproducción es necesario que sea de fácil participación y se motiven de forma individual (Verschuere et al., 2012; Jakobsen, 2013; Eijk y Steen, 2014).

Etgar (2008), al describir el proceso de coproducción, demuestra que la participación efectiva del usuario depende del cumplimiento de dos fases: el desarrollo de las condiciones previas -condiciones macroambientales, factores relacionados con el consumidor, factores vinculados al producto y factores situacionales- y la motivación de los consumidores -objetivos económicos, motivaciones psicológicas y beneficios sociales-. Voorberg et al. (2015) exponen que la coproducción depende de la disponibilidad del gobierno para proporcionar la estructura y los procedimientos necesarios a fin de motivar la participación ciudadana en la provisión de los servicios públicos.

3. Metodología

Este estudio se fundamentó en el Preferred Reporting Items Systematic Reviews and Meta-Analyses (Prisma) (Liberati et al., 2009), protocolo cada vez más utilizado dentro de la administración (p. ej., Vries, Bekkers y Tummers, 2015; Moyson, Raaphorst, Goreneveld y Walle, 2018; Voorberg et al., 2015).

El corpus de esta investigación se definió a partir de la búsqueda de artículos científicos empíricos, en mayo del 2019, en las bases de datos Web of Science y Scopus, así como de una consulta con especialistas en coproducción de los servicios públicos realizada en junio del 2019. La elección de las bases se justifica gracias a la amplia gama de datos que se encuentran en Web of Science y Scopus -33 000 revistas en la primera y 24 000 publicaciones en la segunda- y que han sido utilizadas en revisiones sistemáticas de la administración pública (p. ej., Voorberg et al., 2015; Ritz, Brewer y Neumman, 2016).

Los estudios calificados internacionalmente se definieron a partir de la evaluación de las revistas científicas, a través de los factores de impacto Journal Citation Reports (JCR) y SCImago Journal Rank (SJR). El número de citas es la variable principal de la evaluación de las revistas científicas. Cuanto mayor es el número de citas, mayor es la repercusión y la relevancia de la investigación. Por tanto, se consideraron internacionalmente calificados, a los efectos de este estudio, los artículos publicados en las revistas científicas con evaluación JCR o SJR por encima del promedio -de sus factores de impacto-.

La consulta en las bases de datos se produjo con los términos coproduction o co-production, debido a la variación en la ortografía del término en inglés, y public service en el título, resumen y palabras clave, desde enero de 1970 hasta mayo del 2019. Se encontraron 120 artículos en Web of Science y 199 artículos en Scopus. Se excluyeron los artículos repetidos y publicados en revistas científicas que no tenían un factor de impacto (FI) en el indicador JCR o SJR, lo que resultó en 234 artículos. Se identificaron los factores de impacto de todas las revistas científicas de este total de artículos, con una evaluación máxima de 5,413 FI en JCR y 8,595 FI en SJR. Estos valores hacen referencia al año 2017. De esta forma, los 70 artículos publicados en revistas científicas que obtuvieron una evaluación FI por encima del promedio, es decir, más de 2,707 en el JCR y 4,298 en el SJR, se consideraron calificados internacionalmente para los propósitos de este estudio. Se leyó el título y el resumen de 70 artículos científicos, excluyéndose los artículos teóricos y aquellos que no eran afines con el tema de coproducción de los servicios públicos, lo que dio como resultado 24 artículos.

Como segundo criterio de selección de esta revisión sistemática se eligió la triangulación de datos (Miles y Huberman, 1994) al consultar, por conveniencia, a especialistas en el estudio de la coproducción de los servicios públicos, y al considerar como requisito la autoría de estudios científicos sobre el tema en el periodo de 2015-2018. Se solicitó a cuatro especialistas, vía correo electrónico, indicaciones de artículos empíricos sobre coproducción de los servicios públicos que salieron a luz a partir de 1970. Inicialmente, 16 artículos se indicaron. Excluyendo los artículos repetidos y teóricos, quedaron tres estudios que formaron parte de esta investigación, totalizando 27 artículos científicos empíricos calificados internacionalmente sobre coproducción de los servicios públicos.

Si se tienen en cuenta que algunos artículos indicados por los expertos se publicaron en revistas científicas que no son reconocidas por JCR o SJR, se analizaron las evaluaciones respectivas de la Coordenação de Aperfeiçoamento de Pessoal de Nível Superior o Capes brasileña que pueden variar de A1 -más alto-, a A2, B1, B2, B3 y B4 -el más bajo-. Se confirmó que todos los artículos indicados por los expertos tenían una calificación superior a la media en Capes, es decir, superior a B2. El proceso de selección de artículos se ilustra en la figura 1.

Fuente. Elaboración propia

Figura 1 Diagrama de flujo de la estrategia de búsqueda y selección de los artículos analizados 

Los artículos se analizaron bajo tres dimensiones: a) características bibliométricas de la investigación: autores, revistas, lugar de investigación, sector en el que se encaja el estudio y la fecha de publicación del trabajo; b) aspectos metodológicos: enfoque, naturaleza, recorte temporal, tipo de datos, método, muestreo, técnica de recolección de datos, instrumento de recolección de datos y técnica de análisis de datos; c) participación ciudadana e iniciativas gubernamentales para promover la coproducción de los servicios públicos. Al final, propusimos una agenda para futuras investigaciones.

4. Análisis de resultados y discusión

4.1 Primera dimensión del análisis: características bibliométricas de investigación

El análisis de la primera dimensión se dedicó a las características bibliométricas de las investigaciones. Se identificaron 56 autores en los 27 textos. Solo Tony Bovaird, de la Universidad de Birmingham, Inglaterra, publicó más de un artículo como primer autor -2007 y 2015-. Morten Jakobsen, de la Universidad de Aarhus, Dinamarca, publicó como primer autor en el 2013 y como tercer autor en el 2018. Gregg G. Van Ryzin de la Universidad de Rutgers, EE. UU., publicó dos artículos como segundo autor. Se verificaron recurrencias de autores en la investigación empírica.

Los 27 artículos analizados fueron publicados en 13 revistas científicas diferentes, de manera que fueron diez las que se identificaron en las bases de datos y las otras tres fueron resultantes de sugerencias de los especialistas. Las revistas que más publicaron sobre coproducción de los servicios públicos fueron: Public Management Review -ocho artículos- y Public Administration Review -cinco artículos-. Las demás revistas publicaron uno o dos estudios sobre el tema. Las únicas revistas que estaban por encima del promedio FI en los tres sistemas de evaluación -CR, 2,707; SJR, 4,298; B2, Capes- fueron: American Journal of Political Science y Journal of Public Administration Research and Theory. La tabla 1 presenta las revistas científicas que publicaron las investigaciones empíricas.

Tabla 1 Revistas científicas con las investigaciones empíricas analizadas en los artículos 

Origen Revistas N.A.* Evaluación de la revista**
JCR SJR Capes
Bases de datos American Journal of Political Science 2 5,220 8,595 A1
Government Information Quarterly 1 4,009 1,321 A1
Industrial Marketing Management 1 3,678 1,663 A1
International Public Management Journal 2 2,739 2,548 -
Journal of medical Internet Research 1 4,671 2,112 A1
Journal of Public Administration Research and Theory 2 3,907 5,407 A1
Land Use Policy 1 3,194 1,348 A1
Public Administration 1 2,870 1,989 A1
Public Administration Review 5 4,591 3,023 A1
Public Management Review 8 3,152 1,634 A1
Especialistas International Review of Administrative Sciences 1 2,174 0,806 A1
Revista de Administração -RAUSP- 1 - - A2
Revista de Administração Pública -RAP- 1 - 0,269 A2
Total de artículos 27

Nota. * Número de artículos científicos empíricos publicados en la revista. ** Promedio de evaluación por factor de impacto: JCR > 2,707; SJR > 4,298; Capes > B2.

Fuente. Elaboración propia.

De las 13 revistas, dos son de origen latinoamericano -Revista de Administração o RAUSP y Revista de Administração Pública o RAP-, ambas indicadas por los especialistas consultados. Entre las 133 revistas que publicaron los 234 artículos, identificados antes de la selección de los calificados internacionalmente, se encontraron solo cinco de origen latinoamericano: Revista de Administração Pública y Ensaio, ambas originarias de Brasil; Análisis Político y Palabra Clave de Colombia; y Revista del Clad Reforma y Democracia de Venezuela. Los siete artículos publicados en estas revistas no se incluyeron en este estudio porque no se clasificaron como calificados internacionalmente, de acuerdo con los criterios establecidos en esta revisión.

En consideración a que la cantidad de citaciones es la principal variable de la evaluación del FI de revistas por JCR y SJR, la publicación de artículos en los idiomas español y portugués puede ser una posible explicación para la evaluación de revistas latinoamericanas por debajo del promedio de JCR y SJR, ya que el inglés es el idioma más accesible para los investigadores internacionales. Las diez revistas enumeradas en la tabla 1 publican en inglés. Eso demuestra que América Latina debería preocuparse por fomentar la producción de artículos en inglés, puesto que es el idioma más leído en el ambiente académico en todo el mundo.

Europa es el continente que más se destaca en relación con el lugar de investigación sobre coproducción de los servicios públicos: 19 artículos. Sin embargo, el país con la investigación empírica más calificada a nivel internacional sobre el tema fue Estados Unidos, con siete artículos publicados. América Latina es el locus del 19 % de los artículos sobre coproducción de los servicios públicos considerados internacionalmente calificados bajo la evaluación de JCR y SJR. Ahora bien, aunque América Latina tiene una representación considerable entre los países que son locus de investigación sobre coproducción de los servicios públicos, el interés en la investigación sobre el tema no siempre proviene de las instituciones de esta región. Brasil publicó tres investigaciones y aparece entre los cinco países con más investigaciones empíricas consideradas internacionalmente calificadas sobre el tema, de modo que se ubica atrás de Inglaterra, Holanda, Dinamarca y EE. UU., tal como se ilustra en la figura 2.

Fuente. Elaboración propia

Figura 2 Países locus de estudios teórico-empíricos acerca de los servicios públicos 

En dos de los 27 artículos el locus de investigación se extendió a más de un país, lo que justifica el hecho de que la suma de los valores en la figura 2 supera la cantidad de textos de esta revisión sistemática.

Los sectores en los que más se destacaron los estudios empíricos fueron: salud -nueve investigaciones- y educación -siete investigaciones-. Medio ambiente -tres-, seguridad pública -dos- y asistencia social -dos- fueron objeto de más de una investigación. De acuerdo con Musso, Matthew y Thom (2018), en los servicios públicos sociales, de salud y educación, la participación ciudadana es inherente al servicio público prestado, lo que puede justificar la preferencia por los estudios en estas áreas. Otros campos tales como contratación pública, redes sociales, servicios electrónicos, justicia e infraestructura también fueron objeto de un estudio sobre coproducción de los servicios públicos.

La figura 3 reproduce la línea de tiempo que representa esta revisión sistemática al indicar el número de artículos publicados por año. Desde el 2013, el año en que Parrado et al. (2013) señalaron la necesidad de más publicaciones empíricas, el número de investigaciones aumentó. Los años que se destacaron fueron 2016 y 2018. Los artículos de 2019 no se tuvieron en cuenta, debido a que no se ajustaron a los criterios establecidos en esta revisión, señalando que la investigación se realizó en mayo y junio del 2019.

Fuente. Elaboración propia

Figura 3 Línea de tiempo de las publicaciones 

4.2 Segunda dimensión del análisis: aspectos metodológicos de las investigaciones analizadas en los artículos

En el análisis de la segunda dimensión se identificaron los métodos y las técnicas adoptados en los 27 artículos analizados, de acuerdo con las categorías y subcategorías presentadas en la tabla 2: enfoque, naturaleza, recorte temporal, tipos de datos, método, técnica de recolección, instrumento de recolección y técnica de análisis. Es importante resaltar que, en algunas categorías de la tabla 2, la suma excede el total de artículos -27- debido a que algunos utilizan más de un tipo de subcategoría. Por ejemplo, un artículo puede usar más de una técnica de recolección de datos -recolección de documentos y entrevistas-.

Tabla 2 Análisis descriptivo de los métodos de investigación empírica 

Enfoque Artículo %
Cualitativo 13 48
Cuantitativo 10 37
Mixto 4 15
Naturaleza Artículo %
Descriptivo 16 60
Explicativo 6 22
Exploratorio 5 18
Recorte temporal Artículo %
Transversal 24 89
Longitudinal 3 11
Tipos de Datos Artículo %
Primarios 12 44
Mixtos 10 37
Secundario 5 19
Método Artículo %
Estudio de caso 7 26
Experimental 7 26
Documental 6 22
Recolección de opiniones 5 11
Delphi 1 4
Grounded theory 1 4
Metodología Q 1 4
Survey 1 4
Muestreo Artículo %
No probabilístico 7 26
Probabilístico 3 11
Conveniencia 14 52
Teórico 3 11
Técnica de recolección Artículo %
Recolección de documentos 13 48
Entrevista 11 41
Aplicación de cuestionario 9 33
Grupo focal 6 22
Observación 2 7
Instrumento de recolección Artículo %
Guion de entrevista 17 63
Documentos 13 48
Cuestionario 9 33
Diario de observación 2 7
Técnica de análisis Articulo %
Análisis de contenido 15 52
Análisis inferencial 14 52
Análisis descriptivo 11 41
Análisis de discurso 2 26

Fuente. Elaboración propia.

Con respecto al enfoque, se descubrió que cuatro son mixtos, 13 cualitativos y 10 cuantitativos. La mayoría de los estudios cualitativos ratifican los resultados señalados en la revisión de Verschuere et al. (2012). Los estudios cuantitativos son recientes: cuatro de ellos se publicaron en el 2018. La naturaleza descriptiva es preponderante en 16 artículos que componen el corpus. Seis artículos son de naturaleza explicativa y cinco exploratorios. Los dos primeros estudios empíricos -2007 y 2011- son cualitativos, descriptivos y exploratorios, lo que denota una fase preliminar de estos estudios sobre la coproducción de los servicios públicos. Los estudios cuantitativos se concentran en el 2015 y el 2018, con tres y cuatro artículos publicados, respectivamente, cada año. En el 89 % del corpus optaron por el recorte transversal en la recolección de datos. Los tres artículos longitudinales tienen un enfoque cualitativo, de carácter exploratorio y se publicaron en el 2014 y el 2018. En el 44 % de las investigaciones se utilizaron datos primarios, en el 37 % de las investigaciones fueron datos mixtos y en el 19 % datos secundarios.

Los métodos más utilizados en esta revisión son: el estudio de caso -siete artículos- y el experimental -siete artículos-. Por una parte, este resultado demuestra que los investigadores mantuvieron la tendencia percibida por Verschuere et al. (2012), en el sentido de que la mayoría de las investigaciones se centra en estudios de casos: Ostrom (1996), Joshi y Moore (2004), Bovaird (2007) y Alford (1998; 2009). Por otra, la cantidad de experimentos realizados fue sorprendente. Se cree que este resultado contribuye al avance de los estudios sobre el tema, ya que los enfoques cuantitativos pueden mostrar el peso real de los factores influyentes (Voorberg et al., 2015).

Algunos estudios de caso citados por Parrado et al. (2013) constituyen el corpus de esta investigación, pero otros no aparecieron en los resultados de esta revisión, a pesar de ser de autores reconocidos en el mundo académico. Las razones de este desajuste pueden estar relacionadas con las limitaciones de la base de datos, los requisitos definidos para artículos científicos calificados internacionalmente o los criterios adoptados para solicitar artículos de especialistas.

Aunque existe una preponderancia de la investigación en el uso de cuatro métodos -estudio de caso, experimental, documental y recolección de opiniones- los investigadores también están preocupados por la diversificación metodológica: Delphi -un artículo-, teoría fundamentada o grounded theory -un artículo-, metodología Q -un artículo- y Survey -un artículo-. En total, se utilizaron ocho métodos de investigación diferentes y se señala que en dos artículos no se identificó la estrategia metodológica y en otros dos artículos se utilizó más de un método.

El muestreo probabilístico se adoptó en tres investigaciones cuantitativas y el muestreo no probabilístico en siete estudios. En tres estudios cualitativos y mixtos los investigadores utilizaron muestreo teórico y en 14 por conveniencia. En tres artículos no fue posible identificar el tipo de muestreo. Las técnicas de recolección más utilizadas fueron la recolección de documentos -13- y la entrevista individual -11-, seguidas de la aplicación de un cuestionario -nueve-, grupo focal -seis- y observación -dos-.

El instrumento de recopilación de datos más recurrente fue el guion de entrevista. En 13 artículos se utilizaron documentos y en nueve artículos se utilizaron cuestionarios. En dos artículos se utilizaron diarios de observación y 13 presentaron más de un tipo de instrumento de recolección de datos. La técnica de análisis más utilizada por los investigadores fue el análisis de contenido -15 artículos-, seguida del análisis inferencial -14 artículos-, el análisis descriptivo -11 artículos- y el análisis del discurso -dos artículos-.

4.3 Tercera dimensión del análisis: las iniciativas gubernamentales y el compromiso ciudadano en los artículos analizados

Las iniciativas gubernamentales para motivar a los ciudadanos a la participación de la coproducción de los servicios públicos son, de hecho, el objeto de discusión más recurrente en esta revisión sistemática. Aparecen como el enfoque central en 13 de las 27 investigaciones.

En el análisis de contenido de las discusiones de los investigadores se encontraron cinco categorías que influyen, positiva o negativamente, en las iniciativas gubernamentales para promover la coproducción de los servicios públicos: a) políticas públicas, que abordan cuestiones relacionadas con dirigir la coproducción a los más o menos favorecidos (Jakobsen, 2013); b) formas de incentivo, tales como aplicación de sanciones, provisión de recompensas materiales e intrínsecas, como, por ejemplo, provisión de información, incentivo y asesoramiento, liderazgo, etc. (Riccucci, Van Ryzin y Li, 2015; Torvinen y Ulkuniemi, 2016; Voorberg et al., 2018); c) recursos, como una estructura organizacional adecuada, esto es, descentralización, tecnología, tiempo, etc.; d) tipos de coproducción, argumentando que las estrategias de gobernancia deberían considerar variaciones en la coproducción (O'Brien, Offenhuber, Baldwin-Philippi, Sands y Gordon, 2016; Uzochukwu y Thomas, 2018); y e) efectos moderadores -obstaculizadores-, tales como tiempo disponible, motivación ciudadana, resistencia profesional, etc. (Duquette-Rury, 2016).

Riccucci et al. (2015) sostienen que las reducciones de impuestos pueden ser un incentivo importante para que los ciudadanos se sientan interesados en la coproducción, y que el nombramiento de líderes comunitarios también puede producir resultados satisfactorios en esta área. Aunque Voorberg et al. (2018) presentan estudios en los cuales las recompensas financieras son adecuadas para aumentar la coproducción, advierten que existen casos en los que las recompensas materiales son señaladas como medios ineficaces para obtener la participación ciudadana e, incluso, pueden socavar la motivación intrínseca.

Al analizar investigaciones relacionadas con la participación ciudadana en la coproducción, se encuentran tres categorías: a) conocimiento, en la medida en que para coproducir el ciudadano necesita saber que puede o debe participar y cómo debe colaborar (Isett y Miranda, 2014; Soares y Farias, 2018; Thomsen y Jakobsen, 2015); b) habilidad, relacionada con la capacidad del ciudadano para coproducir, considerando los conocimientos y los recursos disponibles (Alford, 2002; 2009; Thomsen y Jakobsen, 2015; Voorberg et al., 2018); y c) la motivación que impulsa a los ciudadanos a coproducir (Akaateba, Huang y Adumpo, 2018; Jakobsen, 2013).

Jakobsen (2013) confirmó que la participación y el apoyo del sector público generan un impacto positivo en la coproducción. Loeffler y Bovaird (2016) expresan que la coproducción funciona cuando los ciudadanos y los profesionales del servicio público tienen algo valioso para contribuir, cuando cuentan con la disposición de hacerlo y cuando las condiciones que experimentan de esas contribuciones se realizan de forma eficiente y efectiva. Adicionalmente, Grönroos (1983) refiere que los consumidores participarán más en la coproducción cuando existe una empatía entre los que contribuyen.

Consecuentemente, los ciudadanos participantes aumentarán su disposición a coproducir si se les incentiva de forma estratégica, de manera que sea atractiva y contenga un lenguaje simple y apropiado. Sin embargo, Loeffler y Bovaird (2016) señalan que, si los servicios públicos no comprenden el funcionamiento de la coproducción, sus ofertas suelen ser inapropiadas y no captan la atención debida.

Por su parte, Thomsen y Jakobsen (2015) sostienen que los estudios de coproducción han demostrado cómo los ciudadanos mejor instruidos y con mayor renta tienen más probabilidades de participar porque estos grupos tienen más conocimiento y habilidades o, incluso, los materiales necesarios. Este hallazgo confirma la posición de Etgar (2008), quien argumenta que los consumidores más calificados y con mayor poder económico tienen más probabilidades de contribuir a la coproducción. Isett y Miranda (2014) sostienen que la falta de conocimiento y acceso a las nuevas tecnologías son barreras para los ciudadanos desfavorecidos que pueden crear disparidades sociales en la prestación de servicios públicos coproducidos.

Ostrom (1996) señala que las clases sociales menos privilegiadas y menos educadas son los principales beneficiarios de la coproducción. Desde esta perspectiva, Jakobsen (2013) considera que las iniciativas gubernamentales están diseñadas para disminuir las limitaciones de capacidad que dificultan la coproducción de los ciudadanos, y cómo tales iniciativas pueden tener un mayor efecto en los ciudadanos desfavorecidos y aumentar la equidad.

Las medidas gubernamentales afectarán la participación ciudadana en la coproducción de los servicios públicos y viceversa. Por tanto, se cree que existe una relación de interdependencia entre los dos temas, por lo cual se representan las respectivas categorías juntas en la figura 4.

Fuente. Elaboración propia

Figura 4 Iniciativas gubernamentales y participación ciudadana en la coproducción 

En el propósito de que las agencias públicas planifiquen iniciativas efectivas de coproducción, es necesario conocer las motivaciones de los ciudadanos y el nivel de conocimiento que estos poseen sobre esta. Del mismo modo, el Estado necesita conocer las habilidades y la disponibilidad de recursos por parte del ciudadano a fin de planificar acciones de capacitación para la población. Etgar (2008) cita algunas habilidades ciudadanas que son importantes para el desarrollo de la coproducción de los servicios públicos: habilidades de coordinación, superación de las diferencias culturales entre coproductores, motivación de socios coproductores, manejo de situaciones de conflicto, habilidades de diálogo y habilidades de afrontamiento tecnológico.

Los constructos presentados incluyen categorías relacionadas con los dos temas estudiados -iniciativas gubernamentales para promover la coproducción y la participación ciudadana en la coproducción-. Sin embargo, se necesitan más estudios que permitan comprender estas correlaciones, con el fin de que la coproducción pueda evolucionar y convertirse en una estrategia de gestión eficiente para la administración pública.

Por tal motivo, es necesario aclarar el tipo de coproducción que se desea y, así, estar en capacidad de promoverla y desarrollar los incentivos pertinentes que la sostengan. Ahora bien, cuanto mayor sea el número de coproductores mayor será el número de beneficios.

5. Conclusiones

Después de casi 50 años de estudiar la coproducción de los servicios públicos en la administración pública, se verifica su creciente relevancia y recurrencia en la producción científica. Si se tiene en cuenta que no se identificaron revisiones de literatura que abarcaran todo el periodo del estudio de la coproducción de los servicios públicos, este trabajo propuso analizar la producción empírica calificada internacionalmente desde la década de 1970 hasta el 2018.

Sus objetivos específicos son identificar las características bibliométricas de estos estudios empíricos -autores, revistas, lugar de investigación, sector del estudio y fecha de publicación del trabajo-; describir sus aspectos metodológicos; verificar, como tarea ontológica, de qué manera la participación ciudadana y las iniciativas gubernamentales se han discutido en estos trabajos para promover la coproducción; y, finalmente, proponer una agenda para investigaciones futuras.

A partir de los resultados de esta revisión sistemática se han identificado nuevas posibilidades de investigación para que la coproducción se convierta en una estrategia cada vez más efectiva en el diseño y la prestación de servicios públicos, de modo que ofrezca beneficios a las instituciones y a sus principales beneficiarios, es decir, los ciudadanos.

Desde el punto de vista del objeto en estudio, se recomienda revisar sistemáticamente los artículos teóricos sobre coproducción de los servicios públicos desde 1970 hasta la actualidad, debido a que este trabajo se dedicó de forma exclusiva a estudios teórico-empíricos. La revisión sistemática de artículos científicos procedentes de América Latina, sin tomar en cuenta estudios por los factores de impacto adoptados, puede ayudar a comprender mejor el panorama de publicaciones sobre el tema en la región, puesto que eliminará la limitación de publicaciones en inglés.

Se sugieren estudios sobre la coproducción de los servicios públicos en redes sociales, justicia e infraestructura, temas aún poco estudiados. En cuanto a los tipos de coproducción, se recomienda investigar si la motivación de los ciudadanos varía según los ciclos de servicios: co-commissioning, co-design, co-delivery y co-assessment (Nabacthi et al., 2017).

A partir de la perspectiva epistemológica, en específico metodológica, se sugiere realizar estudios utilizando el método de la teoría fundamentada a fin de generar construcciones teóricas que expliquen la motivación del ciudadano para coproducir desde el contexto social en el que está inserto, considerando la influencia de su condición económica en la coproducción de los servicios públicos.

Dados los diferentes hallazgos en la investigación sobre el tema, se recomienda realizar estudios correlacionales con el propósito de analizar la relación entre las iniciativas gubernamentales y la motivación de los ciudadanos para coproducir. Por ejemplo, ¿cómo puede la capacitación tecnológica ofrecida por el gobierno alentar a los ciudadanos a coproducir?

Se sugieren también revisiones de literatura utilizando la misma técnica de triangulación en recolección de datos, base de datos y consultas a los especialistas en el tema de diferentes países y continentes.

Aunque esta revisión sistemática pueda presentar limitaciones generadas a partir de los criterios de la selección de artículos calificados internacionalmente con base en JCR y SJR, se procuró contribuir, en alguna medida, empleando procedimientos transparentes en la búsqueda de artículos que hacen posible la replicabilidad en estudios futuros. Buscamos hacer posible la revisión bibliográfica de un largo periodo -casi 50 años- centrándonos en los artículos con mayor impacto en la literatura. Cabe destacar que la realización de estudios con métodos múltiples -como esta revisión-, la cual combina enfoques cualitativos y cuantitativos, permiten dar un paso más allá de la medición del fenómeno en cuestión y abren las posibilidades de su interpretación, ya que arrojan una luz sobre los matices no revelados en los números.

Referencias

Abreu-Ronconi, L. F. de; Debetir, E.; Mattia, C. de. (2011). Conselhos gestores de políticas públicas: potenciais espaços para a coprodução dos serviços públicos. Revista Contabilidade, Gestão e Governança, 14(3), 46-59. [ Links ]

Akaateba, M.; Huang, H.; Adumpo, E. (2018). Between co-production and institutional hybridity in land delivery: insights from local planning practice in peri-urban Tamale, Ghana. Land Use Policy, 72, 215-226. DOI: https://doi.org/10.1016/j.landusepol.2017.12.043Links ]

Alford, J. (1998). A public management road less travelled: clients as co-producers of public services. Australian Journal of Public Administration, 57(4), 128-137. DOI: https://doi.org/10.1111/j.1467-8500.1998.tb01568.xLinks ]

Alford, J. (2002). Defining the client in the public sector: a social-exchange perspective. Public Administration Review, 62(3), 337-346. DOI: https://doi.org/10.1111/1540-6210.00183Links ]

Alford, J. (2009). Engaging public sector clients: from service-delivery to co-production. Londres: Palgrave. DOI: https://doi.org/10.1057/9780230235816Links ]

Alonso J. M.; Andrews, R.; Clifton, J.; Diaz-Fuentes, D. (2019). Factors influencing citizens’ co-production of environmental outcomes: a multi-level analysis. Public Management Review, 21(11), 1620-1645. DOI: https://doi.org/10.1080/14719037.2019.1619806Links ]

Bovaird, T. (2007). Beyond engagement and participation: user and community coproduction of public services. Public Administration Review , 67(5), 846-860. DOI: https://doi.org/10.1111/j.1540-6210.2007.00773.xLinks ]

Brandsen, T.; Honingh, M. (2016). Distinguishing different types of coproduction: a conceptual analysis based on the classical definitions. Public Administration Review , 76(3), 427-435.DOI: https://doi.org/10.1111/puar.12465Links ]

Brudney, J.; England, R. (1983). Toward a definition of the coproduction concept. Public Administration Review , 43(1), 59-65. DOI: https://doi.org/10.2307/975300Links ]

Clohesy, W.W. (2000). Altruism and the Endurance of the Good. VOLUNTAS: International Journal of Voluntary and Nonprofit Organizations, 11, 237-253. DOI: https://doi.org/10.1023/A:1008923809507Links ]

Duquette-Rury, L. (2016). Migrant transnational participation: how citizen inclusion and government engagement matter for local democratic development in Mexico. American Sociological Review, 81(4), 771-799. DOI: https://doi.org/10.1177%2F0003122416653603Links ]

Eijk, C. van; Steen, T. (2014). Why people co-produce: analysing citizens’ perceptions on co-planning engagement in health care services. Public Management Review , 16(3), 358-382. DOI: https://doi.org/10.1080/14719037.2013.841458Links ]

Eijk, C. van; Steen, T. (2015). Why engage in co-production of public services? Mixing theory and empirical evidence. International Review of Administrative Sciences, 82(1), 28-46. DOI: https://doi.org/10.1177/0020852314566007Links ]

Etgar, M. (2008). A descriptive model of the consumer co-production process. Journal of the Academy of Marketing Science, 36(1), 97-108. DOI: https://doi.org/10.1007/s11747-007-0061-1Links ]

Grönroos, C. (1983). Strategic management and marketing in the service sector. Cambridge, MA: Marketing Science Institute. [ Links ]

Hjoryskov, M.; Andersen, S.; Jakobsen, M. (2018). Encouraging political voices of underrepresented citizens through coproduction: evidence from randomized field trial. American Journal of Political Science, 62(3), 597-609. DOI: https://doi.org/10.1111/ajps.12360Links ]

Isett, K.; Miranda, J. (2014). Watching sausage being made: lessons learned from the co-production of governance in a behavioural health system. Public Management Review , 17(1), 35-56. DOI: https://doi.org/10.1080/14719037.2014.881536Links ]

Jakobsen, M. (2013). Can Government initiatives increase citizen coproduction? Results of a randomized field experiment. Journal of Public Administration Research and Theory, 23(1), 27-54. DOI: https://doi.org/10.1093/jopart/mus036Links ]

Joshi, A.; Moore, M. (2004). Institutionalised co-production: unorthodox public service delivery in challenging environments. The Journal of Development Studies, 40(4), 31-49. DOI: https://doi.org/10.1080/00220380410001673184Links ]

Levine, C. H.; Glenn F. (1984). Citizenship and service delivery: the promise of coproduction. Public Administration Review , 44, 178-189. DOI: https://doi.org/10.2307/975559Links ]

Liberati, A.; Douglas, A.; Tetzlaff, J.; Mulrow, C.; Gotzche, P.; Loannidis, J.; Clarke, M.; Devereaux, P. J.; Moher, D. (2009). The Prisma statement for reporting systematic reviews and meta-analyses of studies that evaluate health care interventions: explanation and elaboration. PLOS Medicine, 6(7). DOI: https://doi.org/10.1371/journal.pmed.1000100Links ]

Loeffler, E.; Bovaird, T.; Van Ryzin, G. (2008). If you want to go fast, walk alone. If you want to go far, walk together. Citizens and the co-production of public services. Ministry of Finance, Budget and Public Services. Paris, Francia. Recuperado de https://bit.ly/344rhs8Links ]

Loeffler, E.; Bovaird, T. (2016). User and community co-production of public services: what does the evidence tell us? International Journal of Public Administration, 39(16), 1006-1019. DOI: https://doi.org/10.1080/01900692.2016.1250559Links ]

Mees, H.; Crabbé, A.; Driessen, P. O. J. (2017). Conditions for citizen co-production in a resilient, efficient and legitimate flood risk governance arrangement. A tentative framework. Journal of Environmental Policy & Planning, 19(6), 827-842. DOI: https://doi.org/10.1080/1523908X.2017.1299623Links ]

Meijer, A. (2011). Networked Coproduction of Public Services in Virtual Communities: from a Government-Centric to a Community Approach to Public Service Support. Public Administration Review , 71(4), 598-607. DOI: https://doi.org/10.1111/j.1540-6210.2011.02391.xLinks ]

Miles, M. B.; Huberman, A. M. (1994). Qualitative data analysis. Thousand Oaks, CA: Sage. [ Links ]

Moyson, A.; Raaphorst, N.; Goreneveld, S.; Walle, S. (2018). Organizational socialization in public administration research: a systematic review and directions for future research. The American Review of Public Administration, 48(6), 610-627. DOI: https://doi.org/10.1177%2F0275074017696160Links ]

Musso, J.; Matthew, Y.; Thom, M. (2018). Volunteerism as co-production in public service management: application to public safety in California. Public Management Review , 21(4), 473-494. DOI: https://doi.org/10.1080/14719037.2018.1487574Links ]

Nabatchi, T.; Sancino, A.; Sicila, M. (2017). Varieties of participation in public services: the who, when, and what of coproduction. Public Administration Review , 77(5), 766-776. DOI: https://doi.org/10.1111/puar.12765Links ]

O’Brien, D.; Offenhuber, D.; Baldwin-Philippi, J.; Sands, M.; Gordon, E. (2016). Uncharted territoriality in coproduction: the motivations for 311 reporting. Journal of Public Administration Research and Theory , 27(2), 320-335. DOI: https://doi.org/10.1093/jopart/muw046Links ]

Osborne, S.; Strokosch, K. (2013). It takes two to tango? Understanding the co-production of public services by integrating the services management and public administration perspectives. British Journal of Management, 24(S1), S31-S47. DOI: https://doi.org/10.1111/1467-8551.12010Links ]

Ostrom, E. (1996). Crossing the great divide: coproduction, synergy, and development. World Development, 24(6), 1073-1087. DOI: https://doi.org/10.1016/0305-750X(96)00023-XLinks ]

Palumbo, R. (2016). Contextualizing co-production of health care: a systematic literature review. International Journal of Public Sector Management, 29(1), 72-90. DOI: https://doi.org/10.1108/IJPSM-07-2015-0125Links ]

Parrado, S.; Van Ryzin, G.; Bovaird, T.; Loffler, E. (2013). Correlates of co-production: evidence from a five-nation survey of citizens. International Public Management Journal, 16(1), 85-112. DOI: https://doi.org/10.1080/10967494.2013.796260Links ]

Perry, J. L. & Hondeghem, A. (2008). Building Theory and Empirical Evidence about Public Service Motivation. International Public Management Journal , 11(1), 3-12. DOI: https://doi.org/10.1080/10967490801887673Links ]

Pestoff, V. (2006). Citizens and co-production of welfare services. Public Management Review , 8(4), 503-519. DOI: https://doi.org/10.1080/14719030601022882Links ]

Pestoff, V. (2012). Co-production and third sector social services in Europe: some concepts and evidence. Voluntas, 23(4), 1102-1118. DOI: https://doi.org/10.1007/s11266-012-9308-7Links ]

Pestoff, V.; Osborne, S.; Brandsen, T. (2006). Patterns of co-production in public services. Public Management Review , 8(4), 591-595. DOI: https://doi.org/10.1080/14719030601022999Links ]

Riccucci, N.; Van Ryzin, G. G.; Li, H. (2015). Representative bureaucracy and the willingness to coproduce: an experimental study. Public Administration Review , 76(1), 121-130. DOI: https://doi.org/10.1111/puar.12401Links ]

Ritz, A.; Brewer, G. A.; Neumman, O. (2016). Public service motivation: a systematic literature review and outlook. Public Administration Review , 76(3), 414-426. DOI: https://doi.org/10.1111/puar.12505Links ]

Sharp, E. B. (1984). Exit, Voice, and Loyalty’ in the Context of Local Government Problems. Western Political Quarterly, 37(1), 67-83. DOI: https://doi.org/10.2307/448326Links ]

Silvestre, H. C.; Catarino, J. R.; Araujo, J. F. F. (2016). Evidence of co-production in public service provision: the case of the administrative arbitration center in Portugal. Revista de Administração, 51(4), 355-365. DOI: https://doi.org/10.1016/j.rausp.2016.07.007Links ]

Soares, F. S.; Farias, J. S. (2018). Vem educar com a gente: o incentivo de governo e escolas à coprodução da educação por familiares de alunos. Ensaio, 26(101), 1347-1371. DOI: http://dx.doi.org/10.1590/s0104-403620180026001299Links ]

Thomsen, M. K.; Jakobsen, M. (2015). Influencing citizen coproduction by sending encouragement and advice: a field experiment. International Public Management Journal , 18(2), 286-303. DOI: https://doi.org/10.1080/10967494.2014.996628Links ]

Torvinen, H.; Ulkuniemi, P. (2016). End-user engagement within innovative public procurement practices: a case study on public-private partnership procurement. Industrial Marketing Management, 58, 58-68. DOI: https://doi.org/10.1016/j.indmarman.2016.05.015Links ]

Uzochukwu, K.; Thomas, J. C. (2018). Who engages in the coproduction of local public services and why? The case of Atlanta, Georgia. Public Administration Review , 78(4), 514-526. DOI: https://doi.org/10.1111/puar.12893Links ]

Verschuere, B.; Brandsen, T.; Pestoff, V. (2012). Co-production: the state of the art in research and the future agenda. VOLUNTAS: International Journal of Voluntary and Nonprofit Organizations , 23(4), 1083-1101. DOI: https://doi.org/10.1007/s11266-012-9307-8Links ]

Vieira, S. (2009). Como elaborar questionários. San Pablo: Atlas. [ Links ]

Voorberg, W. H.; Bekkers, V. J. J. M.; Tummers, L. G. (2015). A systematic review of co-creatian and co-production: embarking on the social innovation journey. Public Management Review , 17(9), 1333-1357. DOI: https://doi.org/10.1080/14719037.2014.930505Links ]

Voorberg, W.; Jilke, S.; Tummers, L.; Bekkers, V. (2018). Financial rewards do not stimulate coproduction: evidence from two experiments. Public Administration Review , 78(6), 864-873. DOI: https://doi.org/10.1111/puar.12896Links ]

Vries, H. de; Bekkers, V.; Tummers, L. (2015). Innovation in the public sector: a systematic review and future research agenda. Speyer: EGPA Conference. [ Links ]

Este estudio fue financiado en parte por la Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) - Código de Finanzas 001.

Cómo citar este artículo: Oliveira-Militão, L.; Celis-León, A. J.; Silva-Farias, J.; Demo, G. (2020). Revisión sistemática de artículos calificados con base en JCR y SJR: coproducción de servicios públicos entre 1970-2018. Revista Escuela de Administración de Negocios, Edición especial 2020, 13-32. DOI: https://doi.org/10.21158/01208160.n0.2020.2646

Recibido: 20 de Mayo de 2020; Aprobado: 10 de Julio de 2020

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons