Scroll down for the English translation of this report: Community Engagement Grant Report: “Towards a fair and responsible academic evaluation in the Network of CLACSO Centers of Venezuela”
A DORA Community Engagement Grants Report
In November 2021, DORA announced that we were piloting a new Community Engagement Grants: Supporting Academic Assessment Reform program with the goal to build on the momentum of the declaration and provide resources to advance fair and responsible academic assessment. In 2022, the DORA Community Engagement Grants supported 10 project proposals. The results of the Towards a fair and responsible academic evaluation in the Network of CLACSO Centers of Venezuela project are outlined below.
By María Ángela Petrizzo Paez, Annel Mejías Guiza, Ximena González Broquen, Eisamar Ochoa — Venezuela
La evaluación académica y la democratización de la ciencia constituyen una preocupación del Consejo Latinoamericano de Ciencias Sociales (CLACSO). El Foro Latinoamericano sobre Evaluación Científica (FOLEC-CLACSO) es una muestra de esto. En Venezuela existen 64 centros CLACSO, espacio que consideramos importante para iniciar un debate sobre una ciencia abierta, justa y responsable.
El proyecto “Políticas de evaluación académica aplicadas a la Red de Centros CLACSO de Venezuela”, realizado entre marzo y septiembre del 2022, respondió a esta intención. El estudio buscó describir los elementos distintivos de los procesos de evaluación académica al interior de los centros que componen esta Red. Para lograrlo, en la primera etapa de la investigación se aplicó una encuesta, con 3 secciones: (a) caracterización, (b) exploración de los mecanismos, procesos y normativas que usan para evaluar a sus investigadoras e investigadores, criterios de contratación, permanencia y promoción que estos aplican, desde un enfoque interseccional; y (c) exploración de las aspiraciones y propuestas sobre la evaluación. En la encuesta participaron 44 jefes y jefas de centros, representando un 68% de la población. En la segunda y tercera etapa, se construyó la declaración con aportes colectivos, realizados desde la encuesta y en las entrevistas hechas a 11 jefes y jefas de centros.
Este estudio genera por primera vez una caracterización de la Red de Centros CLACSO Venezuela, así como determina sus potencialidades para orientar futuras acciones en la reforma de las políticas de evaluación académica. Destacamos la diversidad de la red, ya que predomina una mayor tendencia con adscripción universitaria, mientras que 2 o 3 de cada 10 centros pertenece a algún ministerio gubernamental y un 25% tiene figuras privadas. La antigüedad de los centros ubica a la mayoría con más de 11 años, destacando los centros con más de 20 años, mientras que los centros más jóvenes son la menor tendencia. En términos cuantitativos, suman 409 mujeres, 311 varones y 3 personas con género “otro”. La mayoría tiene a estudiantes en proceso de formación, realizando mayoritariamente postgrado. Estos datos nos indican que la Red está conformada por centros con trayectoria de investigación, con un número significativo de estudiantes, investigadores e investigadoras dedicadas a las ciencias sociales.
Otra característica se centra en que la mitad de la muestra tiene entre 1 y 5 años de formar parte de CLACSO, mientras que 2 o 3 de cada 10 centros suma entre 6-10 años y, en menor proporción, tiene más de 10 años. Esto traduce que en la última década ha aumentado en casi 80% el número de centros de Venezuela que se han integrado a CLACSO. Otra cifra destacable es que 7 de cada 10 centros están en la región capital del país y en 8 de los 24 estados del país, sin haber representación de la región sur; lo que nos indica una centralización marcada.
En esta red, 8 de cada 10 centros reportan que cuentan con mujeres y hombres en su planta investigadora. La mayoría de mujeres ejerce cargos directivos, pero más del 90% no incluye consideraciones de género en los baremos de evaluación; no obstante, en la tercera parte de la encuesta, dentro de las propuestas para una evaluación académica justa y responsable, el enfoque de género resulta ser un criterio importante.
La Red cuenta con un número significativo de revistas. 5 de cada 10 centros consultados tienen una o más de 2 revistas, de las cuales 7 de cada 10 publicaciones utilizan licencia libre y la mitad se encuentra o bien indexada, o bien reposa en bases de datos, directorios y/o guías bibliográficas. Esta característica representa una oportunidad importante para fortalecer las publicaciones en acceso abierto y, además, iniciar un diálogo para diversificar sus normativas de evaluación.
Al ser una red con una mayor tendencia de centros universitarios, el sistema de clasificación del personal de investigación predominante sigue la carrera académica establecida en la legislación nacional. La educación en Venezuela es pública, por ello, consideramos importante la participación del Estado en el debate sobre la transformación en las políticas de evaluación académica.
En cuanto a los sistemas de evaluación, cabe destacar que cerca del 25% no aplica baremos para evaluar la producción de quienes investigan y un 88% no utiliza la publicación de “revistas indexadas” como dispositivo de evaluación. Entre aquellos que sí cuentan con baremos, las formas más utilizadas son: la “revisión por pares” (50%) seguido por el “nivel profesional” (27%); sigue la “experiencia” y “formación de talento humano” (25%). Los mecanismos de evaluación con menor nivel de popularidad son la “participación en revistas no científicas arbitradas”, “publicaciones no indexadas”, y las valoraciones “cienciométricas”. Solo ocho centros brindaron información precisa sobre la utilización de algún índice de referencia para las publicaciones, siendo los más populares los índices latinoamericanos que promueven el acceso abierto. En cuanto al perfil de las personas que evalúan, más del 80% son personas activas con postgrados y un 75% pertenece al mismo centro. Estas características permiten visualizar prácticas concretas de ciencia abierta y un potencial de articulación para construir olectivamente políticas de evaluación.
Sobre los procesos de promoción, un 34% no reconoce ningún producto. Aquellos que sí responden afirman que la “participación en eventos académicos” (43%) y las “actividades docentes” (41%) son los productos más reconocidos; mientras que las valoraciones “cienciométricas” y por “patentes de invención” tienen menor importancia. Sobre el tipo de autoría, la mayoría (50%) señaló calificar con el mismo nivel de importancia las autorías “individuales”, tanto como las “colectivas” y las “participativas/comunitarias”. En cuanto a los enfoques mejor valorados en los proyectos de investigación, se evidenció una mayor frecuencia en investigación aplicada (20%), investigación inter y pluridisciplinaria (16%), y con enfoques mixtos (14%). Estas singularidades indican la importancia de la difusión de la ciencia y la formación, además de la relevancia del trabajo en equipo.
La mitad de los centros CLACSO Venezuela dice regirse por el “reglamento o normativa interna” como instrumento de referencia utilizada para el proceso de evaluación, y un 23% por la “legislación” vigente. Sin embargo, un 39% informa no contar con normas, así como un 64% de los centros no cuenta con políticas de la DEI (Diversidad, Equidad e Inclusión). Solo un 36% afirma conocer la Declaración de Berlín, y un 61% indica no contar con una política de acceso abierto; sin embargo, un 89% considera que los Recursos Educativos Abiertos son instrumentos clave para el desarrollo de una ciencia más justa y participativa. Estas peculiaridades trazan un camino para profundizar el debate sobre la importancia del acceso abierto.
En la última parte de la encuesta, encontramos resultados interesantes, como la importancia dada al fomento de criterios para contribuir a generar una ciencia participativa y un conocimiento público y común. Un 89% enfatiza en la necesidad de incluir el reconocimiento y valoración de las personas que desarrollen investigaciones pertinentes, independientemente de su perfil académico, y un 93% considera que la evaluación por pares podría integrar a personas con experiencia reconocida en el tema de estudio, que no necesariamente posean títulos académicos. El 98% considera necesaria la implementación de mecanismos colaborativos y participativos para involucrar directamente a las comunidades y sujetos estudiados, y un 95% opina que las mismas deben evaluar la pertinencia que tiene la investigación para la comprensión y/o transformación de sus realidades.
En cuanto a los criterios de evaluación científica, un 98% considera que estos deberían ser construidos contextualmente, de manera participativa, con base en la realidad particular de cada caso. Esto implica la inclusión de las comunidades en la evaluación de la pertinencia. En cuanto a los tipos de indicadores a ser utilizados en estos procesos, la mayoría se inclina por considerar aquellos orientados al uso y
desarrollo de políticas públicas (70%), seguido de los indicadores cualitativos de impacto y de relevancia e interacción social de la ciencia (66%). En cuanto a mecanismos de publicación que pudieran contribuir al desarrollo de una evaluación académica justa y responsable, encabezan las publicaciones en repositorios en acceso abierto. Estas aspiraciones nos indican que la cuasi totalidad apunta al desarrollo de una ciencia participativa que incluya en la evaluación a sujetos diversos, independientemente de sus niveles de estudio, a la construcción de criterios contextuales e indicadores cualitativos, como aquellos enfocados al desarrollo de políticas públicas y de relevancia social, al fomento de las publicaciones en acceso abierto y en revistas arbitradas, mas no indexadas.
Esta investigación traza acciones, propuestas y/o recomendaciones en pro del desarrollo de una evaluación académica justa y responsable. Destacan los criterios de transparencia, transdisciplinariedad, enfoque de género, medición del impacto socio-académico y evaluación situada. Los hallazgos presentados sobre estas líneas son los que alimentan una propuesta de “Declaración en pro de una evaluación académica justa y responsable”, disponible aquí.
Los resultados de esta investigación han sido presentados en la conferencia CLACSO MÉXICO 2022, en CEISAL 2022 y en ABA 2022. Invitamos a escuchar en español los tres podcast y a visualizar las infografías con los resultados del proyecto.
About the project team
María Ángela Petrizzo Páez es coordinadora del proyecto “Políticas de evaluación académica aplicadas a la Red de Centros CLACSO de Venezuela”, profesora de la Universidad Nacional del Turismo Núcleo HELAV y está adscrita a la Dirección Nacional de Producción de Conocimiento (petrizzo@gmail.com)
Ximena González-Broquen es investigadora del proyecto, jefa del Centro de Estudio de Transformaciones Sociales del Instituto Venezolano de Investigaciones Científicas (xigonz@gmail.com)
Eisamar Ochoa es investigadora del proyecto, trabaja en el Centro de Estudio de Transformaciones Sociales del Instituto Venezolano de Investigaciones Científicas (eisamar.ochoa@gmail.com)
Annel Mejías Guiza es investigadora del proyecto, profesora del Departamento de Investigación, de la Facultad de Odontología de la Universidad de Los Andes (annelmejias@gmail.com )
Towards a fair and responsible academic evaluation in the Network of CLACSO Centers of Venezuela
In the context of the Latin American Council of Social Sciences (CLACSO), academic evaluation and democratization of science are of great concern. FOLEC-CLACSO, the Latin American Forum on Scientific Evaluation, is one example. CLACSO has 64 affiliate centers in Venezuela, which we consider crucial to promoting a discussion on the relevance of open, fair, and responsible science in our country.
The research project “Academic evaluation policies applied to the Network of CLACSO Centers in Venezuela”, carried out from March to September 2022, responded to this intention. The study objectives were to describe the distinctive features of academic evaluation processes within these centers. As a first step of the research, we conducted a survey that consisted of three sections: (a) description; (b) exploration of the mechanisms, processes, and regulations applied to evaluate researchers, hiring, permanence, and promotion criteria applied, using an intersectional approach; and (c) analysis of evaluation aspirations and proposals. Survey participants represented 68% of the population, consisting of 44 heads of centers. According to survey responses and interviews with 11 heads of centers, the statements were drafted with collective contributions in the second and third stages of the project.
In this study, CLACSO Venezuela Centers Network is characterized for the first time, as well as its potential to guide future reform of academic evaluation policies. It is important to highlight the diversity of the network, since most centers belong to universities, while two out of ten are governmental institutions and 25% are private. The majority of centers are over 11 years old, with centers over 20 years old standing out, while the youngest centers are the least common. There are 409 women, 311 men, and 3 researchers of “other” genders. Many of them are training students for research, mostly postgraduates. In light of these data, we may be able to encourage a debate on the importance of fair and responsible academic evaluation by focusing on the Network of centers with a research trajectory, with a significant number of students, researchers, and researchers dedicated to the social sciences.
Half of the participants have been belonging to CLACSO for between one and five years, while two or three out of 10 centers have been participating for between six to ten years, and to a lesser extent for more than ten years. Thus, the number of Venezuelan networks and centers joining CLACSO has increased by almost 80% in the last decade. Another noteworthy figure is that 7 out of 10 centers are in the capital region of the country and in 8 of the 24 states of the country, with no representation from the southern region, which indicates a marked centralization.
In the CLACSO Venezuela Network, 8 out of 10 centers report that they have both women and men in their research staff. The majority of women hold managerial positions, but more than 90% do not include gender considerations in the evaluation scales; however, in the third part of the survey, within the aspirations and proposals for a fair and responsible academic evaluation, the gender approach turns out to be an important criterion. This desire may become a potential for including the gender perspective in the debates.
The Network also has a significant number of journals. Five out of every ten centers consulted have one or more than two journals, of which seven out of ten use free licenses, and half of them are either indexed or are included in databases, directories, and/or bibliographic guides. This characteristic represents an important opportunity to strengthen open-access publications and, in addition, to initiate a dialogue to diversify their evaluation standards.
Being a network with a greater concentration of university centers, the predominant classification system for research personnel follows the academic career established in the national legislation. Education in Venezuela is public, according to the Bolivarian Constitution of Venezuela; therefore, we consider important the participation of the State in the debate on academic evaluation policies.
Regarding evaluation systems, it should be noted that about 25% do not apply scales to evaluate the production of those who do research and 88% do not use the publication of “indexed journals” as an evaluation device. Among those that do have scales, the most commonly used forms are: “peer review” (50%) followed by “professional level” (27%); then “experience” and “training of human talent” (25%). The evaluation mechanisms with the lowest level of popularity are “participation in non-scientific peer-reviewed journals”, “participation in non-indexed publications” and “scientometric” evaluations. Only eight centers provided precise information on the use of a reference index for the evaluation of publications, the most popular being the Latin American indexes that promote open access. As for the profile of the people who evaluate, more than 80% are active people with postgraduate degrees and 75% belong to the same center. These characteristics allow us to visualize concrete open science practices and a potential to articulate CLACSO Venezuela centers and collectively build fairer and more responsible
evaluation policies.
Regarding promotion processes, 34% do not recognize any academic product. Those who did respond stated that “participation in academic events” (43%) and “teaching activities” (41%) are the most recognized products, while “scientometric” and “invention patents” are of lesser importance. Regarding the type of authorship, the majority (50%) rated “individual” authorship as equally important as “collective” and “participatory/community” authorship. As for the most highly rated approaches in research projects, there was a higher frequency of applied research (20%), inter- and multidisciplinary research (16%), and mixed approaches (14%). These singularities indicate the importance of science dissemination and training, as well as the relevance of collective work in teams made up of professionals from different disciplines.
Half of the CLACSO Venezuela centers say that they are governed by the “internal regulations or norms” as a reference instrument used for the evaluation process, and 23% by the “legislation” in force. However, 39% report not having norms, and 64% of the centers do not have DEI (Diversity, Equity, and Inclusion) policies. Only 36% say they are aware of the Declaration of Berlin, and 61% indicate that they do not have an open access policy; however, 89% consider that Open Educational Resources are key instruments for the development of a fairer and more participatory science. These peculiarities trace a path to starting the debate on the importance of open access, integrating Venezuela into this global debate.
In the last part of the survey, we found interesting results, such as the importance given to the promotion of criteria to contribute to generating a participatory science and public and common knowledge, since 89% emphasize the need to include the recognition and valuation of people who develop relevant research, regardless of their academic profile. 98% consider necessary the implementation of collaborative and participatory mechanisms to directly involve the communities and subjects studied, as researchers and trainers. 95% believe that participatory and open mechanisms should be implemented so that the communities and subjects of study can evaluate the relevance of the research for the understanding and/or transformation of their realities. Finally, 93% consider that peer review could include people with recognized experience in the subject of study, who do not necessarily have academic degrees.
With regard to scientific evaluation criteria, 98% consider that these should be constructed contextually, in a participatory way, based on the particular reality of each case. This implies the inclusion of communities in the evaluation of the relevance, as well as people with recognized experience who do not necessarily have academic degrees. Regarding the types of indicators to be used in these processes, the majority is inclined to consider those oriented to the use and development of public policies (70%), followed by qualitative indicators of impact and relevance and social interaction of science (66%). As for publication mechanisms that could contribute to the development of a fair and responsible academic evaluation, publications in open access repositories lead the list. These aspirations indicate that almost all of them point to the development of a participatory science that includes diverse subjects in the evaluation, regardless of their levels of study, to the construction of contextual criteria and qualitative indicators, among which the importance of indicators focused on the development of public policies and social relevance, the promotion of publications in open access and in peer-reviewed journals, but not indexed, stands out.
This research also outlines actions, proposals, and/or recommendations for the development of a fair and responsible academic evaluation. We can observe that the proposed criteria are varied and include transparency, transdisciplinarity, gender approach, measurement of socio-academic impact, and situated evaluation. The findings presented above are the ones that feed a proposal of “Declaration for a fair and responsible academic evaluation”, available here.
The results of this research have been presented at the CLACSO MEXICO 2022 conference, at CEISAL 2022, and at ABA 2022. We invite you to listen to the three podcasts in Spanish and to view the infographics with the results of the project.
About the project team
María Ángela Petrizzo Páez is the coordinator of the project “Academic evaluation policies applied to the Network of CLACSO Centers in Venezuela”, a professor at the Universidad Nacional del Turismo Núcleo HELAV, and is attached to the National Directorate of Knowledge Production (petrizzo@gmail.com).
Ximena González-Broquen is a researcher of the project, and head of the Center for the Study of Social Transformations of the Venezuelan Institute for Scientific Research (xigonz@gmail.com).
Eisamar Ochoa is a project researcher, who works at the Center for the Study of Social Transformations of the Venezuelan Institute for Scientific Research (eisamar.ochoa@gmail.com).
Annel Mejías Guiza is a researcher of the project, and a professor at the Research Department, Faculty of Dentistry, Universidad de Los Andes ( annelmejias@gmail.com ).