Muchos sistemas de evaluación adoptan un enfoque limitado de excelencia, al juzgar el valor de un trabajo por la revista en que se publica. Una investigación reciente de Diego Chavarro, Ismael Ràfols y otros colegas muestra cómo tales sistemas subestiman y son perjudiciales en la producción de importantes temas sociales, económicos y ambientales. Estos sistemas también reflejan los sesgos de las bases de datos de citación, que se enfocan principalmente en investigaciones escritas en inglés publicadas en revistas de los Estados Unidos y el occidente y el norte de Europa. Además, los temas cubiertos por estas bases de datos responden con mucha frecuencia más a los intereses de sectores industriales que a los de las comunidades locales. Se requiere entonces una evaluación de la investigación más amplia e incluyente para superar la marginalización continua de pueblos, idiomas y disciplinas y para promover la inclusión y no el elitismo.

• Also available in English
• Também disponível em português

Muchos sistemas de evaluación de investigación se construyen alrededor de nociones vagas de excelencia. La investigación de excelencia se presenta como aquella que traspasa las fronteras de la ciencia. Algunos gobiernos incentivan a los investigadores que demuestran que sus publicaciones son “excelentes”. El objetivo último de este sistema de reconocimientos consiste en apoyar a los mejores investigadores y las mejores investigaciones y desestimular la investigación de “mala calidad”.

Una práctica común en muchos sistemas de evaluación consiste en juzgar el valor de un trabajo por la revista en que se publica. Estas evaluaciones asumen que la investigación publicada en revistas “prestigiosas” (top) es excelente y por lo tanto, deben ser reconocidas. La Declaración DORA y el Manifiesto de Leiden han advertido en contra de esta práctica; sin embargo, los sistemas de evaluación basados en las revistas son usados en muchos países como España, Brasil, Colombia, Suráfrica y en clasificaciones globales influyentes como las de la Universidad Jiao tong de Shangai y las clasificaciones del ranking THE. No obstante, nuestra investigación reciente resalta los problemas que ocasiona basarse en clasificaciones de revistas para la evaluación de la investigación y cuestiona seriamente esta práctica.

Uno de nuestros estudios muestra que la evaluación de la investigación basada en revistas subestima el valor de investigaciones relevantes para América Latina en temas medioambientales, sociales y económicos. Por ejemplo, la horticultura del maracuyá, las enfermedades de la palma de aceite, patógenos específicos que atacan al clavel rojo, estudios botánicos de la biodiversidad e historia de los negocios de América Latina son temas publicados principalmente en revistas con bajos rankings. Al ser publicados en este tipo de revistas, estos temas no se ajustan a la idea de investigación de excelencia (entendida como investigación publicada en las revistas top). Por lo tanto, reciben poco reconocimiento en evaluaciones de la investigación y pocos incentivos, pues estos últimos están atados a la noción de excelencia.

Otro de nuestros estudios muestra que la inclusión de revistas en las bases de datos más prestigiosas, como Web of Science (WoS), no está basado en criterios objetivos. Específicamente, el estudio muestra que el país, idioma y disciplina de una revista influencia su probabilidad de ser incluida por estas bases, más allá de su calidad editorial o impacto científico.

WoS tiene sesgos geográficos, lingüísticos y disciplinares que están reflejados en general en el cubrimiento desigual de revistas. Por ejemplo, las revistas colombianas tienen menos probabilidad de ser incluidas por WoS en comparación con revistas españolas que tienen características editoriales y de impacto científico similares. Esto abre preguntas sobre si es apropiado usar WoS para evaluar la calidad de las revistas en todas las regiones, disciplinas e idiomas.

La inclusión o exclusión de revistas influye en el cubrimiento de tópicos, como ilustramos en un estudio de caso que explora el cubrimiento de investigación en arroz en distintas bases de datos.

Este estudio comparó el cubrimiento de publicaciones en las bases de datos WoS, Scopus y CAB abstracts (CABI). El estudio muestra que CABI tienen un cubrimiento mucho mayor en arroz (77%) que Scopus (60%) o WoS (43%). En términos de temas, WoS y Scopus se enfocan en biología molecular, genética tradicional y temas relacionados con consumo industrial, mientras que CABI se enfoca más en productividad, nutrición, caracterización y protección de plantas. Los enfoques de WoS y Scopus parecen estar más relacionados con los intereses de investigación de compañías productoras de semillas y con la industria de la comida, mientras que los de CABI están más relacionados con los intereses potenciales de agricultores locales. En este caso, la investigación publicada en revistas cubiertas por WoS y Scopus cubre mejor los intereses de la industria que los de los pequeños productores desaventajados económicamente.

Los anteriores estudios muestran las consecuencia de aplicar una comprensión estrecha de la noción de excelencia para evaluar la investigación sin tener en cuenta el contexto en que es producida (por ejemplo país, disciplina e idioma). En muchos países, los sistemas de evaluación están basados en instrumentos de política uniformes, es decir, se aplican a todas las disciplinas y temas e imponen criterios únicos de evaluación. Como resultado de esta uniformidad, las evaluaciones no logran valorar apropiadamente investigación que es relevante social, medioambiental y económicamente pero que no es altamente citada, o no está publicada en inglés, o en las más prestigiosas revistas. Las evaluaciones de este tipo obvian dimensiones de la investigación que son necesarias para enfrentar los retos del desarrollo sostenible, como la erradicación de la pobreza, la mitigación de los efectos del cambio climático, el logro de la paz y la aplicación de la justicia.

Aunque la evidencia presentada en este texto está enfocada en evaluaciones basadas en revistas, las reflexiones pueden ser aplicadas a otros tipos de evaluación. Por ejemplo, hay un interés creciente en indicadores derivados de las redes sociales (tweets, Mendeley readers, etc) como alternativas a los conteos de citas bibliográficas. Si bien estos son esfuerzos bien intencionados por producir indicadores alternativos, no están derivados de una comprensión alternativa de la producción y comunicación de conocimiento académico. Al final, estos indicadores están basados en el mismo concepto de excelencia vista como “conteos” para medir la reputación o popularidad (más es mejor), lo que los hace proclives a los mismos problemas de los rankings basados en citaciones: jerarquías, concentración del reconocimiento, marginalización.

Una genuina compresión alternativa de la producción de conocimiento académico como un esfuerzo para el beneficio de la gente y el medio ambiente debería motivar formas distintas de realizar evaluación de la investigación. Las evaluaciones alternativas de la investigación deberían ser sensibles al contexto y tener en cuenta la diversidad en la producción científica (relacionada con la geografía, el idioma, la disciplina y otros). Esto ayudaría a sobrepasar las deficiencias de la práctica de la evaluación tradicional.

Por las razones expuestas aquí, consideramos que se necesitan evaluaciones de la investigación más inclusivas para superar la continua marginalización de algunos pueblos, idiomas y disciplinas. Algunos ejercicios, tales como el “nuevo estándar de protocolo de evaluación” holandés para las ciencias sociales y el “modelo noruego” de evaluación de la investigación que incluye revistas regionales, se están moviendo en esta dirección (tratando de valorar la diversidad disciplinar, lingüística y geográfica). Sin embargo, se requiere una reforma creativa y radical liderada por los consejos de investigación y las universidades en países que aún continúan aplicando modelos cuantitativos tradicionales.

Enfrentar los desafíos del desarrollo sostenible requiere que transformemos el concepto de excelencia. Hay que pasar de una visión elitista, distanciada de la sociedad, a una visión más orientada por la comunidad e inclusiva que promueva la participación con compromiso social. Tal comprensión podría producir evaluaciones de la investigación que promuevan conocimiento socialmente robusto y sensible a diversos tipos de conocimiento que están siendo actualmente subestimados.

Notas:
• Las opiniones expresadas aquí son de los autores y no reflejan la posición del Centro o de la LSE
• Las opiniones expresadas en esta publicación de blog no son necesariamente las de Colciencias
• Esta publicación se basa en el artículo de los autores “Why researchers publish in non-mainstream journals: Training, knowledge bridging, and gap filling” (Research Policy, 2017) y las preimpresiones “To What Extent is Inclusion in the Web of Science an Indicator of Journal ‘Quality’?” y “Under-reporting research relevant to local needs in the global south. Database biases in the representation of knowledge on rice”
• Lea nuestra Política de Comentarios (EN) antes de comentar