Muitos sistemas de avaliação adotam uma abordagem limitada de excelência, ao julgar o valor de um trabalho pelo periódico em que é publicado. Pesquisas recentes de Diego Chavarro, Ismael Ràfols e outros colegas, mostram como esses sistemas subestimam e prejudicam a produção de importantes questões sociais, econômicas e ambientais. Esses sistemas também refletem os preconceitos das bases de dados de citações, que se concentram principalmente na pesquisa escrita em inglês, publicada em revistas nos Estados Unidos e no oeste e norte da Europa. Além disso, os tópicos abrangidos por esses bancos de dados muitas vezes respondem mais aos interesses dos setores industriais do que aos das comunidades locais. É necessária uma avaliação mais abrangente e inclusiva da pesquisa para superar a marginalização contínua dos povos, línguas e disciplinas e promover a inclusão, e não o elitismo.

• Also available in English
• Disponible también en español

Muitos sistemas de avaliação de pesquisa são construídos em torno de noções vagas de excelência. A pesquisa de excelência é apresentada como aquela que ultrapassa as fronteiras da ciência. Alguns governos encorajam os pesquisadores a mostrar que suas publicações são ” de excelência”. O objetivo final deste sistema de reconhecimento é apoiar os melhores pesquisadores e a melhor pesquisa e desencorajar a pesquisa de “má qualidade”.

Uma prática comum em muitos sistemas de avaliação é avaliar o valor de um trabalho pelo periódico em que é publicado. Essas avaliações assumem que a pesquisa publicada em periódicos “de prestígio” (top journals) é de excelência e, portanto, deve ser reconhecida. A Declaração DORA e o Manifesto de Leiden advertiram contra esta prática. No entanto, sistemas de avaliação baseados em periódicos são usados em muitos países como Espanha, Brasil, Colômbia, África do Sul e em rankings internacionais influentes, como o da Universidade Jiao Tong, em Xangai, e THE World University Ranking. No entanto, nossa pesquisa recente destaca quais os problemas que surgem a partir da classificação de periódicos para a avaliação da pesquisa e questiona seriamente essa prática.

Um dos nossos estudos revela que a avaliação da pesquisa baseada em periódicos subestima o valor da pesquisa que é relevante para a América Latina em questões ambientais, sociais e econômicas. Por exemplo, horticultura de maracujá, doenças de óleo de palma, patógenos específicos que atacam o cravo vermelho, estudos botânicos de biodiversidade e história comercial na América Latina são tópicos publicados principalmente em revistas com baixos posicionamentos nos rankings internacionais. Quando publicados neste tipo de revista, tais questões não se encaixam na ideia de pesquisa de excelência (entendida como pesquisa publicada em periódicos de prestígio). Portanto, elas recebem pouco reconhecimento nas avaliações de pesquisa e poucos recursos, uma vez que estes estão ligados à noção de excelência.

Outro dos nossos estudos mostra que a inclusão de periódicos nas mais prestigiadas bases de dados, como a Web of Science (WoS), não se baseia em critérios objetivos. Especificamente, o estudo mostra que o país, a língua e a disciplina de um periódico influenciam sua probabilidade de ser incluído nessas bases, independentemente de sua qualidade editorial ou impacto científico.

O WoS tem vícios geográficos, linguísticos e disciplinares que geralmente se refletem na cobertura desigual de periódicos. Por exemplo, as revistas colombianas são menos propensas a serem incluídas pela WoS em comparação com revistas espanholas que possuem características semelhantes de editorial e de impacto. Isso levanta questões sobre se é apropriado usar o WoS para avaliar a qualidade das revistas em todas as regiões, disciplinas e idiomas.

A inclusão ou exclusão de periódicos influencia a cobertura de tópicos, como ilustramos em um estudo de caso que explora a cobertura da pesquisa de arroz em diferentes bancos de dados.

Este estudo comparou a cobertura de publicações nos resumos de banco de dados WoS, Scopus e CAB (CABI). O estudo mostra que CABI tem uma cobertura muito maior em arroz (77%) do que Scopus (60%) ou WoS (43%). Em termos de tópicos, WoS e Scopus se concentram em biologia molecular, genética tradicional e questões relacionadas ao consumo industrial, enquanto o CABI se concentra mais na produtividade, nutrição, caracterização e proteção de plantas. As abordagens de WoS e Scopus parecem estar mais relacionadas aos interesses de pesquisa das empresas de sementes e da indústria de alimentos, enquanto as do CABI estão mais relacionadas aos potenciais interesses dos agricultores locais. Neste caso, a pesquisa publicada em periódicos cobertos pela WoS e a Scopus melhor cobre os interesses da indústria do que as dos pequenos produtores economicamente desfavorecidos.

Os estudos anteriores mostram as consequências de se aplicar uma compreensão estreita da noção de excelência para avaliar pesquisas sem levar em consideração o contexto em que é produzido (por exemplo, país, disciplina e linguagem). Em muitos países, os sistemas de avaliação baseiam-se em instrumentos políticos uniformes, ou seja, aplicam-se a todas as disciplinas e temas e impõem critérios de avaliação exclusivos. Como resultado desta uniformidade, as avaliações não conseguem avaliar adequadamente pesquisas que sejam social, ambiental e economicamente relevantes, mas que não sejam altamente citadas, nem publicadas em inglês, nem em periódicos de prestígio. As avaliações deste tipo evitam as dimensões da pesquisa que são necessárias para enfrentar os desafios do desenvolvimento sustentável, como a erradicação da pobreza, a mitigação dos efeitos das mudanças climáticas, a conquista da paz e a aplicação da justiça.

Embora a evidência apresentada neste texto seja focada em avaliações baseadas em periódicos, as reflexões podem ser estendidas a outros tipos de avaliação. Por exemplo, há um interesse crescente em indicadores derivados das redes sociais (tweets, leitores de Mendeley, etc.) como alternativas à contagem de citações bibliográficas. Embora estes esforços sejam bem intencionados para produzir indicadores alternativos, eles não são derivados de uma compreensão alternativa da produção e comunicação do conhecimento acadêmico. No fim, esses indicadores são baseados no mesmo conceito de excelência visto como “contagem” para medir reputação ou popularidade (“quanto mais, melhor”), o que os torna propensos aos mesmos problemas de rankings baseados em citações: hierarquias, concentração de reconhecimento, marginalização.

Uma verdadeira compreensão alternativa da produção de conhecimento acadêmico como um esforço para beneficiar pessoas e o meio ambiente deve motivar diferentes formas de se realizar a avaliação da pesquisa. Avaliações alternativas de pesquisa devem ser sensíveis ao contexto e levar em consideração a diversidade na produção científica (relacionada à geografia, língua, disciplina e outros). Isso ajudaria a superar as deficiências da prática de avaliação tradicional.

Pelas razões expostas aqui, consideramos que são necessárias avaliações de pesquisa mais inclusivas para superar a marginalização contínua de alguns povos, idiomas e disciplinas. Alguns exercícios, como o “novo padrão de protocolo de avaliação holandês” para as ciências sociais e o “modelo norueguês” de avaliação de pesquisa que inclui periódicos regionais, estão se movendo nessa direção (tentando avaliar a diversidade disciplinar, linguística e geográfica). No entanto, é necessária uma reforma criativa e radical, liderada por conselhos de pesquisa e universidades em países que ainda aplicam modelos quantitativos tradicionais.

Enfrentar os desafios do desenvolvimento sustentável exige que transformemos o conceito de excelência. Devemos passar de uma visão elitista, distanciada da sociedade, para uma visão mais orientada para a comunidade e inclusiva que promova a participação com o compromisso social. Essa compreensão poderia produzir avaliações de pesquisa que promovam conhecimentos socialmente robustos e sensíveis a vários tipos de conhecimento que atualmente estão sendo subestimados.

Notas:
• As opiniões aqui expressas são as dos autores e não refletem a posição do Centro ou da LSE
• As opiniões expressas nesta publicação no blog não são necessariamente as de Colciencias
• Esta publicação baseia-se no artigo dos autores “Why researchers publish in non-mainstream journals: Training, knowledge bridging, and gap filling” (Research Policy, 2017) e as pré-impressões “To What Extent is Inclusion in the Web of Science an Indicator of Journal ‘Quality’?” e “Under-reporting research relevant to local needs in the global south. Database biases in the representation of knowledge on rice”
• Tradução de Dr Patricia Prado (Department of Politics and York Management School, University of York)
• Leia a nossa Política de comentários (EN) antes de comentar