Discussão: Critérios de Avaliação do Meio Acadêmico

Após praticamente um mês sem publicar novas discussões aqui no blog, resolvi hoje dar continuidade a essa série de discussões de temas ligados ao meio acadêmico. Na postagem de hoje estarei abordando mais um tema polêmico que dividi opiniões: Critérios de Avaliação do Meio Acadêmico.

Convido aos leitores a comentarem a vontade e inclusive aproveitarem o novo espaço "Social Network" para postarem além de suas opiniões, materiais que por ventura julguem complementar ao tema tratado na discussão.

Universidade Federal de Viçosa
Departamento de Informática
Mestrado em Ciência da Computação
INF 600 - Técnicas de Pesquisa em Ciência da Computação
Resumo nº. 05
Os artigos estudados referem-se ao meio acadêmico e diversas situações oriundas do mesmo, mais especificamente a respeito de critérios de avaliação.

Tópicos como avaliação em Journals e Conferências, qualidade dos avaliadores, práticas de avaliação, critérios de mérito acadêmico e fator de impacto foram abordados e de uma maneira geral os autores foram bem críticos em relação a todos esses pontos, enunciando diversas falhas, atitudes antiéticas e outras situações que questionam de maneira pesada o modelo acadêmico vigente.

Segundo o autor do artigo [1], devido ao fato dos avaliadores de Journals e Conferências realizarem suas atividades de forma voluntária, todo processo acaba acontecendo de uma forma muito amadora, sem motivação e com critérios questionáveis. É comum que trabalhos sejam rejeitados em um local e sejam aceitos em outros sem que os autores façam qualquer alteração nos mesmos, demonstrando assim não haver um padrão de correção. Pior que isso foi a comprovação feita pelos autores de que os avaliadores as vezes não lêem os artigos que estão avaliando, e isso ficou provado quando foi realizada uma experiência selecionando alguns artigos já publicados, alterando apenas o título e os autores e submetendo-os para avaliação. Alguns desses trabalhos foram aceitos para publicação e nos que foram rejeitados, em nenhuma das avaliações foi constatado a ocorrência de plágio, ou seja, ou avaliadores leram os trabalhos de forma muito superficial e pouco pesquisaram a respeito para avaliar, ou talvez nem devam ter se dado ao trabalho de ler.

Em outra experiência realizada em [1], o autor submeteu para avaliação da Conferência Visualization and Intelligent Design in Engineering and Architecture-VIDEA’95, textos que não faziam o mínimo sentido, como por exemplo, a chamada de trabalhos da Conferência entre outros. O resultado final dessa experiência foi o aceite de todos os textos submetidos pelo autor. De forma indutiva ele chegou a conclusão de que na verdade não havia avaliação de trabalhos nessa conferência, mas sim um negócio de fachada onde qualquer texto que fosse submetido e pagasse a taxa de $600 seria publicado. O detalhe é que os trabalhos dessa conferência foram publicados pela Editora Elsevier, responsável por publicar livros de alta qualidade.

Algo que foi muito criticado pela maioria dos artigos estudados foi a avaliação de produtividade de pesquisadores ser feita pela quantidade de trabalhos publicados e não pela qualidade. Esse procedimento é prejudicial a qualidade dos trabalhos publicados, pois muitos pesquisadores acabam jogando com a regra, publicando trabalhos mal revisados, em andamento ou com resultados superficiais. Técnicas como auto-plágio acabam também sendo incentivadas para gerar um número maior de publicações e dessa forma obterem mais acesso a financiamentos e maior prestígio. Trabalhos realmente desafiadores e que trazem grandes avanços para a ciência acabam sendo deixados de lado por demandarem mais tempo e esforço para serem realizados e conseqüentemente demoram mais para gerar resultados numéricos (número de publicações!)... Isso tudo é muito prejudicial para o progresso científico.

Outra forma de se avaliar é com a utilização do fator de impacto. Essa avaliação é feita a partir da divisão do número de citações obtidas nos dois anos anteriores, pelo número de artigo publicados no mesmo período. Inicialmente esse critério parece um pouco mais justo que a simples contagem do número de publicações, pois se um trabalho é muito citado, provavelmente é porque o mesmo é de qualidade, certo? Nem sempre. Esse critério de avaliação também é falho em alguns aspectos. Autores podem acabar negociando troca de citações entre si para ambos serem beneficiados gerando números artificiais. Da mesma forma, autores que trabalham com temas novos ou pouco pesquisados, naturalmente serão pouco citados, sendo assim esses fatores de impacto serão baixos, mas nem por isso significa que os trabalhos realizados pelos mesmos foram de baixa qualidade.

Após a leitura dos artigos, ficou claro que o modelo acadêmico atual, embora seja responsável pela formação de pessoas brilhantes e com méritos reais para alcançarem status em suas carreiras, também oferece muitas brechas para que pessoas antiéticas e de qualidades questionáveis consigam alcançar postos altos, status e pior que isso, acabar tomando espaço de outros que talvez merecessem mais. Contatos influentes ajudam muito nesse sentido também. Claro que isso não é algo generalizado, porém de fato acontece e sou cético com relação a mudanças leves. Para solucionar esses problemas citados no resumo e alguns outros relatados nos artigos lidos, uma mudança geral do sistema se faz necessária, porém isso não é algo trivial e que acredito demorará ocorrer, se é que ocorrerá.

Referências

[1] Warren D. Smith. (2010). Journals, Conferences, and Referees, or why "modern" "professional" Science is organized in a completely screwed up Victorian amateur way. Disponível em: http://www.math.temple.edu/~wds/homepage/refereeing. Acessado em 7 nov. 2010.

[2] Ramesh V., Glass R.L., Vessey I. Research in computer science: An empirical study(2004) Journal of Systems and Software, 70 (1-2), pp. 165-176.

[3] AMIN, M.; MABE, M. Impact factors: use and abuse. Perspectives inpublising, Amsterdam, n. 1, p. 1-6, Oct. 2000

[4] Rossner, Mike; Van Epps, Heather; Hill, Emma. 2007. Show me the data. Journal of Cell Biology, Vol 179,No 6, December 17, pp. 1091-1092. http://dx.doi.org/10.1083/jcb.200711140 

[5] David Lorge Parnas. 2007. Stop the numbers game. Commun. ACM 50, 11 (November 2007), 19-21. DOI=10.1145/1297797.1297815 http://doi.acm.org/10.1145/1297797.1297815

[6] Bertrand Meyer, Christine Choppy, Jørgen Staunstrup, and Jan van Leeuwen. 2009. Viewpoint: Research evaluation for computer science. Commun. ACM 52, 4 (April 2009), 31-34. DOI=10.1145/1498765.1498780 http://doi.acm.org/10.1145/1498765.1498780