quinta-feira, 20 de janeiro de 2011

Discussão: Critérios de Avaliação do Meio Acadêmico

Após praticamente um mês sem publicar novas discussões aqui no blog, resolvi hoje dar continuidade a essa série de discussões de temas ligados ao meio acadêmico. Na postagem de hoje estarei abordando mais um tema polêmico que dividi opiniões: Critérios de Avaliação do Meio Acadêmico.

Convido aos leitores a comentarem a vontade e inclusive aproveitarem o novo espaço "Social Network" para postarem além de suas opiniões, materiais que por ventura julguem complementar ao tema tratado na discussão.

Universidade Federal de Viçosa
Departamento de Informática
Mestrado em Ciência da Computação
INF 600 - Técnicas de Pesquisa em Ciência da Computação
Resumo nº. 05

Os artigos estudados referem-se ao meio acadêmico e diversas situações oriundas do mesmo, mais especificamente a respeito de critérios de avaliação.

Tópicos como avaliação em Journals e Conferências, qualidade dos avaliadores, práticas de avaliação, critérios de mérito acadêmico e fator de impacto foram abordados e de uma maneira geral os autores foram bem críticos em relação a todos esses pontos, enunciando diversas falhas, atitudes antiéticas e outras situações que questionam de maneira pesada o modelo acadêmico vigente.

Segundo o autor do artigo [1], devido ao fato dos avaliadores de Journals e Conferências realizarem suas atividades de forma voluntária, todo processo acaba acontecendo de uma forma muito amadora, sem motivação e com critérios questionáveis. É comum que trabalhos sejam rejeitados em um local e sejam aceitos em outros sem que os autores façam qualquer alteração nos mesmos, demonstrando assim não haver um padrão de correção. Pior que isso foi a comprovação feita pelos autores de que os avaliadores as vezes não lêem os artigos que estão avaliando, e isso ficou provado quando foi realizada uma experiência selecionando alguns artigos já publicados, alterando apenas o título e os autores e submetendo-os para avaliação. Alguns desses trabalhos foram aceitos para publicação e nos que foram rejeitados, em nenhuma das avaliações foi constatado a ocorrência de plágio, ou seja, ou avaliadores leram os trabalhos de forma muito superficial e pouco pesquisaram a respeito para avaliar, ou talvez nem devam ter se dado ao trabalho de ler.

Em outra experiência realizada em [1], o autor submeteu para avaliação da Conferência Visualization and Intelligent Design in Engineering and Architecture-VIDEA’95, textos que não faziam o mínimo sentido, como por exemplo, a chamada de trabalhos da Conferência entre outros. O resultado final dessa experiência foi o aceite de todos os textos submetidos pelo autor. De forma indutiva ele chegou a conclusão de que na verdade não havia avaliação de trabalhos nessa conferência, mas sim um negócio de fachada onde qualquer texto que fosse submetido e pagasse a taxa de $600 seria publicado. O detalhe é que os trabalhos dessa conferência foram publicados pela Editora Elsevier, responsável por publicar livros de alta qualidade.

Algo que foi muito criticado pela maioria dos artigos estudados foi a avaliação de produtividade de pesquisadores ser feita pela quantidade de trabalhos publicados e não pela qualidade. Esse procedimento é prejudicial a qualidade dos trabalhos publicados, pois muitos pesquisadores acabam jogando com a regra, publicando trabalhos mal revisados, em andamento ou com resultados superficiais. Técnicas como auto-plágio acabam também sendo incentivadas para gerar um número maior de publicações e dessa forma obterem mais acesso a financiamentos e maior prestígio. Trabalhos realmente desafiadores e que trazem grandes avanços para a ciência acabam sendo deixados de lado por demandarem mais tempo e esforço para serem realizados e conseqüentemente demoram mais para gerar resultados numéricos (número de publicações!)... Isso tudo é muito prejudicial para o progresso científico.

Outra forma de se avaliar é com a utilização do fator de impacto. Essa avaliação é feita a partir da divisão do número de citações obtidas nos dois anos anteriores, pelo número de artigo publicados no mesmo período. Inicialmente esse critério parece um pouco mais justo que a simples contagem do número de publicações, pois se um trabalho é muito citado, provavelmente é porque o mesmo é de qualidade, certo? Nem sempre. Esse critério de avaliação também é falho em alguns aspectos. Autores podem acabar negociando troca de citações entre si para ambos serem beneficiados gerando números artificiais. Da mesma forma, autores que trabalham com temas novos ou pouco pesquisados, naturalmente serão pouco citados, sendo assim esses fatores de impacto serão baixos, mas nem por isso significa que os trabalhos realizados pelos mesmos foram de baixa qualidade.

Após a leitura dos artigos, ficou claro que o modelo acadêmico atual, embora seja responsável pela formação de pessoas brilhantes e com méritos reais para alcançarem status em suas carreiras, também oferece muitas brechas para que pessoas antiéticas e de qualidades questionáveis consigam alcançar postos altos, status e pior que isso, acabar tomando espaço de outros que talvez merecessem mais. Contatos influentes ajudam muito nesse sentido também. Claro que isso não é algo generalizado, porém de fato acontece e sou cético com relação a mudanças leves. Para solucionar esses problemas citados no resumo e alguns outros relatados nos artigos lidos, uma mudança geral do sistema se faz necessária, porém isso não é algo trivial e que acredito demorará ocorrer, se é que ocorrerá.

Referências

[1] Warren D. Smith. (2010). Journals, Conferences, and Referees, or why "modern" "professional" Science is organized in a completely screwed up Victorian amateur way. Disponível em: http://www.math.temple.edu/~wds/homepage/refereeing. Acessado em 7 nov. 2010.

[2] Ramesh V., Glass R.L., Vessey I. Research in computer science: An empirical study(2004) Journal of Systems and Software, 70 (1-2), pp. 165-176.

[3] AMIN, M.; MABE, M. Impact factors: use and abuse. Perspectives inpublising, Amsterdam, n. 1, p. 1-6, Oct. 2000

[4] Rossner, Mike; Van Epps, Heather; Hill, Emma. 2007. Show me the data. Journal of Cell Biology, Vol 179,No 6, December 17, pp. 1091-1092. http://dx.doi.org/10.1083/jcb.200711140 

[5] David Lorge Parnas. 2007. Stop the numbers game. Commun. ACM 50, 11 (November 2007), 19-21. DOI=10.1145/1297797.1297815 http://doi.acm.org/10.1145/1297797.1297815

[6] Bertrand Meyer, Christine Choppy, Jørgen Staunstrup, and Jan van Leeuwen. 2009. Viewpoint: Research evaluation for computer science. Commun. ACM 52, 4 (April 2009), 31-34. DOI=10.1145/1498765.1498780 http://doi.acm.org/10.1145/1498765.1498780

sexta-feira, 14 de janeiro de 2011

Solidariedade à Nova Friburgo e toda Região Serrana RJ

Fala pessoal, após alguns dias sem postar estou hoje fazendo a primeira postagem do ano. Infelizmente ela não será sobre algum tema agradável e muito menos sobre tecnologia. 

Como todos devem estar sabendo e acompanhando pelos noticiários, a situação da região serrana do Rio de Janeiro está caótica por conta das inundações. A uns anos passamos por problemas em proporções muito (muitooooo!!!) menores em Muriaé-MG e não foi algo agradável pra ninguém, imagino o que deve estar passando os moradores dessa região com esse problema gigantesco.

Hoje entrei em contato com o amigo Fábio Berbert, fundador e mantenedor do portal Viva o Linux! para saber se estava tudo bem e ele me disse que na medida do possível ele e sua família estão bem. Hoje ele publicou no VOL um texto detalhando a situação de Nova Friburgo, cidade onde ele reside. Fiquei chocado com a situação e resolvi por meio do blog republicar o texto na íntegra com intuito de levar detalhes da situação aos leitores e dessa forma mobilizar mais ajudas aos moradores das regiões afetadas por essa catástrofe: 

"Prezados membros,

Parece que eu estava prevendo algo de ruim, tanto é que passei quase todo o mês ausente do site por conta de estafa mental, eu realmente não consegui botar o dedo no teclado neste final de ano. Por conta disso me dei ao direito de me ausentar do projeto por cerca de 20 dias, foram minhas merecidas férias após 8 anos de trabalho contínuo no VOL.

Na última terça (11/01) minhas baterias deram sinal de recarga e resolvi voltar ao trabalho, mal sabia eu que essa volta seria provisória. Estou redigindo este texto sem saber se ao final ainda terei luz e/ou internet para publicá-lo. A cidade está O CAOS!

Entre a noite de terça e madrugada de quarta um dilúvio sem precedentes e incessável atingiu toda a Região Serrada do Estado do Rio de Janeiro. Em poucos minutos o rio que corta toda a Nova Friburgo transbordou e se expandiu pelas avenidas e ruas transversais da cidade. Por ser uma região montanhosa, as águas das encostas rapidamente desceram como "pororocas" morro abaixo, literalmente carregando tudo o que havia em seu caminho.

Moro no segundo andar de um prédio no centro da cidade, em menos de uma hora minha rua virou um rio, e com correnteza forte. No primeiro andar do prédio ficam o estacionamento e o (ex)apartamento de minha sogra, que foi tomado por aproximadamente 1,60m de água e lama. No estacionamento do prédio eu tinha 2 veículos, um Xsara Picaso 2003 que estava a venda e um Fiat Ideia 2007 que ainda nem comecei a pagar, ambos estão com lama até o teto (sim, a água cobriu ambos).

Duas horas de chuva foram o suficiente para estabelecer o caos na cidade, neste ponto as emissoras de TV e as rádios FM já estavam fora do ar, a luz também fora cortada. O único meio de informação era uma rádio local, a Friburgo AM, que funcionava a base de gerador e ouvíamos através de um radinho à pinhas. O apresentador recebia ligações de todos os cantos da cidade com as vítimas narrando suas desgraças ao vivo, era gente morrendo pra tudo quanto é canto.

Passei pelas piores sensações de minha vida durante a enchente. Da minha janela só dava pra ver o rio destruindo tudo o que havia pela frente. Era armário, capacete, colchonete, lixo e tudo o que havia de direito flutuando correnteza abaixo. O ápice foi quando passou o corpo de uma mulher, aparentemente morta, flutuando e sendo levada como se fosse um galho de árvore. Me senti a mais impotente das criaturas, e realmente era.

Por volta das 4h da manhã de quarta, ainda com muita chuva surrando nosso solo, relâmpagos interrompendo a escuridão total como vista de minha janela e trovoadas mais altas que as reproduzidas em volume máximo de meu home theater, eis que tudo começa a tremer, aqui pensei que minha hora havia chegado. No dia seguinte descobri que a 100 metros daqui uma barreira desabou, destruiu um clube, parte de uma escola e a casa de um vizinho. Infelizmente o vizinho estava em casa, foi soterrado, seu cachorro saiu com vida.

No dia seguinte (hoje), sem luz, telefone e água, fomos às ruas e começamos a trocar algum tipo de comunicação, tudo à moda antiga, no esquema boca-a-boca mesmo. Na verdade ainda estamos assim, no momento ainda não temos telefone, aproximadamente 40% da cidade tem luz e nem sei como é que o provedor está funcionando, pois ele também foi destruído pela água.

Só estando aqui pra ter noção do estrago que foi causado na cidade, ela literalmente ACABOU.

Meu tio conseguiu sair de sua casa segundos (SIM, SEGUNDOS) antes duma barreira destruí-la, felizmente sua mulher e filha também saíram ilesas, mas estão somente com a roupa do corpo. A maioria de seus vizinhos perderam a vida, incluindo as 3 melhores amiguinhas de minha prima.

Aqui mesmo no centro (onde moro) 2 ou 3 prédios desmoronaram, ainda não se sabe quantas foram as vítimas. Teve uma rua que foi completamente soterrada, incluindo todas as casas, previsão de mais de 100 mortos no local. A rua do meu padrinho também sumiu do mapa, felizmente ele está curtindo o aniversário de 15 anos da minha outra prima na Disney.

MUITA GENTE MORREU e ainda não foi retirada dos escombros. O número atual de 210 mortos somente na cidade de Nova Friburgo ainda é bastante impreciso, infelizmente. Na região já passam de 500. Há rumores de que existam 90 corpos de crianças e mais 6 adultos (os professores) numa colônia de férias que estava ocorrendo num bairro mais afastado da cidade. Se isto realmente for verdade, será uma das piores notícias da história do país.

O ex-prefeito da cidade também foi soterrado em seu sítio e junto dele estavam o filho e neto.

Tentei visitar um amigo meu e a única via que dá acesso à sua rua está interditada por queda de barreira, nem a pé dá pra passar. Estou MUITO preocupado com ele, que tem esposa e filha de 9 anos. Não sei a que ponto andam seus suprimentos, na verdade nem sei como estão suas condições de vida.

Existem dezenas de pontos sem acesso na cidade, as pessoas estão ilhadas, sem comida e água.

Helicópteros da Marinha não param de sobrevoar os céus, espero que estejam conseguindo socorrer a maioria, mas repito, é MUITA gente precisando de ajuda.

Dos 3 hospitais da cidade, 2 foram destruídos pela enchente. Me parece que as forças armadas já montaram 2 hospitais de campo por aqui.

O comércio, acabou... Os clubes, acabaram... As ruas, acabaram... As escolas, acabaram... Vamos recomeçar tudo do ZERO!

Enfim, tirando meu trauma emocional e pequenos prejuízos materiais, informo que estou bem e com saúde. Não sei se o serviço de internet e luz permanecerá estável e amanhã também me voluntariarei na busca por vítimas com vida nos escombros, por conta disso ficarei meio que ausente nos próximos dias. Também preciso buscar informações sobre o restante de meus familiares e amigos.

Peço um pouco mais de paciência a todos os autores de artigos e membros ávidos por informações sobre GNU/Linux, as coisas continuarão um pouco devagar por aqui nos próximos dias. Este ano me organizarei para descentralizar o "poder" aqui no site, ele não pode depender somente de uma pessoa para ter material publicado.

Não deixem de continuar acessando o site, até porque nosso fórum é bem ativo. Se possível, visitem os anunciantes do site também, atualmente minha única fonte de renda é o clique de vocês nos banners do Viva o Linux e acreditem, tem muita gente precisando de ajuda por aqui, espero ter condições de ajudar.

Sobre a ajuda, por hora meu apelo é que busquem em sua cidade algum posto de coleta de doações para as vítimas da tragédia e enviem pra cá o que puderem, na seguinte ordem de prioridade:
Água mineral (não existe mais na cidade);
Alimento não-perecível;
Roupas;
Tênis, sapatos, chinelos (favor enviarem um amarrado no outro, pois pares perdidos na pilha de calçados perdem a serventia).

Rezem pelas vítimas e peçam a Deus que pare de mandar chuva pra nossa região, pelo menos por hora!

Um abraço."

(Fábio Berbert de Paula, 2011)
Acesse a postagem original
Convido a todos os leitores a aderirem esse movimento de responsabilidade social em prol das vítimas desse grande problema. Toda forma de ajuda é válida, seja procurando formas de realizar doações ou mesmo divulgando tais iniciativas.