Em ampla e rica discussão, integrantes da Comissão Geral de Pós-Graduação Stricto Sensu da Escola Nacional de Saúde Pública Sergio Arouca apresentaram documento com críticas e reivindicações de mudança ao atual sistema de avaliação praticado pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), durante o Fórum de Coordenadores de Pós-Graduação em Saúde Coletiva, realizado no mês de junho, em Florianópolis. As contribuições da ENSP dizem respeito à avaliação da pós-graduação de maneira geral; no entanto, tem foco na questão da classificação das revistas da área e visam, em especial, ao novo credenciamento para o quadriênio 2017-2020.
Além do documento da Escola, o fórum teve como resultado uma carta, endereçada aos coordenadores da área de Saúde Coletiva da Capes, que sugere demandas e propostas a serem aplicadas na avaliação deste quadriênio (2013-2016) e trazem subsídios para também pensar o próximo (2017-2020). Os documentos abordam as mais prementes questões sobre a avaliação e ainda fazem críticas no que se refere ao enquadramento dos eixos estruturantes da área da Saúde Coletiva. O Informe ENSPconversou com a vice-diretora de Ensino da Escola, Tatiana Wargas, e também ouviu alguns dos coordenadores dos programas de Pós da ENSP sobre as contribuições levadas ao Fórum e a importância de fomentar o amplo debate dentro da ENSP na busca por uma avaliação mais comprometida com a diversidade, o diálogo interdisciplinar e a qualidade do ensino em saúde. Confira os documentos e as impressões de cada um dos participantes da entrevista.
Segundo Tatiana, o sistema vigente não expressa a riqueza e a diversidade encontrada na área. Além disso, o novo credenciamento representa uma oportunidade de avanços e mudanças. “Precisamos buscar formas de tornar os critérios de avaliação da Capes não somente mais inclusivos, porém, também, mais capazes de expressar a diversidade da área. Reconhecer a diversidade é reconhecer que existe um modo de fazer ciência mais próximo de cada um dos campos que compõem a saúde coletiva: ciências sociais em saúde; política, planejamento e gestão de sistemas e serviços de saúde; e epidemiologia. Os três eixos devem dialogar, ter sinergia e, ao mesmo tempo, respeitar e valorizar seus diferentes modos de produção”, disse ela, convidando a todos para a leitura de tais documentos e participação nas discussões propostas.
A Comissão Geral de Pós-Graduação Stricto Sensu da Escola é integrada pela vice-diretora de Ensino, assim como pelo coordenador geral de Stricto Sensu e os coordenadores dos quatro Programas da ENSP: Programa de Saúde Pública (acadêmico e profissional), Programa de Saúde Pública e Meio Ambiente, Programa de Epidemiologia em Saúde Pública (acadêmico e profissional), e o Programa de Bioética, Ética Aplicada e Saúde Coletiva, além do chefe do Serviço de Gestão Acadêmica.
Debruçados nessa questão e buscando ampliar a discussão dos processos de avaliação da Capes com foco no credenciamento do próximo quadriênio 2017-2020, a Escola vai realizar uma mesa-redonda para discutir O Sistema de Avaliação da Pós-Graduação no Brasil: avanços, limites e possibilidades, que acontecerá no dia 12/7, a partir das 9h, em seu auditório térreo. Para tanto, convidou os professores Maurício Barreto e Guilherme Werneck, ambos pesquisadores da área da saúde coletiva e exímios debatedores do modelo de avaliação dos programas de pós-graduação. A atividade se insere no esforço de promover a reflexão com os docentes e alunos da comunidade ENSP sobre as características e desafios do sistema atual de avaliação do país, que influenciam de forma contundente no trabalho das organizações.
Informe ENSP: Comente a participação da ENSP no Fórum e as perspectivas de alteração dos critérios de avaliação:
Tatiana Wargas: Nos últimos dois, três anos, temos feitos discussões regulares sobre os critérios e também sobre quem são nossos representantes, e se eles estão sendo capazes de expressar a diversidade da área de saúde coletiva. Atualmente, o Fórum é composto de 89 Programas de Pós-Graduação e 125 cursos. A área da Saúde Coletiva é formada pelo menos por três campos de discussão disciplinares: a epidemiologia; política, planejamento e gestão; e ciências sociais em saúde. A epidemiologia tem sido a mais forte e vem pautando as regras de publicação, que tem efetivamente gerado os processos de credenciamento dos docentes. E isso vem sendo muito discutido aqui na ENSP.
Em 2016, pela primeira vez, a Escola conseguiu levar um documento delineado para esse fórum, o qual foi construído pela Comissão Geral de Pós-Graduação Stricto Sensu da ENSP, e com todos os nossos coordenadores assinando efetivamente o documento. Essa é a primeira vez que chegamos a um consenso interno de uma discussão mais crítica dos modelos de avaliação. A questão da alteração dos critérios de avaliação da Capes foi levada ao Fórum para reafirmar que precisamos ser mais capazes de olhar a diversidade da área, e precisamos valorizar a produção da política, planejamento e ciências sociais de uma forma diferente da qual valorizamos a produção da epidemiologia.
Os integrantes do Fórum fizeram excelentes discussões e trouxeram muitas inquietudes. O documento levado e a carta emitida aos coordenadores da área de Saúde Coletiva não expressam o conjunto de realizações durante o encontro, mas trazem uma série de discussões sobre o que efetivamente produzimos de debate. Como ponto central, afirmo que é preciso fazer alterações nos critérios de avaliação. Os três eixos da Saúde Coletiva (ciências sociais em saúde, planejamento e gestão, e epidemiologia) devem dialogar, ter sinergia e, ao mesmo tempo, respeitar e considerar seus diferentes modos de produção. Isso significa valorizar a produção de livros, a publicação em revistas nacionais, entre outros, pois temos implicações com o sistema público de saúde do país. Para nós, produzir e ter reconhecimento de revistas nacionais é absolutamente importante.
Podemos ver as discrepâncias em dados: temos revistas, como a Ciência e Saúde Coletiva, por exemplo, que, em nossa área, é classificada como B1, e, em todas as outras áreas, é classificada como A2 e A1. A baixa proporção de periódicos nacionais nos estratos mais elevados reproduz o padrão das áreas de avaliação ligadas à pesquisa médica e contrasta com o verificado nas áreas de Ciências Humanas, nas quais o número de periódicos nacionais classificados como A1 e A2 é significativamente maior. Um exemplo claro é a área de Sociologia, na qual 15 entre 21 periódicos classificados no estrato A1 no Qualis 2014 são nacionais, cerca de 70%. O que significa isso para um campo como é o da Saúde Coletiva, que dialoga com as ciências ambientais, sociais e econômicas, por exemplo? Todos esses números e detalhes podem ser conferidos no documento que construímos.
Já sabemos que a avaliação terá uma revisão, e isso é um ganho, pois, para nós, faz toda a diferença no momento da avaliação da produção científica e também como critério de credenciamento de docentes no programa. O reconhecimento da produção de livros para a nossa área é fundamental. Atualmente, eles contam, porém, com certas barreiras. É diferente da maneira como é contada a pontuação por publicação de artigo. Outra questão absolutamente fundamental para nós é valorizar o quesito de inserção social. A Saúde Coletiva tem grande compromisso com o Sistema de Saúde, pois produzimos e formamos profissionais que atuam na ponta, não só acadêmicos. Essa questão não pode ser desprezada. Um parecer técnico sobre amianto ou sobre a propaganda de alimentos ou a respeito da construção de uma política pública, por exemplo, muitas vezes, demanda muito mais tempo de trabalho e pesquisa do que a produção de um artigo. Ainda assim, um parecer técnico não tem a mesma valorização que um artigo. A quantificação da produção bibliográfica é fator decisivo, hoje, para o acesso à pós-graduação. Ela define quem pode ser docente permanente ou não. O Qualis é o instrumento que determina como a produção é efetivamente contabilizada e, assim, quem terá ou não alunos, acesso a financiamento e outros recursos. Sendo assim, o Qualis não simplesmente reflete ou traduz o que ocorre ‘no campo’. De fato, ao medir e classificar, ele define também onde e, portanto, o que é ‘adequado’ publicar.
As discussões sobre avaliação na Escola estão abertas, e o momento é mais que oportuno, já que estamos no início de um novo ciclo avaliativo dos programas de pós-graduação. Precisamos discutir o que está apontado como necessidade, quais são as especificidades de cada programa, que critérios são esses e o que precisamos alcançar para atender nossas reivindicações relacionadas à avaliação. Vale ressaltar que não só a ENSP faz essas críticas, o Fórum de Coordenadores da Abrasco já se manifestou no final de 2015 por meio de uma carta aberta à comunidade científica, reconhecendo que o sistema de avaliação em vigor cumpriu seus objetivos, mas, sem dúvida, está superado.
Edinilsa Ramos de Souza, coordenadora adjunta do Programa Acadêmico de Pós-Graduação em Saúde Pública:
A discussão sobre a próxima avaliação – critérios e indicadores utilizados – teve como foco a necessidade de avaliar sem perder de vista a diversidade da área que, em última instância, também constitui a sua riqueza. Portanto, a ENSP, que tem o maior e talvez o mais diverso dos programas, elaborou e compartilhou um documento crítico ao atual modelo de avaliação e aos critérios atualmente utilizados, com rica contribuição para a reflexão e propostas de mudanças.
A plenária final trouxe as várias sugestões discutidas nos grupos para os passos a seguir, como: necessidade de divulgação prévia dos resultados dos 12 Grupos Temáticos (GT) criados em novembro de 2015 (PG em Educação Básica; mestrados profissionais; eventos; Qualis livros; Qualis referência periódicos; Qualis produção técnica e tecnológica; Revista brasileira de PG; Sistemas de informações para PG; análise do Sistema Capes de Avaliação da PG; análise de risco do Programa; árvore do conhecimento e avaliação impacto) e representação de cada um desses GT no próximo Fórum; assim como a renovação da Comissão de Avaliação, que participará do processo em 2017.
A ENSP pretende continuar aprofundando o debate sobre como aprimorar esse processo avaliativo e os indicadores que lhes dão sustentação. Para isso, está discutindo as propostas que, objetivamente, fará ao Fórum de mudanças na ficha e nos indicadores de avaliação (peso e número dos quesitos e dos indicadores e subitens de cada quesito). Ficou claro, no Fórum, que, nessa próxima avaliação, não será possível realizar mudanças substanciais. Mais modificações só poderão ser solicitadas e negociadas para o próximo quadriênio (2017-2020).
Foram discutidos, ainda, o cenário político do país, com sugestões de unicidade e de ações de mobilização em defesa do Sistema Único de Saúde; e indicados os próximos eventos, como o Fórum Nacional de Mestrados Profissionais, em Recife, em 8/16; o Congresso de Epidemiologia, em Florianópolis, em 10/17; e o Congresso Política, Planejamento e Gestão, em Natal, em 4/17.
Sergio Rego, coordenador geral de Pós-Graduação em Bioética, Ética Aplicada e Saúde Coletiva:
Participei mais uma vez do Fórum dos Coordenadores de Pós-Graduação da Abrasco com grande alegria. É muito bom dispormos dessa instância em que podemos discutir com nossos colegas e amigos a conjuntura brasileira e a organização e avaliação dos nossos programas de pós-graduação. Foi com grande satisfação que vi a ENSP ir para uma atividade dessa com uma posição refletida pelos membros de sua CGPG.
Tivemos a oportunidade de discutir entre nós uma posição relacionada aos desafios atuais na avaliação dos programas. Isso foi excelente. São inúmeros os desafios que persistem, em especial o de ir além da mera avaliação bibliométrica. Ir além, entretanto, não significa considerar que o modelo bibliométrico atual seja apropriado para o nosso campo.
É preciso que um bom artigo científico, publicado em uma boa revista científica, seja avaliado com o mesmo peso, sem que o campo científico onde está inserido seja determinante para essa avaliação. Nem todos os bons periódicos científicos, nacionais e internacionais, das áreas de ciências humanas e sociais estão indexados na Thomson Reuters ou na Scopus. Da mesma forma, não é possível considerar como periódicos de interesse do campo da Saúde Coletiva apenas aqueles que mencionem o campo incluído no texto que a revista disponibiliza como sua missão – essa é uma visão apenas burocrática. Revistas, nacionais e internacionais que discutem, por exemplo, aspectos sociais, econômicos, políticos e éticos da Saúde, em uma compreensão não limitada, não podem ter sua relevância desprezada apenas por não mencionar em suas missões as palavras que as salvariam do limbo da avaliação, como ‘saúde pública’ ou ‘saúde coletiva’. O desafio é grande. Os representantes de nossa área do conhecimento na Capes apresentaram uma nova estratégia de classificação e avaliação. Torço para que superemos os desvios com sua aplicação. Precisamos, sim, definir nossas metas e objetivos para o próximo quadriênio. Não podemos fechar isso sempre no último ano da avaliação. Precisamos hoje definir como desejamos que os Programas caminhem ao menos no próximo quadriênio.
Simone Oliveira, coordenadora adjunta do Mestrado Profissional do Programa de Pós-Graduação em Saúde Pública:
Essa foi minha segunda participação no Fórum. A primeira foi como coordenadora de área de concentração do Programa de SP, em novembro de 2014. E, agora, como coordenadora do Mestrado Profissional. Achei o clima desse encontro muito mais ameno e colaborativo, e a ENSP mais preparada para enfrentar os debates, pautada em documento elaborado pela Direção e discutido na CGPG, com reflexões e proposições, de maneira a superarmos uma avaliação pautada principalmente no modelo bibliométrico.
Um grande desafio é a elaboração de indicadores que permitam expressar a diversidade da área e sua interdisciplinaridade, principalmente de cunho qualitativo. Foi apontado que, para esse quadriênio, as mudanças serão pontuais. É preciso um trabalho árduo e dedicado, pois, apesar das insatisfações com esse modelo, ainda existem grupos aderentes, com receio de rompimento dessa lógica.
Participei do grupo que discutiu o Mestrado Profissional. Foi muito bom trocar com pares angústias e preocupações e identificar a diversidade de formatos dessa modalidade, inclusive na Fiocruz. Nesse grupo, a discussão girou em torno da produção técnica, como pontuar, distinguir essas produções, com pesos diferenciados para produtos que sejam mais pertinentes para área. Outra discussão que se configura como uma pauta importante é a identificação, a singularidade e a pertinência dos mestrados profissionais em relação aos acadêmicos.
Liliane Reis Teixeira, coordenadora do Programa de Pós-Graduação em Saúde Pública e Meio Ambiente:
Essa foi a melhor reunião do fórum nos dois últimos anos, período em que estou na coordenação. Durante o Fórum, os coordenadores dos PPG se reuniram em grupos e discutiram a avaliação quadrienal da Capes, tanto a que será realizada no próximo ano (2013-2017) como as futuras. As discussões pautaram principalmente a ficha de avaliação, a indicação dos participantes da comissão de avaliação, a nova classificação do Qualis periódicos, a avaliação do Qualis livros e a possível inserção de livros didáticos, assim como sua manutenção na nossa área.
Como nosso programa é de Saúde Pública e Meio Ambiente, parte da nossa produção de artigos está vinculada a revistas da área Ambiental e de Saúde do Trabalhador. Entretanto, a contabilização de pontos dessas revistas na área de Saúde Pública é menor, e nossos professores necessitam produzir mais artigos para permanecermos na área de Saúde Coletiva. Portanto, no último Fórum, a maior crítica à Capes foi com relação à avaliação bibliométrica. Nossas discussões mostraram que são necessários indicadores qualitativos que espelhem o ensino e a formação do corpo discente.
Letícia Cardoso: coordenadora do Programa de Pós-Graduação em Epidemiologia em Saúde Pública:
De uma maneira geral, acredito que existem muitas especificidades no campo da epidemiologia e em outras áreas da saúde coletiva que algumas vezes não sejam contempladas da maneira que deveriam e isso gera uma disputa no campo. No entanto, em minha opinião, essa "disputa" é falsa. Percebo que pesquisadores contemporâneos na área da epidemiologia e com visões interdisciplinares buscam maior aproximação com as ciências sociais para aprofundarem suas perguntas de pesquisa e suas reflexões.
De forma mais específica à questão da avaliação, acredito que, embora muitas vezes tenhamos uma visão negativa sobre os pontos de corte e a corrida pelos mesmo, esse sistema é necessário. Se olharmos para os países da América Latina, como, por exemplo, a Argentina, onde não há nenhum sistema regulatório, percebemos o quanto ele se faz necessário. Sim, o nosso sistema precisa de revisão pois atualmente não diferencia bem os programas. Contudo, ele tem méritos no reconhecimento e valorização da ciência e pós-graduação brasileira.
Este foi o primeiro Fórum do qual eu participei e percebi o encontro como um espaço aberto e de possíveis negociação quanto às necessidades de mudanças no sistema de avaliação adotado pela Capes. Para mim, outro ponto bastante surpreendente do encontro foi a percepção da expansão da pós-graduação no Nordeste do nosso país. Apesar de saber dos investimentos voltados para a região, durante o Fórum tive a visão real desse crescimento.
