Por que uma prova é fácil para uns e difícil para outros?

Autores: Alexandre Nicolini (Ciência e Ação), Reinaldo Viana (UNIRIO)

Neste primeiro mês do EnadeDrops estivemos preocupados em descrever e detalhar toda quarta-feira a faceta mais conhecida do Sistema Nacional de Avaliação do Ensino Superior (SINAES), o Enade que dá nome à nossa série. Ao longo dos próximos onze meses faremos questão de avançar também sobre os outros elementos que compõem o Conceito Preliminar de Curso (CPC), mas vamos devagar com o andor. Há muito o que explorar nos microdados do INEP que foram gentilmente organizados pelo Reinaldo Viana.

Ainda estamos concentrando nossa atenção num componente que representa apenas 25% do conceito, a Formação Geral, mas já vimos que pela forma como o Enade se organiza o perfil socioeconômico dos ingressantes tem um impacto na nota final da grandessíssima maioria dos nossos cursos superiores. As discussões anteriores você resgata no link abaixo, porque cada microartigo novo contém o link para o texto imediatamente anterior e assim por diante. Confira:

Os Ingressantes são limitados ou falta limitação na entrada?

O quinto EnadeDrops vai abordar uma questão que será surpreendente para muitos dirigentes e gestores de curso, embora não o seja exatamente para os (escassos) pesquisadores que se dedicam à avaliação da aprendizagem nem para os nossos (1.549) leitores desta série de microartigos: nos exames padronizados de massa, uma prova pode ser fácil para uma carreira e difícil para outra em função do perfil socioeconômico dos ingressantes.

Tomemos a prova de Formação Geral (FG) de novo. Já dissemos que há condicionantes para o bom desempenho dos egressos nesse componente, como a renda média familiar e a escolaridade dos pais. Entretanto, vamos ter que dividir a análise que começa hoje em duas partes: hoje vamos descobrir a surpresa e na próxima quarta vamos demostrar porque ela não deveria ser assim considerada…

Olhemos com atenção o gráfico de barras abaixo, que trata do desempenho médio dos estudantes nas Questões Discursivas de Formação Geral (DisFG) e nas Questões Objetivas de Formação Geral (ObjFG) no ciclo avaliativo que se encerrou em 2016. Eles foram ordenados de acordo com o melhor desempenho apresentado nas duas partes da prova de FG:

Repare que o curso que encabeça a lista dos melhores desempenhos é Medicina, justamente o que apresenta um conjunto de ingressantes de alto poder aquisitivo – a primeira barreira a favor do bom desempenho dos egressos – que foram peneirados num processo seletivo usualmente concorrido – que constitui a segunda barreira a beneficiar resultados favoráveis. O último em desempenho é Serviço Social, que tem vagas ociosas até em universidades públicas e é notoriamente conhecido pelo baixo capital social dos ingressantes.

Agora vamos observar os Índices de Facilidade das ObjFG. Como se sabe pelas Notas Técnicas do INEP e pelos Relatórios de Curso e Relatórios Síntese de Curso, este índice é calculado a posteriori, verificando-se quantos estudantes acertaram a questão ao se tabularem os cartões-resposta. Assim, se 86% dos estudantes acertaram uma determinada questão, ela é considerada Muito Fácil. Se os estudantes acertaram 15% ou menos numa outra questão, ela é considerada Muito Difícil e daí por diante, como mostra a Tabela Abaixo:

Vamos à próxima tabela. Desconsidere os Índices de Discriminação presentes na direita dessa captura de tela porque eles serão o tema do Enade Drops 34. Foque no Índice de Facilidade e descobrirá que os estudantes de Medicina acertaram, em média, 57% das ObjFG. Mais três pontos percentuais e a prova para eles, considerada Média, passaria a Fácil.

Vamos à próxima tabela. Desconsidere os Índices de Discriminação presentes na direita dessa captura de tela porque eles serão o tema do Enade Drops 34. Foque no Índice de Facilidade e descobrirá que os estudantes de Medicina acertaram, em média, 57% das ObjFG. Mais três pontos percentuais e a prova para eles, considerada Média, passaria a Fácil.

Agora vamos ver como os estudantes de Serviço Social encararam as ObjFG no gráfico abaixo. Ressaltamos que a prova de FG de 2016 é exatamente a mesma para todas as carreiras dispostas no nosso primeiro gráfico, o que assegura a comparabilidade dos dados. A média dos estudantes de Serviço Social em ObjFG foi de apenas 31%, no centro da faixa de provas consideradas Difíceis pelo INEP.

Como se vê, mais uma vez nos utilizamos de dados comparáveis advindos de um exame padronizado de massa para demonstrar um ponto de vista: a qualidade do ingressante tem um impacto visível nas notas auferidas pela IES no ENADE. Parece o óbvio ululante, mas não explica porque tantas faculdades isoladas no interior do país voltadas para a classe trabalhadora destacam-se com conceitos 4 em diversas carreiras. Nem porque numerosas universidades situadas em capitais relevantes do país voltadas para a classe média alta ficam abaixo da Média Brasil e não raro amargam conceitos 2. E, principalmente, nada explica o descaso como as IES encaram os processos seletivos aos cursos superiores, que poderiam ser usados para mapear todas as fragilidades a superar nos ingressantes durante o tempo que eles passam conosco.

As duas páginas vão acabando e as tensões ficam cada vez mais evidentes. É importante que uma IES conheça profundamente o perfil socioeconômico de seus ingressantes e as fragilidades que traz, pois você pode ter que lidar com mais desafios do que estava imaginando ao se comparar com as outras IES. Nível de renda familiar e escolaridade dos pais, só para ficar nos que já analisamos, são alguns dos indicadores que todo gestor tem que ter na ponta da língua para fazer uma gestão da aprendizagem eficiente, eficaz e efetiva. A bagagem do ingressante é importante mas não é determinante do seu resultado, como vamos ver ao longo da série.

Mas é formidável perceber, na construção do SINAES, que as IES não foram deixadas à própria sorte. Se sua IES tem uma fragilidade dos ingressantes na comparação com outras IES análogas, saiba que esta fragilidade pode virar largamente a seu favor na hora do cálculo do IDD (o famigerado Indicador de Diferença entre os Desempenhos Observado e Esperado). Mas isso é um post já para 2019…

Na próxima edição vamos trabalhar um pouco mais no tema e explorar os meandros das questões discursivas de FG. Curta, compartilhe e comente com seus dirigentes, coordenadores, membros de NDE, professores e tutores. Até o próximo EnadeDrops!