O Enade de Engenharia Civil de 2017 foi mais difícil ou os estudantes eram piores?

Autores: Alexandre Nicolini (Ciência e Ação), Reinaldo Viana (UNIRIO)

Ainda estamos concentrando nossa atenção num componente que representa apenas 25% do conceito, a Formação Geral, mas já vimos que pela forma como o Enade se organiza o perfil socioeconômico dos ingressantes tem um impacto na nota final da grandessíssima maioria dos nossos cursos superiores. As discussões anteriores você resgata no link abaixo, porque cada microartigo novo contém o link para o texto No EnadeDrops anterior, comparamos o desempenho das graduações em Engenharia Civil nos ciclos 2014 e 1017. Nossa análise teve como foco as médias obtidas pelos futuros engenheiros e apresentamos ao leitor o quantitativo de questões de acordo com o índice de facilidade. Além disso, analisamos as notas de corte por Faixa Enade e percebemos valores relativamente semelhantes ao longo dos ciclos.

Nessa edição do EnadeDrops permanecemos explorando os cursos de Engenharia Civil. De forma semelhante ao que já fizemos com o curso de Medicina, iremos verificar se é útil analisar a prova de Engenharia Civil atribuindo pesos às questões de acordo com a padronização a seguir: questões (fáceis ou muito fáceis) valem menos pontos, questões medianas (valendo um pouco mais pontos) e, finalmente, questões (difíceis ou muito difíceis) valendo mais pontos.

Note que o Índice de Facilidade (IF) é uma forma de classificar as questões objetivas de acordo com a distribuição dos acertos. Reproduzimos na tabela 01 a seguir a classificação de questões segundo o IF:

De forma semelhante, vamos calcular o Índice de Dificuldade (ID), usando a fórmula 1-IF. Por exemplo, se uma questão tem IF igual a 0,8 (80% dos concluintes acertaram), o ID é igual a 0,2 (dificuldade baixa pois somente 20% dos concluintes erraram). No extremo, se uma questão tem IF igual a 0,15 (15% dos concluintes acertaram), o ID é igual a 0,85 (85% dos concluintes erraram).

O próximo passo é associar um peso P ao ID – sob a forma ID*P – usando a tabela 2 a seguir:

Note que P é uma medida útil para beneficiar questões de forma proporcional ao aumento da dificuldade. Por exemplo, P=1 para questões Muito Fáceis e P=5 para as Muito Difíceis.

Pelo exposto, calculamos o Índice de Dificuldade para cada questão de Formação Geral do curso de Engenharia Civil, edições 2014 e 2017. Com base nesse cálculo, podemos dizer que:

• A prova de Formação Geral de 2014 foi enquadrada em dificuldade Média tendendo a Fácil
• A prova de Formação Geral de 2017 foi enquadrada em dificuldade Difícil tendendo a Média

Utilizando esta lógica, parece claro que os estudantes de 2017 teriam mais dificuldade em alcançar um bom desempenho que em 2014. Mas a tabela 3 do último EnadeDrops vai nos lembrar que a  dificuldade das questões foi equilibrada nas duas edições. Com os pesos verificamos uma melhor discriminação nesta parte da prova, pois utilizando somente a tabela 3 do Enade chegaríamos à conclusão que a prova de 2014 foi Fácil tendendo a Média e a de 2017, Média tendendo a Difícil.

Ao analisarmos as provas de Formação Específica, as discrepâncias entre o método atual e o que propomos apresentam-se bem mais evidentes, pois segundo o Índice de Dificuldade de cada prova calculado por média ponderada:

• A prova de Formação Específica de 2014 foi enquadrada em dificuldade Média tendendo a Difícil
• A prova de Formação Específica de 2017 foi enquadrada em dificuldade Difícil tendendo a Média

De forma semelhante, segundo a tabela 4, também do último EnadeDrops, houve um desequilíbrio pesado na distribuição da dificuldade das questões. A metodologia do Enade julga as provas de 2014 como Média e a de 2017 como Difícil tendendo a Média.

Vamos nos encaminhando para o final dessa edição percebendo que, no caso da Engenharia Civil, a discrepância entre o índice de facilidade calculado pelo Inep e nosso índice de dificuldade diminuiu em relação ao curso de Medicina – estamos definitivamente ganhando mais confiança no nosso método de julgar o nível das provas. As suspeitas de que o baixo desempenho dos estudantes de 2017 em relação aos de 2014 volta então a recair sobre as questões discursivas, pois esta edição do ENADEDrops mostra que os resultados relativos às questões objetivas não estão tão distantes, embora claramente favoreçam os egressos de 2014. Na próxima edição, vamos investigar o nível dos estudantes que prestaram os exames para tirarmos conclusões complementares.

Até a próxima quarta!