É justo atribuir pesos distintos às questões do Enade?

Autores: Alexandre Nicolini (Ciência e Ação), Reinaldo Viana (UNIRIO)

 

O EnadeDrops anterior foi dedicado à desafiadora tarefa de comparar o grau de dificuldade das provas do Enade de dois ciclos diferentes, 2013 e 2016. Para tanto, usamos as médias obtidas pelos futuros médicos e fizemos um mapeamento do quantitativo de questões de acordo com o índice de facilidade. Analisamos as notas de corte por Faixa Enade e percebemos valores bastante diferentes e até mesmo opostos ao longo dos ciclos. Por fim, uma questão ficou no ar:

“Como tamanha discrepância é possível, se segundo o Índice de Facilidade do INEP a prova de 2016 foi uma prova fácil com tendência a média dificuldade, enquanto a prova de 2013 segundo o mesmo índice foi média com tendência à fácil?”

Nessa edição do EnadeDrops investigamos uma hipótese, que basicamente traz à tona uma linha de raciocínio tradicionalmente utilizada em diversos testes padronizados de larga escala, que visam fornecer uma medida comum para estudantes de diversas origens – exames como o Enade e o Enem são bons exemplos. Entretanto, alguns testes padronizados se compõem de questões (fáceis ou muito fáceis) que valem menos pontos, questões medianas (valendo um pouco mais pontos) e, finalmente, questões (difíceis ou muito difíceis) que valem mais pontos. Como seria vincular essa sistemática ao Enade?

Precisamos recordar que o Índice de Facilidade (IF) é uma maneira de classificar as questões objetivas de acordo com a distribuição dos acertos. Reproduzimos a na tabela 01 a seguir a classificação de questões segundo o IF.

De forma análoga, podemos calcular o Índice de Dificuldade (ID), usando a fórmula 1-IF. Por exemplo, se uma questão tem IF igual a 0,9 (90% dos concluintes acertaram), o ID é igual a 0,1 (dificuldade baixa pois somente 10% dos concluintes erraram). No extremo, se uma questão tem IF igual a 0,15 (15% dos concluintes acertaram), o ID é igual a 0,85 (85% dos concluintes erraram).

Agora, vamos associar um peso P ao ID – sob a forma ID*P – usando a tabela 2 a seguir:

Observe que P é uma medida para beneficiar questões de forma proporcional ao aumento da dificuldade. Por exemplo, P=1 para questões Muito Fáceis e P=5 para as Muito Difíceis.

Por fim, usamos o raciocínio acima para calcular o Índice de Dificuldade para cada questão de Formação Geral do curso de Medicina, edições 2013 e 2016. Com base nesse cálculo, podemos dizer que:

A prova de Formação Geral de 2013 foi enquadrada em dificuldade Média

A prova de Formação Geral de 2016 foi enquadrada em dificuldade Fácil tendendo a Média

Ao relembrarmos a tabela 3 do último EnadeDrops, que demonstra que a distribuição da dificuldade das questões foi bastante equilibrada ao se comparar as duas edições, verificamos que os pesos discriminam ligeiramente melhor esta parte da prova, pois utilizando somente a tabela 1 do Enade chegaríamos à conclusão que as duas edições seriam classificadas como média tendendo a fácil, quando na realidade não o eram.

Já ao analisarmos a parte do Enade que fala sobre a Formação Específica, as discrepâncias entre o método atual e o que propomos tornam-se bem mais evidentes, pois segundo o Índice de Dificuldade de cada prova calculado por média ponderada:

A prova de Formação Específica de 2013 foi enquadrada em dificuldade Média tendendo a Difícil

A prova de Formação Específica de 2016 foi enquadrada em dificuldade Média tendendo a Fácil

Ora, segundo a tabela 4, também do último EnadeDrops, houve um desequilíbrio pesado na distribuição da dificuldade das questões. Mas a metodologia do Enade julga as provas bem parecidas: a de 2013 como média tendendo a fácil e a de 2016 como fácil tendendo a média.

Vamos nos encaminhando para o final com uma certeza: neste caso específico do curso de Medicina, temos mais confiança no nosso método de julgar o nível das provas. Mas agora vamos fazer, nas próximas edições, uma série de comparações com o nível dos estudantes que prestaram os exames para, triangulando os dados, podermos chegar a conclusões mais robustas. Até a próxima quarta!