TRI: sorte ou estatística?

Um dos tópicos mais polêmicos entre os alunos do Ensino Médio é a modelagem estatística usada para a correção do Enem (Exame Nacional do Ensino Médio), a TRI, Teoria de Resposta ao Item. Por que será? Por que quando um aluno acerta o mesmo número de questões que outro, os dois tiram notas diferentes? Um mais um não é igual a dois?

Em uma avaliação baseada na TCT (Teoria Clássica dos Testes), o número de acertos e o peso das questões geram um resultado direto, mas, ao mesmo tempo, fazem com que a lista de critérios para o desempate entre candidatos com o mesmo número de acertos seja impraticável. Um outro problema dessa teoria é a imprecisão na comparação de resultados de alunos que façam diferentes edições da avaliação. Como então solucionar esses problemas em um exame de escala nacional?

A TRI é usada desde 1995 nas provas do Saeb (Sistema Nacional de Avaliação da Educação Básica) e desde 2009 no Enem. Essa mudança na métrica, além de viabilizar sistemas de ampla concorrência para o ingresso no Ensino Superior, como o Sisu (Sistema de Seleção Unificada), tira o foco do instrumento: a prova. O novo foco passa a ser o desempenho individual do aluno, medido pela combinação entre a curva característica do item, ou seja, a probabilidade de alunos de diferentes níveis de proficiência acertarem uma questão, e pela coerência pedagógica de cada um.

As questões da prova são divididas em três níveis: fácil, médio e difícil. Não é possível prever o nível das questões, pois ele será determinado com base no número de alunos que acertou cada questão. Sendo assim, questões com grande número de acertos são consideradas como sendo fáceis, e, com pequeno número de acertos, difíceis. O acerto de uma questão considerada difícil, combinado com o erro de uma questão fácil sobre a mesma habilidade, é considerado como um golpe de sorte, levando à redução da nota. Com essa métrica, dois alunos com o mesmo número de acertos só obteriam a mesma nota se acertassem exatamente as mesmas questões.

Comparando a coerência pedagógica com uma competição de natação, assim como seria coerente que o nadador que completou os 1.500 metros conseguisse fazer um percurso de 100 metros, o aluno que acertou uma questão difícil deveria também conseguir acertar uma fácil. Além do “chute”, a estratégia de deixar questões em branco também é desencorajada pela TRI, pois afetaria o balanço das questões e, consequentemente, o resultado. 

Por não conseguirem calcular seus resultados de forma direta, os alunos veem a TRI como uma loteria, quando, na verdade, os que estão bem-preparados e apresentam um desempenho consistente são favorecidos pelo algoritmo. A TRI destaca a boa performance, e, parafraseando Thomas Jefferson, quanto mais se trabalha, mais sorte se tem.

Carol Calil

É professora e pesquisadora engajada no desenvolvimento de experiências de aprendizagem significativa. Possui formação em Letras Português Inglês, Especialização em Língua Inglesa e mestrado em Linguística Aplicada pela UNB. Desde 1999 trabalhando com educação, possui experiência no ensino regular e em escolas de idiomas. Nos últimos anos, atuou na criação e implantação de currículos bilíngues transdisciplinares que contemplem as linguagens como forma de comunicação, interação e expressão cultural. Coach Pedagógica do Projeto UNOi educação e colaboradora do Richmond Share Blog, participa ativamente da formação de gestores e professores na busca de uma educação que rompa os limites da sala de aula e busque formar cidadãos críticos, comprometidos e engajados na transformação da nossa sociedade.