Ao identificar erros
em notas do Enem 2019, o Inep (Instituto Nacional de Estudos e Pesquisas
Educacionais) refez a conferência dos desempenhos dos participantes,
mas não recalculou os parâmetros dos itens usados nas provas do
exame.
O procedimento traria
maior segurança para os resultados, mas esse cálculo levaria mais tempo para
ser concluído. O governo Bolsonaro preferiu abrir mão dessa análise para dar
uma resposta rápida aos erros e manter o cronograma do Sisu (Sistema de Seleção
Unificada).
Sem esse
procedimento, funcionários do instituto e do MEC (Ministério da Educação)
dizem, sob condição de anonimato, que não é possível ter 100% de confiança nos
resultados.
Na avaliação de
técnicos da pasta, o recálculo dos parâmetros poderia reduzir o erro padrão do
exame e indicar variações nas notas – que provavelmente seriam pequenas, mas
suficientes para alterar, por exemplo, a lista de aprovados em cursos
concorridos.
A cúpula do
instituto, entretanto, evita o retrabalho na base de dados com receio de novos
questionamentos da nota. O entendimento é que isso só será feito caso haja
determinação da Justiça, segundo relatos obtidos pela Folha.
Após comemorar o que
seria o melhor Enem de todos os tempos, o ministro da Educação, Abraham
Weintraub, confirmou que milhares de notas haviam sido divulgadas com erros.
Candidatos que haviam
feito a prova de uma cor tiveram suas provas corrigidas como se tivessem feito
outra – segundo o Inep, 5.974 foram afetados com o problema e seus resultados,
alterados.
A divulgação dos
resultados do Sisu chegou a ser barrada na Justiça, mas o governo conseguiu
reverter a decisão no STJ (Superior Tribunal de Justiça) nesta terça-feira
(28).
O Enem adota um
conjunto de modelos matemáticos chamado TRI (Teoria da Resposta ao Item). Para
atender ao modelo, os itens da prova passam por pré-testes (a partir das
respostas de um público similar ao que faz a prova, estabelece-se parâmetros
dos itens, como os níveis de dificuldade).
Ocorre que nem todas
as questões que caíram no Enem 2019 foram pré-testadas. Nota técnica do
Inep, mencionada no recurso da AGU (Advocacia-Geral da União) levado ao STJ,
indica que houve calibragem de itens na própria prova.
A adoção de itens não
pré-testados já ocorreu em anos anteriores por causa da escassez de questões
disponíveis, segundo servidores, mas essa informação nunca fora confirmada
oficialmente.
Para lidar com itens
não pre-testados, o Inep precisar realizar a calibragem a partir do desempenho
real na prova. O órgão, então, seleciona uma amostra aleatória de
participantes e, a partir dessas respostas, regula os parâmetros desses itens.
A amostra usada no
Enem 2019 foi de 100 mil participantes e, somente depois disso, os
parâmetros gerais da prova foram estipulados, e as notas dos alunos,
calculadas. Além de ter itens novos na prova, os resultados de parte dos
5.974 participantes que estavam com as notas erradas por troca de gabarito
fizeram parte dessa amostra.
Foram 83 casos na
prova de Ciências da Natureza e 105 na de Matemática, segundo a própria nota
técnica do Inep. Dessa forma, a calibração ocorrida na prova de itens não
pré-testados contou com respostas erradas e isso causa preocupação em
integrantes do Inep e do MEC.
As notas do Enem
dependem não só do número de questões certas, mas também de quais foram
assinaladas corretamente. A TRI identifica como um possível chute, por exemplo,
o candidato que erra duas questões fáceis e acerta uma difícil – e isso tem
impacto na sua pontuação.
A reportagem
questionou o Inep sobre o assunto mas não obteve resposta.
Na nota técnica usada
pela AGU, o órgão defende que "a proposta de selecionar nova amostra,
recalibrar os itens e recalcular as proficiências [parâmetros], se apresentaria
como medida inócua".
O Inep menciona um
estudo acadêmico que trata do tema e, com base neste estudo, argumenta que
"a proporção de indivíduos com inconsistências encontradas na amostra não
produziu efeitos significativos na estimação dos parâmetros dos itens frente ao
tamanho da amostra".
Ocimar Alavarse,
professor da USP e especialista em avaliação educacional, diz que só é
possível ter a real dimensão do problema se houver total transparência por
parte do Inep e das escolhas feitas.
"A melhor saída
seria recalcular e fazer uma auditoria detalhada nas notas", diz. "O
argumento de que o problema foi pequeno não se justifica porque, quando se
trata de um vestibular, a nota tem que corresponder exatamente."
O professor Dalton
Francisco de Andrade, professor do Departamento de Informática e Estatística da
UFSC (Universidade Federal de Santa Catarina), por sua vez, afirma que o
processo de calibragem está adequado pelas informações oferecidas
pelo Inep.
"Se esses
participantes [que depois tiveram notas alteradas] não tivessem entrado na
mostra, teriam incluído uma pessoa com o mesmo numero de acertos",
diz. "Esse processo não é afetado pelo fato de as 200 pessoas terem o
gabarito lido errado."
Não há informações de
quantos itens novos (sem pré-teste) figuraram nas provas do Enem 2019. De
acordo com um servidor do Inep, seriam ao menos 15 das 45 questões de cada
prova.
Para chegar ao número
de afetados, o Inep inicialmente identificou quatro casos com erros e fez
cruzamentos em uma amostra de participantes que tinham divergências de notas
parecidas com estes –casos com grande diferenças entre os resultados das provas
do primeiro e segundo dia.
O instituto então
cruzou os gabaritos corretos e também as outras opções de cor para encontrar
inconsistências. Após esse processo é que se chegou ao número final de 5.974
casos.
O governo recebeu 172
mil reclamações de notas. Participaram do Enem 2019 cerca de 3,9 milhões de
estudantes.
Fonte: Noticias Ao Minuto