Teoria clássica dos testes e teoria de resposta ao item aplicadas em uma avaliação de matemática básica

Abstract

O departamento de matemática da Universidade Federal de Viçosa tem realizado algumas medidas de prevenção à reprovação dos estudantes na disciplina de cálculo, cujos índices têm assustado os professores da disciplina. Uma dessas medidas está na elaboração de avaliações de matemática básica, compostas por 50 itens de múltipla escolha cada, que objetivam analisar o conhecimento prévio do estudante matriculado, bem como estimar sua habilidade em matemática e, com isto, identificar os estudantes propensos à reprovação a fim de proporcionar uma intervenção pedagógica capaz de reverter esta situação. Tendo em vista a importância desta avaliação, que acontece no início de cada período letivo, para o processo de ensino-aprendizagem da disciplina, o presente trabalho teve como objetivo oferecer uma análise estatística destas avaliações com base na teoria clássica dos testes (TCT) e na teoria de resposta ao item (TRI). A principal diferença entre essas teorias está no fato de que a primeira oferece uma abordagem em que se investiga o escore total do teste, ao passo que na segunda, se investigam as propriedades de cada item, individualmente. A metodologia se desenvolveu inicialmente como bibliográfica através de um referencial teórico que englobou ambas as teorias utilizadas e, na sequência, com um estudo de caso, em que foi utilizado uma dessas avaliações na coleta e análise dos dados. Os resultados dos desempenhos dos estudantes na TRI foram calculados pelo modelo logístico de dois parâmetros. Em suma, tais resultados, em consonância com resultados os obtidos pela análise via TCT, apontam para uma avaliação positiva do teste. Com a exceção de três itens que apresentaram problemas de discriminação, o teste apresentou, em geral, itens com um bom poder discriminativo e com variados níveis de dificuldade em ambas as teorias analisadas. A mesma análise pode ser realizada para outros testes e espera-se que este trabalho sirva como um instrumento de difusão destas teorias na análise de testes.

The mathematics department of the Federal University of Viçosa has been working at actions to improve the success rate of the students in the Calculus course, whose failure increasing indexes has surprised the professors. One of these actions is focused on the elaboration of a mathematics basic test composed of 50 multiple choice items that aim to analyze the prior knowledge of the enrolled student, as well as to estimate their ability in basic mathematics and, with this, to identify students who are prone to flink in order to provide a pedagogical intervention capable of reversing this situation. Considering their importance of this evaluation, which happens at the beginning of academic semester, for the teaching-learning process of the discipline, this study aims to provide a statistical analysis of one of these tests based on the classical test theory (CTT) and on item response theory (IRT). The main difference between these two theories lies on the fact that the first one uses the total score in the test as a reference in the analysis, while the second one focuses mainly on the item and not on the whole test itself. The methodology was initially developed as a bibliography through a theoretical framework that encompassed both theories used and, subsequently, with a case study, in which one of these evaluations was used in data collection and analysis. The results point to a positive evaluation of the test. Except three items presenting discrimination problems, the test presented, in general, items with a good discriminative power and with varied levels of difficulty in both theories that were analyzed, besides indicating insignificant probability of getting correct answer just by guessing, which contributed to a good estimation of the students ability. The same analysis can be performed for other tests and it is expected that this work serves as an instrument for the diffusion of these theories in the test analysis.