Automatic grading of portuguese short answers using a machine learning approach
Data
2019-03-29
Autores
Galhardi, Lucas Busatta
Título da Revista
ISSN da Revista
Título de Volume
Editor
Resumo
Avaliações são rotineiramente utilizadas em contextos de aprendizado a fim de estimar o conhecimento retido pelos estudantes. Apesar de sua importância, professores geralmente consideram a tarefa de avaliar respostas discursivas como muito trabalhosa. As condições de trabalho do professor e a sua própria subjetividade podem influenciar nas suas avaliações, pois humanos estão sujeitos ao cansaço, à outras influências e a nota de um aluno pode depender até mesmo da ordem de correção. Esses problemas se apresentam de forma ainda mais intensa em ferramentas como Ambientes Virtuais de Aprendizagem e Cursos Onlines Abertos e Massivos, que recentemente aumentaram sua popularidade e são usados por muito mais estudantes de uma vez que salas de aula físicas. Visando auxiliar nesses problemas, essa dissertação explora a área de pesquisa da avaliação automática de respostas discursivas usando uma abordagem de aprendizado de máquina, com três principais objetivos: (1) realizar uma revisão sistemática da literatura sobre o assunto a fim de se obter uma visão geral do estado da arte e de suas principais técnicas; (2) coletar dados reais de exercícios discursivos escritos na Língua Portuguesa por estudantes; e (3) implementar, avaliar e comparar diferentes abordagens para o sistema de avaliação automática das respostas. Para o primeiro objetivo, 44 artigos foram sistematicamente revisados, analisando vários de seus aspectos, desde os dados utilizados até a avaliação do modelo. Para o segundo, foram coletadas 7473 respostas de 659 estudantes, além de 9558 avaliações feitas por 14 avaliadores humanos (algumas respostas receberam mais de uma avaliação). Para o último objetivo, seis abordagens diferentes foram experimentadas e um modelo final foi criado com a combinação das abordagens. A efetividade mostrada pelo modelo foi satisfatória, com os valores de kappa indicando uma concordância de moderada a substancial entre o modelo e a avaliação humana. Os resultados mostraram que uma abordagem de aprendizado de máquina pode ser eficientemente utilizada na avaliação automática de respostas curtas, incluindo respostas na Língua Portuguesa.
Descrição
Palavras-chave
Avaliação automática, Questões discursivas, Aprendizado de máquina, Processamento de linguagem natural, Aprendizado do computador, Processamento da linguagem natural (Computação)