Automatic grading of portuguese short answers using a machine learning approach

Página do item simplificado
dc.contributor.advisorBrancher, Jacques Duílio
dc.contributor.authorGalhardi, Lucas Busatta
dc.contributor.bancaAyrosa, Pedro Paulo da Silva
dc.contributor.bancaLeal, Gislaine Camila Lapasini
dc.contributor.coadvisorSouza, Rodrigo Clemente Thom de
dc.coverage.extent138 p.
dc.coverage.spatialLondrina
dc.date.accessioned2024-07-24T19:38:39Z
dc.date.available2024-07-24T19:38:39Z
dc.date.issued2019-03-29
dc.description.abstractAvaliações são rotineiramente utilizadas em contextos de aprendizado a fim de estimar o conhecimento retido pelos estudantes. Apesar de sua importância, professores geralmente consideram a tarefa de avaliar respostas discursivas como muito trabalhosa. As condições de trabalho do professor e a sua própria subjetividade podem influenciar nas suas avaliações, pois humanos estão sujeitos ao cansaço, à outras influências e a nota de um aluno pode depender até mesmo da ordem de correção. Esses problemas se apresentam de forma ainda mais intensa em ferramentas como Ambientes Virtuais de Aprendizagem e Cursos Onlines Abertos e Massivos, que recentemente aumentaram sua popularidade e são usados por muito mais estudantes de uma vez que salas de aula físicas. Visando auxiliar nesses problemas, essa dissertação explora a área de pesquisa da avaliação automática de respostas discursivas usando uma abordagem de aprendizado de máquina, com três principais objetivos: (1) realizar uma revisão sistemática da literatura sobre o assunto a fim de se obter uma visão geral do estado da arte e de suas principais técnicas; (2) coletar dados reais de exercícios discursivos escritos na Língua Portuguesa por estudantes; e (3) implementar, avaliar e comparar diferentes abordagens para o sistema de avaliação automática das respostas. Para o primeiro objetivo, 44 artigos foram sistematicamente revisados, analisando vários de seus aspectos, desde os dados utilizados até a avaliação do modelo. Para o segundo, foram coletadas 7473 respostas de 659 estudantes, além de 9558 avaliações feitas por 14 avaliadores humanos (algumas respostas receberam mais de uma avaliação). Para o último objetivo, seis abordagens diferentes foram experimentadas e um modelo final foi criado com a combinação das abordagens. A efetividade mostrada pelo modelo foi satisfatória, com os valores de kappa indicando uma concordância de moderada a substancial entre o modelo e a avaliação humana. Os resultados mostraram que uma abordagem de aprendizado de máquina pode ser eficientemente utilizada na avaliação automática de respostas curtas, incluindo respostas na Língua Portuguesa.
dc.description.abstractother1Assessments are routinely used in learning environments in order to estimate a percentage of the retained knowledge from students. Despite its importance, teachers usually find the task of assessing lots of discursive answers very time-consuming. Teachers work’s conditions and their own human subjectivity have a great impact on grading, as humans make mistakes for some reasons like fatigue, bias or the simple ordering of student’s tests. These problems become more intense in tools like Virtual Learning Environments and Massive Open Online Courses that have recently improved their popularity and are used by way more students than physical classes. Aiming at assisting in those difficulties, this dissertation explores the Automatic Short Answer Grading (ASAG) field using a machine learning approach, with three main goals: (1) to perform a systematic review on the subject in order to get an overview of the state of the art and future trends; (2) collect real-world Portuguese ASAG data; and (3) build, evaluate and compare different approaches when automatically grading short answers. For the first goal, we systematically reviewed 44 papers using different techniques when tackling ASAG, analyzing many of their aspects, from the data to model evaluation. For the second, 7473 short answers were collected from 659 students and 9558 grades were gathered for the answers from 14 human evaluators (some answers had more than one grade). For the last goal, six different approaches were experimented and a final model was created with their combination. The model’s effectiveness showed to be satisfactory, with kappa scores indicating between moderate to substantial agreement between the model and human grading. Results showed that a machine learning approach can be efficiently used on short answers grading, even for the Portuguese language.
dc.identifier.urihttps://repositorio.uel.br/handle/123456789/17078
dc.language.isoeng
dc.relation.departamentCCE - Departamento de Computação
dc.relation.institutionnameUniversidade Estadual de Londrina - UEL
dc.relation.ppgnamePrograma de Pós-Graduação em Ciência da Computação
dc.subjectAvaliação automática
dc.subjectQuestões discursivas
dc.subjectAprendizado de máquina
dc.subjectProcessamento de linguagem natural
dc.subjectAprendizado do computador
dc.subjectProcessamento da linguagem natural (Computação)
dc.subject.capesCiências Exatas e da Terra - Ciência da Computação
dc.subject.keywordsAutomatic grading
dc.subject.keywordsShort answers
dc.subject.keywordsMachine learning
dc.subject.keywordsNatural language processing
dc.subject.keywordsMachine learning
dc.subject.keywordsNatural language processing (Computer science)
dc.titleAutomatic grading of portuguese short answers using a machine learning approach
dc.title.alternativeAvaliação automática de questões discursivas em português usando uma abordagem de aprendizado de máquina
dc.typeDissertação
dcterms.educationLevelMestrado Acadêmico
dcterms.provenanceCentro de Ciências Exatas

Arquivos

Pacote Original
Agora exibindo 1 - 2 de 2
Imagem de Miniatura
Nome:
CE_COM_Me_2019_Galhardi_Lucas_B.pdf
Tamanho:
1.91 MB
Formato:
Adobe Portable Document Format
Descrição:
Texto completo id 162682
Baixar
Nenhuma Miniatura disponível
Nome:
CE_COM_Me_2019_Galhardi_Lucas_B_TERMO.pdf
Tamanho:
253.89 KB
Formato:
Adobe Portable Document Format
Descrição:
Termo de autorização
Baixar
Licença do Pacote
Agora exibindo 1 - 1 de 1
Nenhuma Miniatura disponível
Nome:
license.txt
Tamanho:
555 B
Formato:
Item-specific license agreed to upon submission
Descrição:
Baixar

Coleções

02 - Mestrado - Ciência da Computação