Aprendizagem por reforço (Q-Learning) aplicada à bacia hidrográfica do Rio Doce para o estabelecimento de políticas públicas de recuperação

Página do item simplificado
dc.contributor.advisorYabe, Maria Josefa Santos
dc.contributor.authorKroetz, Barbara Lunardelli
dc.contributor.bancaSousa, Diana Nara Ribeiro de
dc.contributor.bancaAngilelli, Karina Benassi
dc.contributor.bancaZarpelão, Bruno Bogaz
dc.contributor.bancaSilva, Hágata Cremasco da
dc.contributor.coadvisorReis, Cecília Estima Sacramento dos
dc.coverage.extent138 p.
dc.coverage.spatialLondrina
dc.date.accessioned2026-08-19T16:51:30Z
dc.date.available2026-08-19T16:51:30Z
dc.date.issued2025-03-28
dc.description.abstractEm 05 de novembro de 2015, a barragem de mineração do Fundão, em Mariana (MG), rompeu e liberou aproximadamente 50 milhões de m3 de resíduo de mineração. O resíduo afetou severamente toda a bacia hidrográfica do Rio Doce, atingindo a foz no Oceano Atlântico. Os impactos causados pelo desastre têm sido agravados pela supressão da mata ciliar para o desenvolvimento da agropecuária e pela construção de edifícios comerciais e residenciais. Além disso, a falta de um sistema de saneamento básico tem agravado a situação, devido à interação da matéria orgânica dos efluentes com elementos potencialmente tóxicos, que são mobilizados ao longo da bacia. Barragens de contenção de resíduo da mineração, principalmente as construídas pelo método a montante, apresentam risco para a região, uma vez que podem se romper. Para minimizar os problemas na bacia e buscando recuperar a região, o presente estudo tem como objetivo desenvolver uma metodologia baseada em aprendizagem por reforço (Q-Learning), aplicada à bacia hidrográfica do Rio Doce, para o desenvolvimento de políticas públicas de recuperação ambiental, remediação e fiscalização. Para a aplicação do algoritmo Q-Learning, foi realizado um levantamento de dados sobre as condições socioeconômicas das cidades na bacia do Rio Doce. Os diagramas estado-ação para os parâmetros de desmatamento, mineração e saneamento básico foram estabelecidos em tabelas Q de 6×6, totalizando 36 estados para cada um dos problemas de aprendizagem identificados. O diagrama estado-ação para a concentração dos elementos potencialmente tóxicos na bacia foi estabelecido em tabela Q de 8×8, totalizando 64 estados. O algoritmo estabeleceu o melhor caminho após 1.000 iterações de aprendizagem para atingir a recuperação que leva o agente a receber a maior recompensa acumulada em longo prazo, partindo do estado de maior degradação (S1,1) até o estado de equilíbrio (S6,6 ou S8,8), com base nas maiores porcentagem de recuperação para os parâmetros analisados. A política pública foi estabelecida após a aplicação do algoritmo de aprendizagem por reforço em um sistema de multas e recompensas, objetivando oferecer ao agente o conjunto de ações que maximiza o retorno de longo prazo. O sistema foi baseado no que é previsto em lei e de acordo com as porcentagens de recuperação atingidas pelo agente após a etapa de amostragem e de avaliação. O algoritmo foi eficaz para estabelecer as melhores ações para a recuperação da mata ciliar do Rio Doce, para a descaracterização das barragens de mineração construídas pelo método a montante, bem como para a estruturação de um sistema de saneamento básico, e para a remediação de elementos potencialmente tóxicos nos compartimentos ambientais da bacia. Assim, a política pública para a recuperação eficiente e factível da bacia hidrográfica do Rio Doce pode ser aplicada, proporcionando melhores condições ambientais de longo termo para a região impactada
dc.description.abstractother1On November 5th, 2015, the Fundão mining dam in Mariana (MG) collapsed, releasing approximately 50 million m3 of mining waste. The waste severely affected the entire Doce River basin, reaching the river mouth in the Atlantic Ocean. Removing riparian forests for agricultural development and constructing commercial and residential buildings have worsened the disaster’s impacts. The lack of a basic sanitation system has exacerbated the situation due to the interaction of organic matter in wastewater with potentially toxic elements mobilized throughout the basin. The presence of mining dams, especially those built using the upstream method, poses a significant risk to the region, since they are prone to rupture. To minimize the problems in the basin and aim for recovery, this study seeks to develop a methodology based on a reinforcement learning algorithm (Q-Learning) applied to the Doce River basin to design public policies related to environmental recovery, remediation, and monitoring. A data survey was carried out on the socioeconomic conditions of the cities in the Doce River basin to apply the Q-Learning algorithm. State-action diagrams for deforestation, mining, and basic sanitation parameters were established in Q tables of 6×6, totaling 36 states for each identified learning issue. The state-action diagram for the concentration of potentially toxic elements in the basin was set up in a Q table of 8×8, resulting in 64 states. The algorithm established the best path after 1,000 learning iterations to achieve recovery that leads the agent to receive the highest accumulated reward in the long term, starting from the state with the highest degradation (S1,1) to the equilibrium state (S6,6 or S8,8), based on the highest recovery percentages for the parameters investigated. Public policy recommendations were generated after the reinforcement learning algorithm was applied to a system of fines and rewards. The aim was to offer the agent a set of actions that maximize the long-term return. The system was based on what is provided for by law and the percentage of recovery achieved by the agent after the sampling and evaluation stage. The algorithm proved effective in determining the best actions for recovering the Doce River’s riparian forest, decommissioning upstream mining dams built using the upstream method, structuring a basic sanitation system, and remediating potentially toxic elements in the basin’s environmental compartments. As a result, effective and feasible public policy for the recovery of the Doce River basin can be implemented, providing improved long-term environmental conditions for the impacted region
dc.identifier.urihttps://repositorio.uel.br/handle/123456789/19474
dc.language.isopor
dc.relation.departamentCCE - Departamento de Química
dc.relation.institutionnameUniversidade Estadual de Londrina - UEL
dc.relation.ppgnamePrograma de Pós-Graduação em Química
dc.subjectAprendizado de máquina
dc.subjectMineração
dc.subjectRecuperação ambiental
dc.subjectPolítica pública
dc.subjectQuímica
dc.subjectQ-learning
dc.subjectMinas e recursos minerais
dc.subject.capesCiências Exatas e da Terra - Química
dc.subject.cnpqCiências Exatas e da Terra - Química
dc.subject.keywordsMachine learning
dc.subject.keywordsMining
dc.subject.keywordsEnvironmental recovery
dc.subject.keywordsPublic policy
dc.subject.keywordsChemistry
dc.subject.keywordsQ-learning
dc.subject.keywordsMines and mineral resources
dc.titleAprendizagem por reforço (Q-Learning) aplicada à bacia hidrográfica do Rio Doce para o estabelecimento de políticas públicas de recuperação
dc.title.alternativeReinforcement learning (Q-Learning) applied to the Doce River basin for establishment of public recovery policies
dc.typeTese
dcterms.educationLevelDoutorado
dcterms.provenanceCentro de Ciências Exatas

Arquivos

Pacote Original
Agora exibindo 1 - 2 de 2
Nenhuma Miniatura disponível
Nome:
CE_QUI_Dr_2025_Kroetz_Barbara_L.pdf
Tamanho:
10.15 MB
Formato:
Adobe Portable Document Format
Descrição:
Texto completo ID. 193609 Embargado até 08/04/2027
Baixar
Nenhuma Miniatura disponível
Nome:
CE_QUI_Dr_2025_Kroetz_Barbara_L_Termo.pdf
Tamanho:
149.23 KB
Formato:
Adobe Portable Document Format
Descrição:
Termo de autorização
Baixar
Licença do Pacote
Agora exibindo 1 - 1 de 1
Nenhuma Miniatura disponível
Nome:
license.txt
Tamanho:
555 B
Formato:
Item-specific license agreed to upon submission
Descrição:
Baixar

Coleções

01 - Doutorado - Química