A Learning Approach to Solving Automatic Control Problems

Abstract

Els problemes de control automàtic poden ser extremadament difícils de resoldre per a qualsevol algoritme no adaptatiu. El control automàtic implica l'avaluació en temps real de les respostes d'un sistema que es retroalimenta sota condicions incertes. Aquestes circumstàncies d'incertesa són freqüents en diferents àrees d'enginyeria, que van des de simples controls de vàlvules fins a la conducció autònoma d'última generació. Tot i que s'ha demostrat que els algoritmes de control clàssics funcionen, actualment la tendència de crear sistemes altament complexos i més grans fa que els mètodes clàssics anteriors no sempre es puguin aplicar amb efectivitat. Això sol ser degut per la falta de dades per dissenyar el model matemàtic, o per tenir múltiples elements controlables dins del sistema. Veient com altres branques, com la Teoria de Jocs, modelen problemes amb aquestes característiques, proposem enfocaments procedents de l'Aprenentatge Per Reforç per resoldre aquest tipus de situacions en una metodologia basada en dades i sense models matemàtics. Concretament, presentem un estudi sobre diversos algoritmes d'aprenentatge de reforç multiagent i els apliquem als sistemes de drenatge urbà per provar-ne l'eficàcia. Els sistemes de drenatge urbà (UDS) són xarxes d'interconnexió de canonades i instal·lacions d'emmagatzematge que transporten les aigües residuals a les estacions de tractament d'aigües residuals, abans d'alliberar l'aigua a les masses d'aigua properes, eliminant-les de productes químics perillosos.

Automatic Control problems can be extremely challenging for any non-adapting algorithm to solve. Control involves the real-time evaluation of system responses under uncertain circumstances, and can be encountered in different areas of engineering, ranging from simple valve controls to State-of-the-Art autonomous driving. While classical control algorithms have been proven to work, in a trend of creating more complex and larger systems these previous methods cannot be always applied. This is usually due to incomplete data to design the mathematical model, or having multiple controllable elements in a system. Seeing how these types of problem can be modeled with Game Theory, we propose approaches coming from Reinforcement Learning to solve these sorts of situations in a model-free data-driven methodology. Concretely, we present a study on various Multi-Agent Reinforcement Learning algorithms and apply them on Urban Drainage Systems to test their efficacy. Urban Drainage Systems (UDS) are networks of interconnecting pipes and storage facilities that transport wastewater to Waste Water Treatment Plants, before releasing the water into nearby water bodies, removing them of dangerous chemicals.