Applying reinforcement learning to network management

Abstract

This project seeks to find if in the actual scenario Reinforcement Learning could help Vehicle Networks to get better performances, concretely applied in the field of resource allocation. It would be tried to allocate a varied number of requests in a network with multiple datacenters, modeling an actual road and city track. To do so, 4 algorithms were implemented, a heuristic and 3 RL approaches, in which we defined a simple DQN and the remaining two that run the same DQN but also include a parameter sharing method. It will be seen that a more sophisticated model must be done in order to demonstrate that Reinforcement Learning is worthwhile, and also, that parameter sharing is a tool that would be very useful for these types of networks as it could work in a very efficient manner.

Este proyecto busca encontrar si en un escenario real, el aprendizaje por refuerzo podría ayudar a las nuevas redes de vehículos a obtener mejores rendimientos, aplicadas concretamente en el ámbito de la asignación de recursos. Esto se intentaría hacer asignando un número variado de peticiones a varios centros de datos, modelando una carretera real y un tramo de ciudad. Para ello, se implementaron 4 algoritmos, una heurística y 3 enfoques RL, en los que definimos un DQN simple y los dos restantes que ejecutan el propio DQN, pero también incluyen un método para compartir parámetros. Se verá que debe hacerse un modelo sofisticado para demostrar que el aprendizaje por refuerzo vale la pena, y también, que compartir parámetros es una herramienta que será muy útil para este tipo de redes ya que podría funcionar de una manera muy eficiente.

Aquest projecte busca trobar si en un escenari real, l'aprenentatge per reforç podria ajudar a les noves xarxes de vehicles a obtenir millors rendiments, aplicades concretament en l'àmbit de l'assignació de recursos. Això s'intentaria fer assignant un nombre variat de peticions a diversos centres de dades, modelant una carretera real i un tram de ciutat. Per fer-ho, es van implementar 4 algorismes, una heurística i 3 enfocaments RL, en els quals vam definir un DQN simple i els dos restants que executen el mateix DQN, però també inclouen un mètode per compartir paràmetres. Es veurà que s'ha de fer un model sofisticat per demostrar que l'aprenentatge per reforç val la pena, i també, que compartir paràmetres és una eina que serà molt útil per a aquests tipus de xarxes ja que podria funcionar d'una manera molt eficient.