MIMO tracking radar performance analysis with reinforcement learning: SARSA and modified double SARSA approach

Abstract

Multi-Input Multi-Output (MIMO) radar systems have been extensively studied for their potential to enhance target tracking in complex environments. Recent advancements in the field of Artificial Intelligence (AI) and Machine Learning (ML) have significantly contributed to further improving the performance of these systems. This thesis focuses on studying a Reinforcement Learning (RL) model that employs an enhanced SARSA algorithm for MIMO tracking radar, starting from a RL approach of multi-target detection for cognitive radar (CR). A Monte Carlo method is used to generate randomness for noise, and targets are detected through a robust Wald type test statistic. We implemented a modified Double SARSA algorithm in the system model, as well as, added a new set of scenarios based on randomness in the position of the targets and their appearance in them. Finally, we evaluated the performance of both algorithms under this scenarios.

Los sistemas de radar Multi-Input Multi-Output (MIMO) han sido ampliamente estudiados debido a su potencial para mejorar el seguimiento de objetivos en entornos complejos. Los recientes avances en el campo de la Inteligencia Artificial (IA) y el Aprendizaje Automático (AA) han contribuido significativamente a mejorar aún más el rendimiento de estos sistemas. Esta tesis se enfoca en estudiar un modelo de Aprendizaje por Refuerzo que utiliza un algoritmo SARSA mejorado para el seguimiento de radar MIMO, partiendo de un enfoque de RL para la detección de múltiples objetivos para radar cognitivo (CR). Se utiliza un método de Monte Carlo para generar aleatoriedad en el ruido, y los objetivos se detectan a través de una prueba robusta de estadística de tipo Wald. Además, se ha implementado un algoritmo Double SARSA modificado en el modelo radar, así como un nuevo conjunto de escenarios basados en la aleatoriedad en la posición de los objetivos y su aparición en ellos. Finalmente, se evalua el rendimiento de detección del radar para ambos algoritmos en estos escenarios.

Els sistemes de radar Multi-Input Multi-Output (MIMO) han estat àmpliament estudiats a causa del seu potencial per millorar el seguiment d'objectius en entorns complexos. Els avenços recents en el camp de la Intel·ligència Artificial (IA) i l'Aprenentatge Automàtic (AA) han contribuït significativament a millorar encara més el rendiment d'aquests sistemes. Aquesta tesi s'enfoca en estudiar un model d'aprenentatge per reforç que utilitza un algorisme SARSA millorat pel seguiment de radar MIMO, el cual parteix d'un enfocament de RL per a la detecció de múltiples objectius per a radar cognitiu (CR), basats. S'utilitza un mètode de Monte Carlo per generar aleatorietat al soroll, i els objectius es detecten mitjançant una prova robusta d'estadística de tipus Wald. A més, s'ha implementat un algorisme Double SARSA modificat i un nou conjunt d'escenaris basats en l'aleatorietat en la posició dels objectius i la seva aparició. Finalment, s'avalua el rendiment de detecció del radar per a tots dos algorismes en aquests escenaris.