Millores en els components de comunicacions del runtime de COMPSs

Abstract

COMPSs és un model de programació que s'encarrega de paral·lelitzar i distribuir aplicacions, convertint l'execució d'unes funcions escollides per l'usuari en tasques asíncrones que s'executaran sobre la mateixa infraestructura distribuïda. Un dels problemes de rendiment de COMPSs és la ineficiència de la capa de comunicacions. Aquesta capa funciona mitjançant la creació de connexions TCP entre els nodes que s'han de transferir dades, el qual resulta ser bastant ineficient a causa de l'elevat número de connexions que es realitzen i el cost de la creació d'aquestes. L'objectiu del projecte serà tractar de solucionar aquesta ineficiència. Per assolir el nostre objectiu, s'han plantejat dues possibilitats diferents. La primera és aprofitar els sockets TCP per eliminar el temps perdut en realitzar els TCP handshake, amb la qual hem arribat a obtenir fins a un 43% de millora, el qual és una millora molt notable. La segona seria tractar d'implementar un protocol alternatiu com seria RDMA el qual creiem que ens pot brindar resultats positius. Tractarem de detallar la situació inicial, tots els processos de les implementacions, les conclusions a les quals arribem i en general allò que considerem remarcable en el desenvolupament del projecte.

COMPS is a programming model that is responsible for parallelizing and distributing applications; thereby converting the execution of chosen functions by the user in asynchronous tasks that are executed according to their own distributed infrastructure. One of the problems in the performance of COMPSs is its inefficiency in the area of communications. This particular area works by way of the creation of TCP connections amongst nodes that must transfer data, which proves to be quite inefficient. This is due to a high number of connections that are carried out and their creation cost. The objective of the project is to deal with solving this inefficiency. In order for our objective to be achieved, two different possibilities have been proposed. The first one is to make use of the TCP sockets in order to eliminate lost time in carrying out the TCP handshake. According to the results obtained, there has been an up to 43% improvement due to the newly implemented solution. A quite significant improvement. The second one deals with implementing an alternative protocol: RDMA. We believe that this will produce excellent results. We will provide details of the initial situation, all the processes of the implementations, results which are obtained and in general everything that is considered noteworthy in the development of the project.