Instal·lació, configuració i validació d’un clúster BigData

Abstract

Aquest projecte consisteix en la realització del desplegament i configuració d'un clúster híbrid d'investigació BigData basat en Hadoop que permeti l'execució eficient d'aplicacions BigData en un entorn multiusuari. Aquest tipus d'instal·lacions d'investigació es caracteritzen per exigir un entorn d'execució controlat on es puguin replicar els diferents experiments. Això obliga a la utilització de gestors de treballs tipus YARN o SGE, que permetin la compartició del clúster per diferents aplicacions, però garantint la utilització de recursos en exclusiva per cada una d'elles. També seria interessant que aquest clúster permetés una utilització híbrida per part d'aplicacions BigData i aplicacions HPC. Això implica que es necessita instal·lar ambdós frameworks (Hadoop i MPI) i aconseguir que puguin coexistir simultàniament, sense molestar-se entre si.