Understanding digital communities' polarization: A study of community detection algorithms, polarization metrics and applications

Abstract

In a deeply connected era, where digital communities become much more predominant every day, it is crucial to understand how algorithmic recommendation and content aggregation processes on platforms such as X (previously Twitter) can favor the development of echo chambers, ideological segmentation, and, ultimately, radicalization of discourses. From the social implications to the computational analysis, this study explores the topology of internet communities and the social network phenomenon of ideological polarization through an interdisciplinary approach bringing together network analysis techniques and critical sociological understanding. Technically, the project implements and compares three of the most popular algorithms of community detection: Louvain, Leiden, and Scalable Community Detection (SCD). They are applied to various social networks, in order to examine how partitions obtained vary based on the algorithm employed. The research finds apparent differences in size, number, and cohesion of detected communities, with implications for the interpretation of polarization within networks. In terms of the measurement of polarization, the metric proposed by P.H.C. Guerra based on the shape of boundaries among communities has been implemented and used. It offers a better option than modularity for measuring the level of interaction (or lack of interaction) among groups of society. However, even more severe limitations have been discovered regarding scaling and applicability to networks involving numerous communities. For this, an improved approach is proposed for the computation of global polarization of the network through a process of iterative merging of communities and optimized calculation. Apart from the computational analysis, the paper features a sociological point-of-view on how social networks function as platforms for expression and crystallization of populist movements. Attention is placed on the interconnectedness of polarization, populism, and radicalization, and on how these processes are heightened by the algorithmic nature of online platforms themselves. The research shows that all of these phenomena must be approached with a critical and multidisciplinary mindset, combining engineering and sociology to develop more fair and conscious tools to examine and fight back against social fragmentation online.

En una era profundament connectada, on les comunitats digitals són cada dia molt més predominants, és crucial entendre com els processos de recomanació algorítmica i agregació de continguts en plataformes com X (abans Twitter) poden afavorir el desenvolupament de càmeres de ressonància, la segmentació ideològica i, en última instància, la radicalització dels discursos. Des de les implicacions socials fins a l’anàlisi computacional, aquest estudi explora la topologia de les comunitats d’Internet i el fenomen de la polarització ideològica de les xarxes socials a través d’un enfocament interdisciplinari que reuneix tècniques d’anàlisi de xarxes i comprensió sociològica crítica. Tècnicament, el projecte implementa i compara tres dels algorismes més populars de detecció comunitària: Lovaina, Leiden i Detecció de comunitats escalables (SCD). S’apliquen a diverses xarxes socials, per tal d’examinar com varien les particions obtingudes en funció de l’algoritme emprat. La investigació troba diferències aparents en la mida, el nombre i la cohesió de les comunitats detectades, amb implicacions per a la interpretació de la polarització dins de les xarxes. Pel que fa a la mesura de la polarització, s’ha implementat i utilitzat la mètrica proposada per P.H.C. Guerra basada en la forma de les fronteres entre comunitats. Ofereix una opció millor que la modularitat per mesurar el nivell d’interacció (o manca d’interacció) entre grups de la societat. No obstant això, s’han descobert limitacions encara més greus pel que fa a l’escala i l’aplicabilitat a xarxes que involucren nombroses comunitats. Per a això, es proposa un enfocament millorat per al càlcul de la polarització global de la xarxa mitjançant un procés de fusió iterativa de comunitats i càlcul optimitzat. A part de l’anàlisi computacional, l’article presenta un punt de vista sociològic sobre com les xarxes socials funcionen com a plataformes d’expressió i cristal·lització dels moviments populistes. Es posa l’atenció en la interconnexió de la polarització, el populisme i la radicalització, i en com aquests processos s’intensifiquen per la naturalesa algorítmica de les pròpies plataformes en línia. La investigació mostra que tots aquests fenòmens s’han d’abordar amb una mentalitat crítica i multidisciplinària, combinant enginyeria i sociologia per desenvolupar eines més justes i conscients per examinar i lluitar contra la fragmentació social en línia.

En una era profundamente conectada, donde las comunidades digitales se vuelven cada día más predominantes, es crucial entender cómo los procesos algorítmicos de recomendación y agregación de contenidos en plataformas como X (antes Twitter) pueden favorecer el desarrollo de cámaras de eco, la segmentación ideológica y, en última instancia, la radicalización de los discursos. Desde las implicaciones sociales hasta el análisis computacional, este estudio explora la topología de las comunidades de internet y el fenómeno de las redes sociales de polarización ideológica a través de un enfoque interdisciplinario que reúne técnicas de análisis de redes y comprensión sociológica crítica. Técnicamente, el proyecto implementa y compara tres de los algoritmos más populares de detección de comunidades: Louvain, Leiden y Scalable Community Detection (SCD). Se aplican a diversas redes sociales, con el fin de examinar cómo varían las particiones obtenidas en función del algoritmo empleado. La investigación encuentra diferencias aparentes en el tamaño, el número y la cohesión de las comunidades detectadas, con implicaciones para la interpretación de la polarización dentro de las redes. En cuanto a la medición de la polarización, se ha implementado y utilizado la métrica propuesta por P.H.C. Guerra basada en la forma de los límites entre comunidades. Ofrece una mejor opción que la modularidad para medir el nivel de interacción (o falta de interacción) entre los grupos de la sociedad. Sin embargo, se han descubierto limitaciones aún más severas con respecto a la escala y la aplicabilidad a redes que involucran a numerosas comunidades. Para ello, se propone un enfoque mejorado para el cálculo de la polarización global de la red a través de un proceso de fusión iterativa de comunidades y un cálculo optimizado. Además del análisis computacional, el artículo presenta un punto de vista sociológico sobre cómo las redes sociales funcionan como plataformas de expresión y cristalización de movimientos populistas. Se presta atención a la interconexión de la polarización, el populismo y la radicalización, y a cómo estos procesos se ven intensificados por la naturaleza algorítmica de las propias plataformas en línea. La investigación muestra que todos estos fenómenos deben abordarse con una mentalidad crítica y multidisciplinaria, combinando ingeniería y sociología para desarrollar herramientas más justas y conscientes para examinar y luchar contra la fragmentación social en línea.