Cluster di calcolo parallelo per la risoluzione problemi computazionali relativi ai dati

Questo libro affronta un collo di bottiglia critico nell'IA su larga scala: l'addestramento lento e ad alto carico di comunicazione delle reti neurali profonde (DNN) su sistemi multi-GPU. Esamina il compromesso tra due principali metodi di parallelizzazione. Il parallelismo dei dati presenta un notevole sovraccarico di comunicazione per i modelli di grandi dimensioni, mentre il parallelismo dei modelli in pipeline (come PipeDream) offre un aumento della velocità fino a 8,91 volte per le grandi reti neurali completamente connesse o ricorrenti, ma causa una "obsolescenza dei pesi", che compromette l'accuratezza del modello. Per risolvere questo problema, l'articolo introduce SpecTrain, una tecnica innovativa. SpecTrain utilizza lo slancio degli ottimizzatori per prevedere i futuri aggiornamenti dei pesi, consentendo un calcolo in pipeline con pesi accurati e non obsoleti. Ciò permette un elevato utilizzo della GPU e la velocità della pipeline, mantenendo al contempo la robustezza dell'addestramento e l'accuratezza finale dei metodi sincroni.