Parallelrechner-Cluster zur Lösung von Rechenaufgaben im Bereich Daten: Ein Rahmenkonzept für die Datenverarbeitung mit hohem Durchsatz

Dieses Buch befasst sich mit einem entscheidenden Engpass bei der groß angelegten KI: dem langsamen und kommunikationsintensiven Training riesiger tiefer neuronaler Netze (DNNs) auf Multi-GPU-Systemen. Es behandelt den Kompromiss zwischen zwei wichtigen Parallelisierungsmethoden. Die Datenparallelität leidet bei großen Modellen unter einem erheblichen Kommunikationsaufwand, während die pipelinierte Modellparallelität (wie PipeDream) zwar eine bis zu 8,91-fache Beschleunigung für große, vollständig verbundene bzw. rekurrente neuronale Netze bietet, jedoch zu "Gewichtsveralterung" führt, was die Modellgenauigkeit beeinträchtigt. Um dieses Problem zu lösen, stellt die Arbeit mit "SpecTrain" eine neuartige Technik vor. SpecTrain nutzt den Impuls von Optimierern, um zukünftige Gewichtsaktualisierungen vorherzusagen, und ermöglicht so eine pipelinierte Berechnung mit genauen, aktuellen Gewichten. Dies ermöglicht die hohe GPU-Auslastung und Geschwindigkeit der Pipelinierung bei gleichzeitiger Beibehaltung der Trainingsrobustheit und der endgültigen Genauigkeit synchroner Methoden.