PyTorch 2 GPU Performance Benchmarks (aktualisiert)

Für unsere Benchmarks haben wir die BERT Variante „BERT large cased“. BERT large besteht aus 24 Schichten, 1024 Hidden-Dimensions, 16 Attention-Heads, insgesamt 335 Millionen Parametern. Cased bedeuted, dass im Input-Layer die Groß- / Kleinschreibung von Wörtern beachtet wird.

BERT steht für Bidirectional Encoder Representations from Transformers und ist ein 2018 von Google entwickeltes Deep-Learning-Modell für die Verarbeitung natürlicher Sprache. Es nutzt die Transformer-Architektur, um eine kontextsensitive Darstellung von Wörtern in einem Text zu lernen. BERT wurde an einer großen Menge unbeschriebenem (unlabeled) Text trainiert, um ein allgemeines Verständnis der natürlichen Sprache zu erlangen. Durch dieses Training kann BERT kontextspezifische Bedeutungen von Wörtern verstehen und mehrdeutige Ausdrücke unterscheiden. Das Besondere an BERT ist seine bidirektionale Modellierung. Im Gegensatz zu früheren Sprachmodellen, die nur die vorangehenden Wörter als Kontext betrachteten, modelliert BERT den Kontext bidirektional. Das bedeutet, dass BERT sowohl die vorangehenden als auch die nachfolgenden Wörter im Text verwendet, um die Bedeutung eines bestimmten Wortes zu verstehen.

Für unsere Benchmarks verwendete wir das ResNet-50 Modell in Version 1.5. Resnet-50 besteht aus 48 Faltungsschichten sowie einer MaxPool- und einer Average-Pool-Schicht, also insgesamt 48+1+1=50 Schichten mit insgesamt 25 Millionen Parametern.

Da es in vielen Benchmarks verwendet wird, steht eine nahezu optimale Implementierung zur Verfügung, die die Leistung einer GPU ausreizt und es ermöglicht, die Leistungsgrenzen der Hardware aufzuzeigen.

ResNet (Residual Neural Network) gilt als eines der ersten echten Deep-Learning-Netzwerke und wurde erstmals 2015 zur Bildklassifizierung eingeführt. Es löste das Problem des verschwindenden/explodierenden Gradienten, das in zuvor verwendeten Perzeptron-Netzwerkstrukturen auftrat, wenn die Anzahl der Zwischenschichten erhöht wurde (siehe Deep Residual Learning for Image Recognition). Das charakteristische Merkmal von residualen Netzwerken ist die Verwendung von "Sprungverbindungen" ("skip connections") zwischen verschiedenen Schichten, wodurch einzelne Schichten übersprungen werden können. Dies ermöglicht die Bildung viel tieferer Netzwerke und löst das oben erwähnte Problem verschwindender/explodierender Gradienten.

Einer der wichtigsten Metaparameter im Deep-Learning-Training ist die Batchgröße. Sie bezieht sich auf die Anzahl der Stichproben (samples) aus dem Datensatz, die jeweils in einer Trainingsiteration verarbeitet werden. Der Trainingsdatensatz wird in Stapel bzw. "Batches" unterteilt, die nacheinander durch das System propagiert werden, bis der gesamte Datensatz verarbeitet wurde, wodurch eine Epoche abgeschlossen wird. Bei kleinen Datensätzen, die vollständig in den GPU-Speicher passen, kann die Stapelgröße auch den gesamten Datensatz umfassen, was zu nur einem Durchlauf pro Epoche führt. Dies ist jedoch typischerweise nicht der Fall, weshalb es sinnvoll ist, den Datensatz in kleinere Batches aufzuteilen. In der Literatur wird Batch oft als Mini-Batch bezeichnet, um diesen vom gesamten Datensatz zu unterscheiden. Da die Modellgewichtungen basierend auf den Erkenntnissen aus dem aktuellen Stapel (batch) nach jeder Iteration aktualisiert werden, wirkt sich die Wahl der Stapelgröße auch auf die Trainingsergebnisse und die Systemleistung, also die Performance aus. 

In unseren Benchmark-Ergebnissen ist die für die jeweilige GPU verwendete Batchgröße mit „bs“ gekennzeichnet.

Die numerische Genauigkeit (numerical precision), mit der die Gewichtungen und zugehörigen Werte in Deep-Learning-Modellen berechnet werden, spielt eine wichtige Rolle im Trainingsprozess. Eine höhere Genauigkeit ermöglicht feinere Gewichtseinstellungen, erfordert aber auch mehr Speicher und verlangsamt die Berechnung. In unseren Benchmarks untersuchen wir die Leistung von "fp32"-Datentypen und Berechnungen, die die "Automatic Mixed Precision"-Technik verwenden.

Der Datentyp „fp32“ (floating point 32-bit) ist der am weitesten verbreitete Standard im Deep Learning. Er verwendet eine 32-Bit-Kodierung, bestehend aus 1 Bit für das Vorzeichen, 8 Bit für den Exponenten und 23 Bit für die Mantisse.

Automatic Mixed Precision (AMP) ist eine Technik, die in der Deep-Learning-Community immer beliebter wird. Sie beinhaltet die Verwendung unterschiedlicher numerischer Genauigkeiten (z. B. fp8, fp16, fp32 und fp64) während des Trainingsprozesses, um die Effizienz und Genauigkeit von Deep-Learning-Modellen zu verbessern. Die Idee hinter AMP ist, dass einige Teile des Modells empfindlicher auf numerische Genauigkeit reagieren als andere. Durch die Verwendung einer höheren Genauigkeit dort, wo es notwendig ist, und einer geringeren Genauigkeit, wo es weniger wichtig ist, können Berechnungen insgesamt schneller und effizienter durchgeführt werden, ohne die Genauigkeit des Modells zu beeinträchtigen. Die Implementierung von Automatic Mixed Precision kann jedoch komplex sein und erfordert häufig spezielle Hardwareunterstützung.

Mit der Veröffentlichung von PyTorch 2.0 im März 2023 wurde zur Leistungssteigerung von PyTorch eine Reihe bedeutender Änderungen eingeführt eine davon ist Torch.compile welches als zusätzlicher Ausführungsmodus für PyTorch 2 verwendet werden kann. Diese Funktion Torch.compile umschließt ("wrapped") ein Modell und liefert eine auf die GPU kompilierte Version des Modells zurück. Das kompilierte Modell kann dann mit einer erheblichen Leistungssteigerung auf der GPU berechnet werden. Das PyTorch 2 Compile-Feature kann in den meisten Fällen durch Hinzufügen einer einzigen Codezeile aktiviert werden:

model = torch.compile(model)

Um die Kapazität aller am Multi-GPU-Training beteiligten GPUs voll auszunutzen, wurde das DistributedDataParallel-Modul von PyTorch mit einem Sub-Prozess pro GPU verwendet, was zu einer deutlich besseren Leistung führte, als bei Verwendung von DataParallel, bei dem alle Berechnungen im selben Prozess stattfinden.