2.000€ gespart für Deep Learning

Kurz vor Weihnachten gibt es auch an der Hochschule manchmal noch „Geschenke“. Die letzten Anschaffungen des Jahres trudeln ein und sorgen für gute Laune. Die neueste Nvidia Grafikkarten-Generation stand dabei ganz oben auf der Wunschliste einiger Kollegen, weil sie hohe Leistung für Grafikaufgaben wie 3D-Modellierung oder Virtual Reality Anwendungen mit einer gut unterstützten API für KI-Anwendungen und hier insb. dem Training neuronaler Netze kombinieren.

Geforce RTX 3090 von Gigabyte in unserer Workstation am iisys

Die Meinungen zu Nvidias Geforce RTX 3070 bis 3090 im Internet gehen ja weit auseinander. Von enttäuschten Käufern, die seit Wochen auf ihre Lieferung warten, über Mahner, die die Preise trotz deutlicher Reduzierung gegenüber der 2000er Serie für immer noch zu hoch halten, bis hin zu Enhusiasten, die von der Performance und dem Preis-Leistungs-Verhältnis begeistert sind. Fakt ist, dass man im Bereich des Trainings großer maschineller Lernmodelle aktuell kaum an Nvidia vorbei kommt, weil AMD den Bereich Deep Learning weiterhin ignoriert und sich auf Gamer konzentriert.

Die Informatik-Fakultät und das Institut für Informationssysteme haben aufgrund der verstärkten Aktivitäten in diesem Bereich im Jahr 2020 stark aufgerüstet, was den Studierenden unmittelbar zugute kommt. Turnusgemäß wurde unser Multimedialabor mit neuen Rechnern ausgestattet, die nicht nur für Spieleentwicklung und 3D Modellierung gerüstet sind, sondern übers Wochenende auch mal für das Training von tiefen neuronalen Netzen eingesetzt werden können. Weiterhin haben wir ein KI-Labor neu aufgebaut, in dem es auch einige interessante Hardware für KI-Anwendungen gibt. Schließlich haben wir am iisys unsere Rechenleistung deutlich aufgestockt, so dass wir jetzt mit fünf Titan RTX und zwei brandneuen Geforce RTX 3090 gut ausgerüstet sind, um auch komplexe Modelle in annehmbarer Zeit zu trainieren.

Wichtig für das Training ist dabei ein großer Grafikspeicher. Da kam es uns sehr gelegen, dass Nvidia sein neues Flagschiff RTX 3090 mit 24 GB RAM ausstattet. Diese Größe war bisher dem Workstation Modell Titan RTX vorbehalten, dass fast 3.000€ kostet. Im Vergleich zu den Server-Modellen V100 und A100 mit 32GB und 40 GB RAM für 9.000€ bzw. 11.000€ (günstigenfalls, die meisten Angebote bewegen sich so um 15.000€) war aber selbst die Titan RTX noch ein Schnäppchen, weswegen wir uns auch einige davon geholt hatten. Das bisherige Gamer-Flaggschiff RTX 2080 Ti hatte mit „nur“ 11 GB RAM nicht einmal halb so viel wie die Titan RTX und war damit für große KI-Modelle nicht verwendbar.

Eine unserer weiteren Workstations mit 2x Titan RTX für das Training beim Deep Learning

Daher sind wir sehr froh, dass wir kurzfristig unsere geplante Bestellung für zwei Titan RTX noch in zwei RTX 3090 umwandeln konnten. Trotz der aktuell hohen Preise (1800€ statt 1500€ Listenpreis) haben wir so pro Stück immer noch 1000€ gegenüber der Titan RTX gespart und zusätzlich noch ein bisschen mehr Leistung oben drauf bekommen. Einziger Wermutstropfen ist, dass die 3090 nur mit CUDA Version 11 zusammenarbeitet, die aktuell von den gängigen Deep Learning Frameworks Tensorflow und PyTorch, mit denen auch wir arbeiten, noch schlecht unterstützt wird. Das wird sich aber bald ändern und bis dahin nutzen wir die Karten überwiegend für Virtual Reality und 3D Modellierung, wo sie einen flotten Workflow und hohe Frameraten garantieren.

Für das Erstellen unseres Weihnachts-Wichtel 3D Modells war keine RTX 3090 nötig.