Neue SuperChips ermöglichen Künstliche Intelligenz, Virtuelle Welten und Humanoide Roboter!

Industrial Makers auf der NVIDIA GTC, 18. bis 21. März 2024

Es soll der Beginn einer neuen Ära sein: Generative Artificial Intelligence erzeugt eine neue industrielle Revolution; die neue GPU-Platform GB2000 NVL 72 bestehend aus 72 Blackwell GPUs und 36 Grace CPUs hat eine unvorstellbare Rechenleistung von 1,4 EFLOPS; mit sogenannten NIMS sollen anwendungsspezifische AI-Modelle über Schnittstellen (APIs) verfügbar werden; NVIDIA entwickelt sich über hardware und software zur kompletten AI Foundry; die virtuelle Welt OMNIVERSE ermöglicht von allen physischen Objekten einen digitalen Zwilling zu erzeugen und insbesondere humanioden Robotern als Trainingsumfeld zu dienen. Nicht mehr und nicht weniger, verkündet der NVIDIA CEO in seiner KeyNote. Wir haben uns dies alles aus erster Hand angesehen und versuchen Rückschlüsse auf unseren Industrial MakerSpace und die Optimierung der Nutzung zu ziehen.

Es erscheint so, als würden wir alle in Zukunft mit nur noch 2 Quantitäten arbeiten: Elektronen (Ladungsträger) für den Energietransport und Tokens (Informationsträger) für die Kommunikation. Generative künstliche Intelligenz wird möglich durch die Erfindung des Transformers (=spezifische Architektur eines neuronalen Netzes um eine Inputsequenz in eine Outputsequenz zu übersetzen) vor weniger als 20 Jahren. Und die massive Steigerung der Rechenleistung durch Software-definierte und – optimierte Paralellisierung von Chips, die mittels hochleistungsfähigen Verbindungen und Schaltern übergangslos, verlustfrei und in Echtzeit gemeinsam an einer Anwendung arbeiten können. NVIDIA nennt diesen Software-Werkzeugkasten CUDA. Das aktuelle AI-Model von Open AI, GPT-4, hat einen Umfang von 1,8 Billionen (=deutsche Nomenklatur!) Parameter (= Variablen, die trainiert werden können um aus einem Input einen sinnvollen Output zu erzeugen). Um diese Modelle zu trainieren, benötigt man in der gleichen Größenordnung Token. Und die Größe der AI Modelle verdoppelt sich aktuell alle 6 Monate! Der Durchsatz von Token pro GPU und der Durchsatz von Token pro Nutzer müssen optimiert werden. Diese beiden Dimensionen treiben die geforderte Rechenleistung (die neue GPU Generation hat 30 mal die der letzten Generation) und Kommunikationsleistung (der neue NVlink switch hat 10 mal die Bandbreite im Vergleich zur letzten Generation). In den letzten 8 Jahren hat sich die Rechenleistung für AI Anwendungen vertausendfacht. Im Vergleich zu Zeiten der Chipentwicklung nach Moore’s Law (Verdopplung der Rechenleistung alle 18 Monate) erleben wir aktuell eine massive Beschleunigung.

Diese immense Rechenleistung verursacht Kosten. Um ein einziges AI-Model der Klasse von GPT-4 mit 1,8 Billionen Parametern zu trainieren benötigt man auch mit den neuen, energieeffizienten Blackwell GPUs etwa 90 Tage bei einer Leistungsaufnahme von 4 MW (entspricht einem Energieverbrauch von etwa 8640 MWh, d.h. etwa der Energieverbrauch von 3000 Einwohnern in Deutschland pro Jahr). Der Aufbau und der Betrieb von Datenzentren wird zum wesentlichen Faktor für die Energiestrategie jeder Volkswirtschaft werden.

Ein weiterer Lerneffekt war die Tiefe des AI-Ökosystems in Silicon Valley und an der US-Westküste. NVIDIA, heute quasi Alleinanbieter von GPUs, arbeitet vornehmlich mit Unternehmen aus der Nachbarschaft zusammen: Ansys (Simulations-Software), Synopsis (Lithography für die Chip Produktion), Cadence (Chip Design), Open AI und Anthropic (Generative AI Models), Google, Amazon, MicroSoft (Robotics und anderes), DELL (data center) und andere. Es kommen auch Siemens (Industrial Applications for the Omniverse / Digital Twins), Mercedes (Autonomes Fahren) und SAP (E-Commerce Applications) vor. Aber man merkt, da ist etwas weniger Herzblut am Werk. Zu guter letzt wird auch der Vollständigkeit halber ein Japanisches, YASKAWA, und ein Chinesisches Unternehmen, BYD, als Partner benannt.

Die Konferenz ist eine Entwicklerkonferenz mit technischen Panels, WorkShops und Vorträgen. Die Ausstellungsflächen sind voll mit applikationsspezifischen Produkten und Services von Firmen aus aller Welt. Nach inspirierenden 4 Tagen, beschäftigen wir uns nun damit herauszufinden, welche nutzbringenden Anwendungen wir mit den Möglichkeiten der GAI (generativen AI) gestalten, wie wir die APIs (Schnittstellen) zu den AI Anbietern programmieren, wie wir unsere proprietären Daten schützen und wie wir nicht nur die laufenden Kosten im Griff behalten, sondern auch zusätzliche Umsätze erzielen können.