Revolutionäre Technik von MIT und IBM: EnergAIzer optimiert KI-Stromverbrauch messbar

Wissenschaftler des MIT und IBM Research haben eine revolutionäre Methode entwickelt, um den Stromverbrauch von künstlichen Intelligenz (KI)-Aufgaben effizient zu quantifizieren. Diese neue Technik namens EnergAIzer hebt sich von herkömmlichen Ansätzen durch Geschwindigkeit und Präzision ab und adressiert ein bisher ungelöstes Problem: die effiziente Ermittlung der Hardwareauslastung, die für genaue Stromverbrauchsprognosen essenziell ist.

Frühere Verfahren teilten sich in zwei Hauptgruppen auf. Die erste basierte auf Simulationen des Workloads auf der Ebene einzelner Prozessoranweisungen, wobei Schritt für Schritt analysiert wurde, um die Auslastung zu berechnen. Diese Methode lieferte präzise Ergebnisse, benötigte jedoch mehrere Stunden, selbst für einfache Aufgaben, was sie unpraktisch für Echtzeit-Prognosen machte. Die zweite Methode führte den Workload tatsächlich auf einer GPU aus und sammelte währenddessen Messwerte. Dieser Ansatz brachte jedoch erheblichen Overhead durch das Profiling mit sich und war zudem an die physische Verfügbarkeit einer geeigneten GPU gebunden.

EnergAIzer löst diese Herausforderungen, indem es die Struktur von KI-Workloads nutzt. Es erkennt, dass diese hauptsächlich auf wiederkehrenden Kernelementen basieren, wie beispielsweise verallgemeinerten Matrixmultiplikationen (GEMMs), nichtlinearen Reduktionsfunktionen (z. B. Softmax) und einfachen elementweisen Operationen (z. B. Aktivierungsfunktionen). Diese Kernelemente machen 90 bis 99 Prozent der Ausführungszeit in diversen Sprach- und Bildverarbeitungssystemen aus. Die Optimierung dieser Kernelemente durch Techniken wie Aufteilung über die Ausführungshierarchie, Thread-Block-Planung und Pipelining prägt den Speicherverkehr, die Lastverteilung und den Latenzausgleich. EnergAIzer extrahiert diese strukturierten Muster, abstrahiert die Kernelemente samt ihrer Optimierungsmöglichkeiten und erzeugt so ein grobes Raster, das dennoch architektonisch relevante Informationen für die Leistungsmodellierung liefert.

Durch diesen Ansatz eliminiert EnergAIzer die Skalierbarkeitslimitierungen klassischer Leistungsmodellverfahren. Die Nutzungsinformationen werden auf natürliche Weise abgeleitet, was eine schnelle und präzise Leistungsabschätzung ermöglicht. Experimente zeigen einen Fehler von lediglich 8 Prozent bei verschiedenen KI-Workloads und unterstreichen die hohe Effizienz und Genauigkeit dieser neuen Methode.

Schlagwörter: EnergAIzer + B. Softmax + MIT

Wie bewerten Sie den Schreibstil des Artikels?