Intel in der Kritik: Manipulierte Benchmarks bei Xeon-SP-Prozessoren entdeckt

Intel gerät in die Kritik: Die Versprechen zur Leistung der vierten Generation der Xeon-SP-Prozessoren, auch bekannt als Sapphire Rapids, scheinen nicht ganz der Wahrheit zu entsprechen. Der Hersteller behauptete, dass die Leistung im Vergleich zur vorherigen Generation Ice Lake um durchschnittlich 53 Prozent gesteigert wurde. Diese Behauptung stützte sich auf den Benchmark SPECint 2017. Doch die Standard Performance Evaluation Corporation (SPEC) hat herausgefunden, dass die Ergebnisse für Sapphire Rapids manipuliert wurden. In vielen Datenbankeinträgen wird nun darauf hingewiesen, dass eine Compiler-Optimierung auf vorhandenes Wissen zurückgreift. Diese Optimierung beschleunigt zwar einen Teil des Benchmarks, hat jedoch keine Auswirkungen auf reale Anwendungen.

SPEC stellte fest, dass der verwendete Compiler eine spezielle Kompilierung angewendet hat, um die Leistung der Benchmarks 523.xalancbmk_r / 623.xalancbmk_s zu verbessern. Dabei wurde Wissen über den SPEC-Code und -Datensatz genutzt, um eine Transformation durchzuführen. Allerdings ist diese Transformation nur begrenzt anwendbar, weshalb das Ergebnis in der SPEC-Ergebnis-Datenbank lediglich als historische Referenz aufbewahrt wird.

Phoronix zufolge sind über 2600 Benchmark-Einträge in der Datenbank des SPEC CPU2017 von dieser Optimierung betroffen. Dadurch wurden die Gesamtergebnisse um 4 bis 9 Prozent gesteigert, abhängig von der Kategorie.

Intel verwendet für die Übersetzung des Programmcodes ihrer Prozessoren den eigens entwickelten Compiler oneAPI-DPC/C. Es ist üblich, Optimierungen vorzunehmen, die unter bestimmten Bedingungen erlaubt sind. Allerdings sollten diese Optimierungen allgemeingültig sein und nicht nur die Benchmarks verbessern.

Der oneAPI-DPC/C-Compiler von Intel basiert auf LLVM Clang und ist im Wesentlichen Open-Source-Software. AMD hat ebenfalls einen eigenen Compiler namens AOCC, der jedoch als weniger fortgeschritten angesehen wird.

Die Optimierung für SPECint war in den Versionen des oneAPI-DPC/C-Compilers von 2022 und frühen 2023 enthalten, ist jedoch in der aktuellen Version 2023.2.3 nicht mehr verfügbar. Dadurch bleiben die Ergebnisse der neuen Xeon-SP-Generation Emerald Rapids unbeeinflusst.

Interessanterweise zeigt ein Vergleich zwischen den beiden 60-Kern-Prozessoren Xeon Platinum 8490H (Sapphire Rapids) und Xeon Platinum 8580 (Emerald Rapids), dass das ältere Modell mit einer früheren Compiler-Version den 523.xalancbmk_r-Test in etwa 150 Sekunden abschließt, während der Nachfolger, der um 100 bis 500 MHz schneller ist, etwa 180 Sekunden benötigt. Dies deutet auf eine ungefähre 20-prozentige Verlangsamung hin. Da der SPECint-2017-Benchmark aus zehn individuellen Tests besteht, hat dies jedoch einen geringeren Einfluss auf das Gesamtergebnis.

Schlagwörter: Sapphire Rapids + Intel + SPEC

Wie bewerten Sie den Schreibstil des Artikels?