SophosAI stellt GPT-4 vor: Das Super-LLM von Sophos schlägt die Konkurrenz in Sicherheitstests

Sophos, der Superheld unter den Sicherheitsanbietern, hat sein eigenes Benchmark-System aus der Taufe gehoben, um den Nutzen von Large-Language-Modellen (LLMs) in der Cyberwelt zu bewerten. Mit einem beeindruckenden Namen wie GPT-4 hat das Modell von Sophos die Konkurrenz in den Schatten gestellt und die besten Ergebnisse erzielt. Die Technologie der großen Sprachmodelle breitet sich wie ein Lauffeuer aus und es gibt mittlerweile eine ganze Armada von Open-Source- und proprietären Architekturen auf dem Markt, die um die Gunst der Kunden kämpfen.

SophosAI hat sich die Mühe gemacht und verschiedene Möglichkeiten untersucht, wie LLMs im Bereich der Cybersicherheit eingesetzt werden können. Wie ein Detektiv auf der Suche nach dem perfekten Partner für eine maschinelle Lernherausforderung hat Sophos Benchmark-Aufgaben entwickelt, um die Fähigkeiten der Modelle schnell und einfach bewerten zu können. Denn manchmal ist es schwierig, aus der ganzen Masse an Optionen das perfekte Modell herauszufiltern.

Da es möglicherweise keine Unterschiede im sicherheitsspezifischen Fachwissen zwischen den Modellen gibt, hat das Team von SophosAI drei neue Benchmarks entwickelt. Diese Benchmarks nutzen LLMs als Assistenten, um bei der Untersuchung von Vorfällen zu helfen. Dabei werden Fragen zur Telemetrie in natürlicher Sprache in SQL-Anweisungen umgewandelt. Das Large-Language-Modell analysiert dann die Daten aus einem Security Operations Center (SOC) und erstellt zusammenfassende Berichte zu den Vorfällen. Zusätzlich bewertet das LLM den Schweregrad der einzelnen Vorfälle.

Das Team von Sophos AI hat insgesamt 14 Modelle auf Herz und Nieren getestet. Dabei wurden Kriterien wie Modellgröße, Beliebtheit, Kontextgröße und Aktualität berücksichtigt. Unter den getesteten Modellen waren verschiedene Varianten der Modelle LlaMa2 und CodeLlaMa von Meta, Amazon-Titan-Large sowie das führende Modell GPT-4 von OpenAI. Bei den ersten beiden Aufgaben hat sich das OpenAI-Tool als klarer Sieger herauskristallisiert. Es hat die anderen Modelle alt aussehen lassen.

Interessanterweise konnte keines der Modelle beim letzten Benchmark eine ausreichend genaue Kategorisierung des Schweregrads der Vorfälle erreichen, die besser war als eine zufällige Auswahl. Das zeigt, dass es immer noch Raum für Verbesserungen gibt und dass die menschliche Intelligenz in manchen Fällen noch nicht ganz zu ersetzen ist.

Sophos hat großzügigerweise einen Link zu den Methoden und Ergebnissen der Benchmarks bereitgestellt, um Transparenz und Nachvollziehbarkeit zu gewährleisten. Denn schließlich möchte SophosAI Unternehmen dabei helfen, das für ihre spezifischen Anforderungen am besten geeignete Large-Language-Modell auszuwählen. So können sie in der verrückten Welt des Cyberspace einen Gang hochschalten und ihre Sicherheit verbessern.

Schlagwörter: LLM + Sophos + SophosAI

Wie bewerten Sie den Schreibstil des Artikels?