Sophos, der Superheld unter den Sicherheitsanbietern, hat sein eigenes Benchmark-System aus der Taufe gehoben, um den Nutzen von Large-Language-Modellen (LLMs) in der Cyberwelt zu bewerten. Mit einem beeindruckenden Namen wie GPT-4 hat das Modell von Sophos die Konkurrenz in den Schatten gestellt und die besten Ergebnisse erzielt. Die Technologie der gro\u00dfen Sprachmodelle breitet sich wie ein Lauffeuer aus und es gibt mittlerweile eine ganze Armada von Open-Source- und propriet\u00e4ren Architekturen auf dem Markt, die um die Gunst der Kunden k\u00e4mpfen.<\/p>\n
SophosAI hat sich die M\u00fche gemacht und verschiedene M\u00f6glichkeiten untersucht, wie LLMs im Bereich der Cybersicherheit eingesetzt werden k\u00f6nnen. Wie ein Detektiv auf der Suche nach dem perfekten Partner f\u00fcr eine maschinelle Lernherausforderung hat Sophos Benchmark-Aufgaben entwickelt, um die F\u00e4higkeiten der Modelle schnell und einfach bewerten zu k\u00f6nnen. Denn manchmal ist es schwierig, aus der ganzen Masse an Optionen das perfekte Modell herauszufiltern.<\/p>\n
Da es m\u00f6glicherweise keine Unterschiede im sicherheitsspezifischen Fachwissen zwischen den Modellen gibt, hat das Team von SophosAI drei neue Benchmarks entwickelt. Diese Benchmarks nutzen LLMs als Assistenten, um bei der Untersuchung von Vorf\u00e4llen zu helfen. Dabei werden Fragen zur Telemetrie in nat\u00fcrlicher Sprache in SQL-Anweisungen umgewandelt. Das Large-Language-Modell analysiert dann die Daten aus einem Security Operations Center (SOC) und erstellt zusammenfassende Berichte zu den Vorf\u00e4llen. Zus\u00e4tzlich bewertet das LLM den Schweregrad der einzelnen Vorf\u00e4lle.<\/p>\n
Das Team von Sophos AI hat insgesamt 14 Modelle auf Herz und Nieren getestet. Dabei wurden Kriterien wie Modellgr\u00f6\u00dfe, Beliebtheit, Kontextgr\u00f6\u00dfe und Aktualit\u00e4t ber\u00fccksichtigt. Unter den getesteten Modellen waren verschiedene Varianten der Modelle LlaMa2 und CodeLlaMa von Meta, Amazon-Titan-Large sowie das f\u00fchrende Modell GPT-4 von OpenAI. Bei den ersten beiden Aufgaben hat sich das OpenAI-Tool als klarer Sieger herauskristallisiert. Es hat die anderen Modelle alt aussehen lassen.<\/p>\n
Interessanterweise konnte keines der Modelle beim letzten Benchmark eine ausreichend genaue Kategorisierung des Schweregrads der Vorf\u00e4lle erreichen, die besser war als eine zuf\u00e4llige Auswahl. Das zeigt, dass es immer noch Raum f\u00fcr Verbesserungen gibt und dass die menschliche Intelligenz in manchen F\u00e4llen noch nicht ganz zu ersetzen ist.<\/p>\n
Sophos hat gro\u00dfz\u00fcgigerweise einen Link zu den Methoden und Ergebnissen der Benchmarks bereitgestellt, um Transparenz und Nachvollziehbarkeit zu gew\u00e4hrleisten. Denn schlie\u00dflich m\u00f6chte SophosAI Unternehmen dabei helfen, das f\u00fcr ihre spezifischen Anforderungen am besten geeignete Large-Language-Modell auszuw\u00e4hlen. So k\u00f6nnen sie in der verr\u00fcckten Welt des Cyberspace einen Gang hochschalten und ihre Sicherheit verbessern.<\/p>\n
Schlagw\u00f6rter: LLM + Sophos + SophosAI<\/p>\n","protected":false},"excerpt":{"rendered":"
Sophos, der Superheld unter den Sicherheitsanbietern, hat sein eigenes Benchmark-System aus der Taufe gehoben, um den Nutzen von Large-Language-Modellen (LLMs) in der Cyberwelt zu bewerten. Mit einem beeindruckenden Namen wie GPT-4 hat das Modell von Sophos die Konkurrenz in den Schatten gestellt und die besten Ergebnisse erzielt. Die Technologie der...<\/p>\n","protected":false},"author":4,"featured_media":6070,"comment_status":"","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-6071","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-uncategorized"],"_links":{"self":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts\/6071","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/users\/4"}],"replies":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=6071"}],"version-history":[{"count":0,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts\/6071\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/media\/6070"}],"wp:attachment":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=6071"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=6071"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=6071"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}