Inferact tritt aus dem Schatten und bekr\u00e4ftigt mit einer gro\u00dfz\u00fcgigen Finanzierungsrunde von 150 Millionen Dollar sowie einer Bewertung von 800 Millionen Dollar die zunehmende Bedeutung von Open-Source-Infrastruktur in der KI-Welt. Das Unternehmen fokussiert sich auf vLLM, eine weitverbreitete Open-Source-Inferenz-Engine f\u00fcr gro\u00dfe Sprachmodelle, die im Sky Computing Lab der UC Berkeley entwickelt wurde. Schon fr\u00fch an den Wurzeln des Projekts waren prominente Pers\u00f6nlichkeiten wie Ion Stoica, Mitbegr\u00fcnder von Databricks und Professor an der UC Berkeley, beteiligt. vLLM hat sich in k\u00fcrzester Zeit zu einem Open-Source-Kraftpaket mit \u00fcber 2000 aktiven Entwicklern entwickelt, das durch Techniken wie PagedAttention die Inferenzgeschwindigkeit maximiert und die effiziente Hardwarenutzung verbessert. Diese Technik revolutioniert den Speicherverbrauch, indem KV-Cache-Daten nicht mehr direkt benachbart im RAM gespeichert, sondern in separaten Segmenten verteilt werden, was einen sp\u00fcrbaren Effekt auf den Ressourcenbedarf hat. Zus\u00e4tzliche Optimierungen durch Quantisierung reduzieren den Speicherbedarf weiter, w\u00e4hrend die Generierung mehrerer Tokens die Inferenzgeschwindigkeit erh\u00f6ht. Inferact plant nun, vLLM als serverloses, kostenpflichtiges Angebot zu etablieren. Dieses verwaltete System automatisiert nicht nur Bereitstellung und Updates, sondern bietet auch umfassende Funktionen wie Beobachtbarkeit, Fehlersuche und Notfallwiederherstellung, voraussichtlich auf Basis von Kubernetes. Wenigstens genauso wichtig ist, dass das Gr\u00fcndungsteam eng mit dem upstream Open-Source-Projekt verbunden bleibt und kontinuierlich zum Fortschritt von vLLM beitr\u00e4gt. Geplante Verbesserungen umfassen neue Leistungsoptimierungen, Unterst\u00fctzung f\u00fcr fortschrittliche Modellarchitekturen und eine breitere Hardware-Kompatibilit\u00e4t in Rechenzentren. Durch diesen Ansatz verbindet Inferact die Vorteile eines offenen \u00d6kosystems mit der Benutzerfreundlichkeit einer Managed-L\u00f6sung, um die KI-Integration f\u00fcr Unternehmen zu vereinfachen und zug\u00e4nglicher zu machen.<\/p>\n
Schlagw\u00f6rter: vLLM + Berkeley + Ion Stoica<\/p>\n","protected":false},"excerpt":{"rendered":"
Inferact tritt aus dem Schatten und bekr\u00e4ftigt mit einer gro\u00dfz\u00fcgigen Finanzierungsrunde von 150 Millionen Dollar sowie einer Bewertung von 800 Millionen Dollar die zunehmende Bedeutung von Open-Source-Infrastruktur in der KI-Welt. Das Unternehmen fokussiert sich auf vLLM, eine weitverbreitete Open-Source-Inferenz-Engine f\u00fcr gro\u00dfe Sprachmodelle, die im Sky Computing Lab der UC Berkeley...<\/p>\n","protected":false},"author":4,"featured_media":15382,"comment_status":"","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-15383","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-uncategorized"],"_links":{"self":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts\/15383","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/users\/4"}],"replies":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=15383"}],"version-history":[{"count":0,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts\/15383\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/media\/15382"}],"wp:attachment":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=15383"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=15383"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=15383"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}