Inferact erobert die KI-Bühne: 150 Millionen Dollar für Open-Source-Inferenz-Engine vLLM und ihre revolutionären Ansätze

Inferact tritt aus dem Schatten und bekräftigt mit einer großzügigen Finanzierungsrunde von 150 Millionen Dollar sowie einer Bewertung von 800 Millionen Dollar die zunehmende Bedeutung von Open-Source-Infrastruktur in der KI-Welt. Das Unternehmen fokussiert sich auf vLLM, eine weitverbreitete Open-Source-Inferenz-Engine für große Sprachmodelle, die im Sky Computing Lab der UC Berkeley entwickelt wurde. Schon früh an den Wurzeln des Projekts waren prominente Persönlichkeiten wie Ion Stoica, Mitbegründer von Databricks und Professor an der UC Berkeley, beteiligt. vLLM hat sich in kürzester Zeit zu einem Open-Source-Kraftpaket mit über 2000 aktiven Entwicklern entwickelt, das durch Techniken wie PagedAttention die Inferenzgeschwindigkeit maximiert und die effiziente Hardwarenutzung verbessert. Diese Technik revolutioniert den Speicherverbrauch, indem KV-Cache-Daten nicht mehr direkt benachbart im RAM gespeichert, sondern in separaten Segmenten verteilt werden, was einen spürbaren Effekt auf den Ressourcenbedarf hat. Zusätzliche Optimierungen durch Quantisierung reduzieren den Speicherbedarf weiter, während die Generierung mehrerer Tokens die Inferenzgeschwindigkeit erhöht. Inferact plant nun, vLLM als serverloses, kostenpflichtiges Angebot zu etablieren. Dieses verwaltete System automatisiert nicht nur Bereitstellung und Updates, sondern bietet auch umfassende Funktionen wie Beobachtbarkeit, Fehlersuche und Notfallwiederherstellung, voraussichtlich auf Basis von Kubernetes. Wenigstens genauso wichtig ist, dass das Gründungsteam eng mit dem upstream Open-Source-Projekt verbunden bleibt und kontinuierlich zum Fortschritt von vLLM beiträgt. Geplante Verbesserungen umfassen neue Leistungsoptimierungen, Unterstützung für fortschrittliche Modellarchitekturen und eine breitere Hardware-Kompatibilität in Rechenzentren. Durch diesen Ansatz verbindet Inferact die Vorteile eines offenen Ökosystems mit der Benutzerfreundlichkeit einer Managed-Lösung, um die KI-Integration für Unternehmen zu vereinfachen und zugänglicher zu machen.

Schlagwörter: vLLM + Berkeley + Ion Stoica

Wie bewerten Sie den Schreibstil des Artikels?