Google hat VaultGemma, ein leistungsstarkes gro\u00dfes Sprachmodell mit einer Milliarde Parametern, als Open Source ver\u00f6ffentlicht. Dieses Modell wurde speziell entwickelt, um datenschutzsensible Anwendungen zu erm\u00f6glichen, und soll neue Standards in der sicheren KI-Entwicklung setzen. VaultGemma basiert auf der Decoder-Only-Transformer-Architektur von Gemma 2, zeichnet sich durch 26 Schichten und Multi-Query Attention aus und begrenzt die Sequenzl\u00e4nge auf 1.024 Token. Diese Einschr\u00e4nkung dient dazu, die rechnerischen Anforderungen des privaten Trainings zu minimieren. <\/p>\n
Einzigartig ist VaultGemmas Fokus auf differenzieller Privatsph\u00e4re. Anstelle von herk\u00f6mmlichen Methoden, bei denen Daten anonymisiert werden, implementiert es kontrolliertes Rauschen in die Datens\u00e4tze w\u00e4hrend des Trainings. Zus\u00e4tzlich werden DP Scaling Laws eingef\u00fchrt, um ein optimales Gleichgewicht zwischen Rechenleistung, Datenschutzbudget und Modellnutzbarkeit zu erreichen. Diese Innovationen \u00fcberbr\u00fccken historische Effizienz- und Stabilit\u00e4tsprobleme, die private LLMs oft behindert haben. Durch angepasste Trainingsprotokolle, die gr\u00f6\u00dfere Batch-Gr\u00f6\u00dfen erm\u00f6glichen, erreicht VaultGemma eine Leistung, die mit nicht-privaten Modellen wie Gemma auf Benchmarks wie MMLU und Kaggle vergleichbar ist. <\/p>\n
Der offene Charakter von VaultGemma wird durch seine Ver\u00f6ffentlichung auf Plattformen wie Hugging Face und Kaggle unterstrichen. Im Gegensatz zu propriet\u00e4ren LLMs wie Gemini Pro steht das gesamte Wissen, einschlie\u00dflich der Gewichte und des Codes, der \u00d6ffentlichkeit zur Verf\u00fcgung. Dieser Schritt verfolgt das Ziel, den Zugang zu leistungsstarker privater KI zu demokratisieren und Innovationen in sensiblen Bereichen voranzutreiben, in denen bisher datenschutzbedingte Einschr\u00e4nkungen herrschten. Google positioniert sich damit als Vorreiter im Bereich der KI-Privatsph\u00e4re, ein Aspekt, der angesichts der sich entwickelnden Regulierungen zunehmend an Bedeutung gewinnt. Durch VaultGemmas offene und transparente Natur erm\u00f6glicht Google eine verantwortungsvolle und datenschutzorientierte Entwicklung von K\u00fcnstlicher Intelligenz.<\/p>\n
Schlagw\u00f6rter: VaultGemma + Google + VaultGemmas<\/p>\n","protected":false},"excerpt":{"rendered":"
Google hat VaultGemma, ein leistungsstarkes gro\u00dfes Sprachmodell mit einer Milliarde Parametern, als Open Source ver\u00f6ffentlicht. Dieses Modell wurde speziell entwickelt, um datenschutzsensible Anwendungen zu erm\u00f6glichen, und soll neue Standards in der sicheren KI-Entwicklung setzen. VaultGemma basiert auf der Decoder-Only-Transformer-Architektur von Gemma 2, zeichnet sich durch 26 Schichten und Multi-Query Attention...<\/p>\n","protected":false},"author":6,"featured_media":14300,"comment_status":"","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-14301","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-uncategorized"],"_links":{"self":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts\/14301","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/users\/6"}],"replies":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=14301"}],"version-history":[{"count":0,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts\/14301\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/media\/14300"}],"wp:attachment":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=14301"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=14301"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=14301"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}