Apple-Mitarbeiter haben ein multimodales Sprachmodell namens Ferret-UI entwickelt, um die Schwierigkeiten von Sprachmodellen bei der Erkennung spezifischer Elemente von App-Bedienoberfl\u00e4chen zu \u00fcberwinden. In einem k\u00fcrzlich ver\u00f6ffentlichten wissenschaftlichen Artikel wurde beschrieben, wie das Sprachmodell darauf trainiert wurde, die Benutzeroberfl\u00e4che von mobilen Apps zu verstehen.<\/p>\n
Ferret-UI wurde speziell darauf trainiert, grundlegende Elemente wie Icons, Beschreibungen und Listen zu erkennen und daraus die zugrunde liegenden Funktionen abzuleiten. Dar\u00fcber hinaus kann das Sprachmodell Fragen zur App oder zur Benutzeroberfl\u00e4che beantworten. Wenn der Nutzer eine spezifische Aktion ausf\u00fchren m\u00f6chte, ist es das Ziel von Ferret-UI, das entsprechende Bedienelement in der App hervorzuheben.<\/p>\n
Die Apple-Mitarbeiter haben bereits mehrere wissenschaftliche Artikel zu Sprachmodellen ver\u00f6ffentlicht. Allerdings ist derzeit unklar, ob und auf welche Weise diese F\u00e4higkeiten in iOS 18 integriert werden. Es bleibt also abzuwarten, ob Ferret-UI in zuk\u00fcnftigen Versionen des Betriebssystems Einzug halten wird.<\/p>\n
Multimodale Sprachmodelle haben in den letzten Jahren gro\u00dfe Fortschritte gemacht und sind in der Lage, komplexe Aufgaben wie Bilderkennung und Sprachverst\u00e4ndnis zu bew\u00e4ltigen. Dennoch sto\u00dfen sie immer noch auf Schwierigkeiten, wenn es darum geht, spezifische Elemente von App-Bedienoberfl\u00e4chen zu verstehen. Ferret-UI k\u00f6nnte hier einen wichtigen Schritt nach vorn bedeuten und die Interaktion mit mobilen Apps erleichtern.<\/p>\n
Schlagw\u00f6rter: Ferret-UI + LLM + Apple<\/p>\n","protected":false},"excerpt":{"rendered":"
Apple-Mitarbeiter haben ein multimodales Sprachmodell namens Ferret-UI entwickelt, um die Schwierigkeiten von Sprachmodellen bei der Erkennung spezifischer Elemente von App-Bedienoberfl\u00e4chen zu \u00fcberwinden. In einem k\u00fcrzlich ver\u00f6ffentlichten wissenschaftlichen Artikel wurde beschrieben, wie das Sprachmodell darauf trainiert wurde, die Benutzeroberfl\u00e4che von mobilen Apps zu verstehen. Ferret-UI wurde speziell darauf trainiert, grundlegende Elemente...<\/p>\n","protected":false},"author":4,"featured_media":6416,"comment_status":"","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[],"class_list":["post-6417","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-uncategorized"],"_links":{"self":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts\/6417","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/users\/4"}],"replies":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=6417"}],"version-history":[{"count":0,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/posts\/6417\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=\/wp\/v2\/media\/6416"}],"wp:attachment":[{"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=6417"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=6417"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/byte-bucket.com\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=6417"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}