Apple veröffentlicht Open-Source-KI-Modelle, die auf dem Gerät ausgeführt werden

Apple hat heute mehrere Open-Source-LLMs (Large Language Models) veröffentlicht, die für die Ausführung auf Geräten und nicht über Cloud-Server konzipiert sind. LLM-Programme heißen OpenELM (Open Source Efficient Language Models) und sind unter verfügbar Das Herzstück des umarmenden Gesichtseine Community zum Teilen von KI-Code.

Wie im Whitepaper gezeigt [PDF]Es gibt insgesamt acht OpenELM-Modelle, von denen vier mithilfe der CoreNet-Bibliothek vorab trainiert wurden und vier auf Anweisungen abgestimmte Modelle sind. Apple verwendet eine Layer-Skalierungsstrategie, die darauf abzielt, Genauigkeit und Effizienz zu verbessern.

Apple stellte Code, Trainingsprotokolle und mehrere Versionen zur Verfügung und nicht nur das endgültige Trainingsmodell, und die Forscher hinter dem Projekt hoffen, dass dies zu schnelleren Fortschritten und „vertrauenswürdigeren Ergebnissen“ im Bereich der KI in natürlicher Sprache führen wird.

OpenELM, ein offenes, sich entwickelndes Sprachmodell. OpenELM verwendet eine Schichtskalierungsstrategie, um Parameter innerhalb jeder Schicht des Transformatormodells effizient zuzuordnen, was zu einer verbesserten Genauigkeit führt. Mit einem Parameterbudget von etwa 1 Milliarde Parametern zeigt OpenELM beispielsweise eine Verbesserung der Genauigkeit um 2,36 % gegenüber OLMo und erfordert gleichzeitig 2x weniger Token für das Vortraining.

Unsere Version löst sich von früheren Praktiken, die nur Modellgewichte, Inferenzcode und Vortraining für private Datensätze bereitstellen, und umfasst das vollständige Framework für das Training und die Bewertung des Sprachmodells für öffentlich verfügbare Datensätze, einschließlich Trainingsprotokollen, mehreren Prüfpunkten und Vortraining. Punkte. Trainingskonfigurationen.

Apple gibt an, OpenELM-Modelle auf den Markt zu bringen, um „die offene Forschungsgemeinschaft zu stärken und zu bereichern“ mit modernen Sprachmodellen. Die gemeinsame Nutzung von Open-Source-Modellen bietet Forschern die Möglichkeit, Risiken, Daten und Modellverzerrungen zu untersuchen. Entwickler und Unternehmen können die Vorlagen unverändert verwenden oder Änderungen daran vornehmen.

Der offene Informationsaustausch ist für Apple zu einem wichtigen Instrument zur Rekrutierung von Top-Ingenieuren, Wissenschaftlern und Experten geworden, da er Möglichkeiten für Forschungsarbeiten bietet, die normalerweise nicht im Rahmen der Vertraulichkeitsrichtlinien von Apple veröffentlicht worden wären.

Apple hat diese Art von KI-Funktionen noch nicht auf seine Geräte gebracht, aber iOS 18 wird voraussichtlich eine Reihe neuer KI-Funktionen enthalten, und Gerüchten zufolge plant Apple, aus Datenschutzgründen seine eigenen großen Sprachmodelle auf dem Gerät auszuführen.