Apples Team für maschinelles Lernen nimmt zusammen mit anderen Unternehmen der Branche an dem Open-Source-Projekt „DataComp for Language Models“ teil. Jetzt hat Apples KI-Team zwei neue Sprachmodelle veröffentlicht, die laut AppleInsider bestehende Maßstäbe übertreffen und dabei weniger Rechenleistung benötigen.

Apples Beitrag zur Open-Source-KI-Forschung

Das KI-Forschungsteam von Apple hat zwei neue Sprachmodelle vorgestellt. Die Modelle wurden für das Training von KI-Generatoren entwickelt. Das größere Modell mit 7 Milliarden Parametern hat den bisherigen Spitzenreiter MAP-Neo in Benchmarks um 6,6 Prozent übertroffen und benötigt dabei 40 Prozent weniger Rechenleistung. Das kleinere Modell von Apple beinhaltet 1,4 Milliarden Parameter. Beide Modelle haben bei den „Massive Multi-task Language Understanding“ Benchmarks (MMLU) sehr konkurrenzfähig abgeschnitten und können mit kommerziellen Modellen mithalten.

Apple hat seine Modelle vollständig als Open Source zur Verfügung gestellt und damit den Zugriff auf den Datensatz, die Gewichtungsmodelle und den Trainingscode ermöglicht. Dieser Ansatz ermöglicht es anderen Forschern, mit den Beiträgen von Apple zu arbeiten und darauf aufzubauen. Die Modelle sind auf HuggingFace.co verfügbar.

Apples Zusammenarbeit mit Hugging Face begann im April 2024, als das Unternehmen vier „Open Source Efficient LLMs“ (OpenELMs) auf der Plattform veröffentlichte. Hugging Face, bekannt für das Hosting von KI-Modellen, verfügt mittlerweile sogar über einen eigenen Apple-Bereich, da das Unternehmen zuletzt seinen Beitrag mit 20 neuen CoreML-Modellen erheblich erweitert hat.

Die von Apple auf HuggingFace veröffentlichten Modelle sind nicht für die Verwendung in zukünftigen Apple-Produkten vorgesehen. Stattdessen bieten sie eine verbesserte Effizienz bei der Zusammenstellung von Datensätzen, die zum Trainieren von KI-Modellen verwendet werden.

I am really excited to introduce DataComp for Language Models (DCLM), our new testbed for controlled dataset experiments aimed at improving language models. 1/x pic.twitter.com/uNe5mUJJxb

— Vaishaal Shankar (@Vaishaal) June 18, 2024