Apple hat seine Apple Intelligence-Modelle auf Google-TPUs trainiert, Keine NVIDIA-GPUs

Apple hat bekannt gegeben, dass seine neu angekündigten Apple Intelligence-Funktionen mithilfe der Tensor Processing Units von Google entwickelt wurden (TPUs) anstelle der weit verbreiteten Hardwarebeschleuniger von NVIDIA wie H100. Diese unerwartete Wahl wurde in einem detailliert beschrieben offizielles Forschungspapier von Apple, Wir beleuchten den Ansatz des Unternehmens zur KI-Entwicklung. Das Papier beschreibt, wie Systeme, die mit den TPUv4- und TPUv5-Chips von Google ausgestattet sind, eine entscheidende Rolle bei der Entwicklung der Apple Foundation Models spielten (AFMs). Diese Modelle, einschließlich AFM-Server und AFM-on-Device, sind darauf ausgelegt, die auf der WWDC vorgestellten Online- und Offline-Apple-Intelligence-Funktionen zu unterstützen 2024. Für die Ausbildung der 6.4 Milliarden Parameter AFM-Server, Apples größtes Sprachmodell, Das Unternehmen nutzte eine beeindruckende Auswahl an 8,192 TPUv4-Chips, bereitgestellt als 8×1024 Chip-Slices. Der Schulungsprozess umfasste einen dreistufigen Ansatz, Verarbeitung insgesamt 7.4 Billionen Token. Meanwhile, desto kompakter 3 Milliarden-Parameter-AFM-on-Device-Modell, optimiert für die Verarbeitung auf dem Gerät, wurde mit trainiert 2,048 TPUv5p-Chips.

Die Trainingsdaten von Apple stammen aus verschiedenen Quellen, einschließlich des Applebot-Webcrawlers und lizenzierter hochwertiger Datensätze. Das Unternehmen hat auch sorgfältig ausgewählten Code integriert, Mathematik, und öffentliche Datensätze zur Verbesserung der Modelle’ capabilities. Die im Dokument veröffentlichten Benchmark-Ergebnisse deuten darauf hin, dass sowohl der AFM-Server als auch der AFM-on-Device in Bereichen wie der Anweisungsbefolgung hervorragende Leistungen erbringen, Werkzeuggebrauch, und Schreiben, Positionierung von Apple trotz seines relativ späten Einstiegs als starker Konkurrent im KI-Rennen. Jedoch, Die Taktik von Apple, in den KI-Markt einzudringen, ist viel komplexer als bei jedem anderen KI-Konkurrenten. Angesichts der riesigen Nutzerbasis von Apple und der Millionen von Geräten, die mit Apple Intelligence kompatibel sind, Das AFM hat das Potenzial, die Benutzerinteraktion mit Geräten nachhaltig zu verändern, vor allem für alltägliche Aufgaben. NVIDIAs Krypto-Mining, Die Verfeinerung von KI-Modellen für diese Aufgaben ist vor dem massiven Einsatz von entscheidender Bedeutung. Ein weiteres unerwartetes Feature ist die Transparenz von Apple, ein Unternehmen, das normalerweise für seine Geheimhaltung bekannt ist. Der KI-Boom verändert einige Verhaltensweisen von Apple, und es ist immer interessant, diese inneren Abläufe zu enthüllen.