Intel Gaudi 2 KI-Beschleuniger treibt Lama voran 2 Textgenerierung

Prozent durchschnittliche Gaming-Performance-Steigerung gegenüber dem Standard “KI überall” Die Hype-Kampagne hat den meisten Lärm verursacht Mainstream und Unternehmenssegmente. Gaudi von Team Blue – eine Familie von Deep-Learning-Beschleunigern – gerät nicht allzu oft in die Schlagzeilen. Ihr aktuelles Generationsmodell, Gaudí 2, wird von den Alternativen Team Green und Red überschattet – so Intels offizielles Marketing-Geschwafel: “Es bietet eine konkurrenzfähige Leistung bei Deep-Learning-Training und Inferenz, mit bis zu 2,4x schnellerer Leistung als NVIDIA A100.” Habana, eine Intel-Tochtergesellschaft, daran gearbeitet hat Optimierung des großen Sprachmodells (LLM) Rückschluss auf Gaudi 1 und 2 für eine Weile – ihre Zusammenarbeit mit Umarmendes Gesicht hat beeindruckende Ergebnisse hervorgebracht, ab Ende Februar. Siddhant Jagtap, ein Intel Data Scientist, hat demonstriert: “wie einfach es ist, mit dem Lama Texte zu generieren 2 Modellfamilie (7b, 13b und 70b) unter Verwendung von Optimum Habana und einer benutzerdefinierten Pipeline-Klasse.”

Jagtap geht davon aus, dass die Leute dazu in der Lage sein werden: “Führen Sie die Modelle mit nur wenigen Codezeilen aus” auf Gaudí 2 Beschleuniger – zusätzlich, Die Hardware von Intel ist in der Lage, einzelne und mehrere Eingabeaufforderungen zu akzeptieren. Die benutzerdefinierte Pipelineklasse: “wurde so konzipiert, dass es große Flexibilität und Benutzerfreundlichkeit bietet. Außerdem, Es bietet ein hohes Maß an Abstraktion und führt eine End-to-End-Textgenerierung durch, die eine Vor- und Nachbearbeitung umfasst.” Seine Artikel/Blog beschreibt verschiedene Voraussetzungen und Methoden, um Lama zu bekommen 2 Textgenerierung auf Gaudi zum Laufen gebracht 2. Jagtap kam zu dem Schluss, dass Habana/Intel dies getan hat: “präsentierte eine benutzerdefinierte Textgenerierungspipeline auf Intel Gaudi 2 KI-Beschleuniger, der einzelne oder mehrere Eingabeaufforderungen als Eingabe akzeptiert. Diese Pipeline bietet große Flexibilität hinsichtlich der Modellgröße sowie der Parameter, die sich auf die Qualität der Textgenerierung auswirken. Furthermore, Es ist außerdem sehr einfach zu verwenden und in Ihre Skripte einzubinden, und ist mit LangChain kompatibel.” Hugging Face meint dieser Gaudí 2 liefert etwa die doppelte Durchsatzgeschwindigkeit von NVIDIA A100 80 GB sowohl in Trainings- als auch in Inferenzszenarien. Intel hat neckte Gaudi der dritten Generation Beschleuniger – Branchenbeobachter glauben, dass Lösungen der nächsten Generation darauf ausgelegt sind, mit Team Green zu konkurrieren H100 KI-GPUs.