Patent enthüllt, dass Nintendo an Upscaling-Technologie arbeitet
Patents are always a rather intriguing thing to track in the technology industry – sometimes they represent ideas and products that’ll never see the light of day, but there are occasions when they give clues to future releases. A freshly released US patent application could be the latter, as it addresses technology that could allow Nintendo to boost visuals in its hardware.
Opened on 25th March 2020 and released publicly yesterday (30September), the application is titled ‘systems and methods for machine learned image conversion’, and though the initial language can be a headscratcher it is essentially an idea similar to NVIDIA’s DLSS. That’s short for Deep Learning Super Sampling in NVIDIA’s case, which works on some of its GPUs to upscale image resolution und quality in real time, while also being remarkably efficient and ensuring that the graphics card is under less strain. It’s impressive technology, and it’s been front and centre in a lot of talk about how Nintendo could produce a new Switch-style portable device that outputs higher resolution visuals, while still working with low power output.
What makes this application intriguing is that Nintendo is clearly exploring this internally – a named party on the application is Alexandre Delattre, who is a co-founder of Nintendo European Research and Development. It’s also acknowledged in the ‘Introduction’ of the patent that this is an area being explored throughout the industry:
Maschinelles Lernen kann Computern die Fähigkeit geben, eine bestimmte Aufgabe zu „lernen“, ohne den Computer ausdrücklich für diese Aufgabe zu programmieren. Eine Art von maschinellem Lernsystem wird als Convolutional Neural Networks bezeichnet (CNNs)– eine Klasse von neuronalen Deep-Learning-Netzen. Solche Netzwerke (und andere Formen des maschinellen Lernens) kann benutzt werden um, for example, helfen dabei, automatisch zu erkennen, ob eine Katze auf einem Foto zu sehen ist. Das Lernen findet statt, indem Tausende oder Millionen von Fotos verwendet werden, um das Modell zu „trainieren“, um zu erkennen, wenn eine Katze auf einem Foto zu sehen ist. Während dies ein mächtiges Werkzeug sein kann, die resultierende Verarbeitung der Verwendung eines trainierten Modells (und Trainieren des Modells) kann immer noch rechenintensiv sein, wenn es in einer Echtzeitumgebung eingesetzt wird.
Bildaufwärtskonvertierung ist eine Technik, die eine Konvertierung von Bildern ermöglicht, die in einer ersten Auflösung erzeugt wurden (e.g., 540p-Auflösung oder 960×540 mit 0.5 Megapixel) auf eine höhere Auflösung (e.g., 1080p Auflösung, 1920×1080, bei 2.1 Megapixel). Dieser Prozess kann verwendet werden, um Bilder der ersten Auflösung auf einer Anzeige mit höherer Auflösung anzuzeigen. Daher, for example, ein 540p-Bild kann auf einem 1080p-Fernseher angezeigt werden und (abhängig von der Natur des Up-Conversion-Prozesses) kann mit erhöhter grafischer Wiedergabetreue angezeigt werden, verglichen damit, wenn das 540p-Bild direkt auf herkömmliche Weise angezeigt würde (e.g., linear) Upscaling auf a 540 television. Unterschiedliche Techniken zur Bild-Aufwärtskonvertierung können einen Kompromiss zwischen der Geschwindigkeit darstellen (e.g., wie lange der Vorgang zum Konvertieren eines bestimmten Bildes dauert) und die Qualität des hochkonvertierten Bildes. Beispielsweise, wenn ein Prozess zur Aufwärtswandlung in Echtzeit durchgeführt wird (e.g., wie während eines Videospiels), dann kann die Bildqualität des resultierenden hochkonvertierten Bildes leiden.
Entsprechend, es wird geschätzt, dass neue und verbesserte Techniken, Systeme, und Prozesse werden in diesen Technologiebereichen laufend gesucht.
Letztendlich sollte es keine Überraschung sein, dass Nintendo an der Hochskalierung durch maschinelles Lernen forscht, da dies wahrscheinlich ein entscheidender Faktor sein sollte, sollte sich das Unternehmen dafür entscheiden, einen Formfaktor im Switch-Stil beizubehalten und in Zukunft eine größere grafische Genauigkeit zu bieten. Interessant ist auch, ob Nintendo in zukünftigen Geräten noch NVIDIA-Technologie einsetzen wird; Wenn es eine eigene Lösung entwickelt, benötigt es die DSL-Lösung von NVIDIA möglicherweise nicht.
Teilen Sie uns Ihre Meinung in den Kommentaren mit!