Blog

Augenreflexionen lesen – und per KI in 3D umwandeln

Wir nähern uns immer weiter den vermeintlich absurden Tatort-Verbesserungsmöglichkeiten von „CSI: Miami“ an. Olaf Giermann ist über ein interessantes Paper gestolpert, das zeigt, welche unglaublichen Möglichkeiten uns erwarten.

Foto: Olaf Giermann. Augenreflexionen lesen – und per KI in 3D umwandeln
Foto: Olaf Giermann

Fiction: „CSI: Miami“

„CSI: Miami“ kenne ich nur, weil es eine geniale Parodie darauf in „Switch Reloaded“ gab – und aufgrund der Memes rund um das magisch-endlose Hineinzoomen und Verbessern selbst des schlechtesten Bildmaterials.

Echt irre, was in „CSI: Miami“ möglich ist: Niedrig auflösendes Footage aus einer Überwachungskamera zeigt nach einem lapidaren „Enhance it!“ vormals verschwommene Nummernschilder und Gesichter in höchster Auflösung und Schärfe. Das ist natürlich mehr Fiction als Science.
Echt irre, was in „CSI: Miami“ möglich ist: Niedrig auflösendes Footage aus einer Überwachungskamera zeigt nach einem lapidaren „Enhance it!“ vormals verschwommene Nummernschilder und Gesichter in höchster Auflösung und Schärfe. Das ist natürlich mehr Fiction als Science.

Real: Schärfung und Detailrekonstruktion per KI

Moderne Softwares, wie Topaz Sharpen und Luminar Neo zeigen aber, dass durch KI-basierte Dekonvolutionsverfahren mehr Bildrettung möglich ist, als wir noch vor wenigen Jahren für möglich gehalten hatten.

Zum Glück habe ich nicht alle Fotos mit Bewegugnsunschärfen gelöscht, sonst hätte ich heute keine vorzeigbaren Beispielbilder. ;-) Links das verwackelte Foto, rechts die mit Topaz Photo geschärfte „entwackelte“ Variante.  © Olaf Giermann
Zum Glück habe ich nicht alle Fotos mit Bewegugnsunschärfen gelöscht, sonst hätte ich heute keine vorzeigbaren Beispielbilder. 😉 Links das verwackelte Foto, rechts die mit Topaz Photo geschärfte „entwackelte“ Variante. © Olaf Giermann

Die mit Apps wie Remini oder Photoshops Neuralfilter »Bildrekonstruktion« möglichen Wiederherstellungen von Details basieren aber eher auf einer Neuerfindung der Details. Stellen Sie sich das so vor: Es wird per KI ein scharfes Pendant erzeugt, das dem unscharfen Bildelement möglichst genau entspricht. Remini kann das übrigens noch deutlich besser als Photoshops Filter, der sich aber (immer noch) in der Beta-Phase befindet. Siehe dazu meinen Blogbeitrag oder meinen großen Vergleichstest in DOCMA 103hier im DOCMA-Shop erhältlich.

In meinem Vergleichstest der verschiedenen KI-Schärfungstools ging Remini als klarer Sieger bei Porträts hervor. Augenreflexionen lesen – und per KI in 3D umwandeln
In meinem Vergleichstest der verschiedenen KI-Schärfungstools ging Remini als klarer Sieger bei Porträts hervor.

Licht-Set-up aus Augenreflexionen

Wenn man gut Fotos sieht, fragt man sich als neugieriger Mensch natürlich, wie das gemacht wurde. Ein wichtiger Teil ist die Beleuchtung. Falls Sie eine hochauflösende Fotoversion betrachten können, lassen sich Lichtquellen, Diffusoren und Reflektoren insbesondere im Auge des Models erkennen. Ein Ansatz für Reverse Engineering der Lichtsituation.

Foto: Olaf Giermann. Augenreflexionen lesen – und per KI in 3D umwandeln
Foto: Olaf Giermann

So weit, so einfach.

3D aus den Augenreflexionen

Auf GitHub wurde von Wissenschaftlern der University of Maryland ein KI-Modell vorgestellt, das aus den Augenreflexionen ein 3D-Modell der dort sphärisch gespiegelten Umgebung erzeugt. Nötig sind dazu mehrere, hochauflösende Bilder (etwa aus Videos) derselben Person in dieser Umgebung. Mit einem sogenannten Neural Radiance Field (NeRF), einem neuronalen Netz, wird dadurch eine 3D-Repräsentation erzeugt, bei der man den Blickpunkt ändern kann. Schauen Sie sich unbedingt die Videos auf der Seite an!

Die beeindruckenden Beispiele in der unteren Reihe mit den rekonstruierten Räumen zeigen dabei übrigens noch nicht den realen, derzeitigen Stand der Dinge, sondern sind aus den Reflexionen auf künstlichen Augenmodellen in künstlichen Szenen abgeleitet. Die Ausgabequalität bei echten Fällen ist tatsächlich aber auch nur durch die Auflösung der dem NeRF zugeführten Bilder begrenzt.

Falls Sie die Details interessieren, finden Sie hier das Paper: Seeing the World through Your Eyes.


Zeig mehr

Olaf Giermann

Olaf Giermann gilt heute mit 20 Jahren Photoshop-Erfahrung sprichwörtlich als das »Photoshop-Lexikon« im deutschsprachigen Raum und teilt sein Wissen in DOCMA, in Video­kursen und in Seminaren.

Ähnliche Artikel

Schreiben Sie einen Kommentar

Bitte melden Sie sich an, um einen Kommentar zu schreiben.

Das könnte Dich interessieren
Close
Back to top button