Blog

Entrauschen mit neuronalen Netzen

Es vergeht kaum eine Woche, in der nicht von neuen Heldentaten der künstlichen Intelligenz, oder, genauer gesagt, von neuronalen Netzen berichtet wird. Letzte Woche hat ein Wissenschaftlerteam ein neues Verfahren vorgestellt, Rauschen aus Fotos und anderen Bildern zu entfernen – mit einem neuronalen Netz, das zuvor noch nie ein unverrauschtes Bild gesehen hatte: Entrauschen mit neuronalen Netzen.

Entrauschen mit neuronalen Netzen
Links das verrauschte Ausgangsbild, rechts die entrauschte Version

Das Projekt ist eine Kooperation der Firma NVIDIA, der Aalto Universität in Finnland, und des MIT in Cambridge, Massachusetts. Bei „NVIDIA“ denkt man zunächst an Grafikchips, aber in letzter Zeit erregte dieser Hersteller durch seine Aktivitäten im Bereich der künstlichen Intelligenz öfter Aufsehen. Tatsächlich ist das eine durchaus naheliegende Anwendung von Grafikchips. Der Grafikprozessor (GPU) hat sich längst zur zweiten Recheneinheit neben der CPU entwickelt und viele Anwendungen, darunter auch Photoshop und Lightroom, lassen manche Aufgaben von der GPU erledigen. Die GPU kann eine große Zahl von Rechenvorgängen parallel ausführen, was in der Bildbearbeitung, in der Millionen von Pixeln auf die prinzipiell gleiche Art berechnet werden müssen, die Ausführung erheblich beschleunigt. Die Simulation neuronaler Netze, also von Systemen, die nach dem Muster von Nervenzellen arbeiten, stellt ganz ähnliche Anforderungen, weshalb es für NVIDIA auf der Hand lag, seine Chips für solche Anwendungen zweckzuentfremden.

Das neue Verfahren, das NVIDIA in seinem Blog und die Forscher selbst in einem Fachaufsatz (aus dem die hier gezeigten Bilder stammen) vorstellen, hat eine Besonderheit: Während ähnliche Ansätze darauf beruhen, neuronale Netze den Unterschied zwischen verrauschten und unverrauschten Versionen derselben Bilder lernen zu lassen, woraufhin sie gleichartiges Rauschen auch aus unbekannten Bildern entfernen können, bekommen die neuronalen Netze hier während ihrer Lernphase keine unverrauschten Bilder zu sehen – nur unterschiedlich verrauschte Varianten desselben Bildes:

Entrauschen mit neuronalen Netzen
Links und rechts sind jeweils untereinander zwei Bilder zu sehen, in denen dasselbe Ausgangsbild von zwei verschiedenen Rauschmustern überlagert ist. Anhand solcher Bildpaare lernt das neuronale Netz, rauschfreie Bilder zu erzeugen.

Nachdem die Lernphase mit Zigtausenden von Bildern abgeschlossen ist, kann selbst aus einem stark verrauschten Foto, wie dem des Koala oben, noch ein rauschfreies Bild erzeugt werden. Entscheidend ist dabei, dass die Art des Rauschens gleich ist; nur das konkrete Rauschmuster ändert sich von Bild zu Bild.

Dieses Verfahren ist nicht auf die Entfernung von Rauschen beschränkt. Das neuronale Netz kann ebenso lernen, Bilder von überlagertem Text – beispielsweise auch Wasserzeichen – zu befreien. Auch hierzu wird das neuronale Netz zunächst mit Bildpaaren mit unterschiedlichen (aber gleichartigen) Störmustern trainiert:

Entrauschen mit neuronalen Netzen
Zwei weitere Trainingspaare, in denen jeweils das gleiche Foto von unterschiedlichen Texten überlagert ist.

Danach gelingt dann auch die automatische Textentfernung:

Entrauschen mit neuronalen Netzen
Nach dem Training zaubert das neuronale Netz den störenden Text weg.

Ein Verfahren, das auch in der Trainingsphase des neuronalen Netzes ohne störungsfreie Originalbilder auskommt, ist vielseitiger anwendbar, denn in Bereichen wie der Astrofotografie gibt es kein „sauberes“ Material – man kann nicht einfach zu Lichtjahre entfernten Sternen fliegen, um rauschfreie Fotos von ihnen aufzunehmen. Warum rauschfreie Bilder auch gar nicht zwingend nötig sind, lässt sich leicht veranschaulichen: Wenn Sie Ihre Kamera auf deren Grundempfindlichkeit von beispielsweise ISO 200 stellen, um ein möglichst rauscharmes Bild aufzunehmen, müssen Sie den Verschluss bei schlechten Lichtverhältnissen vielleicht für eine Sekunde öffnen. Dieses Bild können Sie sich nun als Kombination von 100 Belichtungen von je 1/100 Sekunde vorstellen, und jede dieser Teilbelichtungen würde ein stark verrauschtes Bild ergeben. In der Summe entsteht daraus aber ein rauschfreies oder wenigstens rauscharmes Bild. Daher lässt sich auch anhand von Paaren unterschiedlich verrauschter Bilder annähernd ermitteln, wie ein unverrauschtes Bild aussehen müsste.

Glauben Sie nun aber nicht, dass Sie – sofern in Ihrem Computer eine NVIDIA-Grafikkarte steckt – Ihre Fotos künftig mit künstlicher Intelligenz entrauschen könnten. Bislang handelt es sich noch um ein Forschungsprojekt, das die dahinter stehende Idee anhand von künstlich verrauschten Bildern getestet hat. Die praktische Anwendbarkeit auf verrauschte Fotos, wie sie unsere Kameras liefern, müsste erst unter Beweis gestellt werden. Es ist auch noch fraglich, ob sich ein neuronales Netz so einfach auf alle Arten des Rauschens trainieren lässt, die in realen Aufnahmen vorkommen. Nicht zuletzt scheint der nötige Rechenaufwand noch zu groß zu sein, als dass man einen handelsüblichen Mac oder PC damit betrauen könnte.

Insbesondere bei der Entfernung von überlagertem Text kommt hinzu, dass der Text größere Bildteile vollständig verdeckt, so dass nicht nur die Störungen identifiziert, sondern auch die verdeckten Bildteile passend rekonstruiert werden müssen. Ob sich das Verfahren so universell gestalten lässt, dass es auf beliebige Bilder anwendbar wäre, muss sich erst zeigen. Dennoch ist es spannend zu sehen, welch rasante Fortschritte die Bildbearbeitung mit künstlicher Intelligenz derzeit macht. In Zukunft also Entrauschen mit neuronalen Netzen?

Schlagworte
Zeig mehr

Michael J. Hußmann

Michael J. Hußmann gilt als führender Experte für die Technik von Kameras und Objektiven im deutschsprachigen Raum. Er hat Informatik und Linguistik studiert und für einige Jahre als Wissenschaftler im Bereich der Künstlichen Intelligenz gearbeitet.

Ähnliche Artikel

4 Kommentare

    1. Zu meiner aktiven Zeit waren neuronale Netze und maschinelles Lernen zwar eher Randbereiche der Künstlichen Intelligenz (und die Kollegen, die sich damit beschäftigten, waren in der Minderheit, wenn man sich beispielsweise auf Konferenzen traf), aber schon seit einigen Jahren gehören diese Methoden zum Mainstream der KI. Oder vielmehr sind sie derzeit der Mainstream der KI.

  1. @epemsl: Stimmt.

    Es ist auch hier wieder vom „rekonstruieren verdeckter Bildteile“ die Rede. Vllt. bin ich zu doof, aber rekonstruieren kann ich doch nur das, was schon mal da war – oder? Das „Bild“, welches auf dem Sensor entsteht beim Durchlauf des Verschlußschlitzes, enthält aber keine Ebenen, auf denen das enthalten ist, was von der Schrift (in diesem Beispiel) angeblich verdeckt wird. Was also soll hier mit welchen Daten rekonstruiert werden? Die sind einfach nicht da.
    Die inhaltsbasierte Füllmethode in PS/LR berechnet doch, wie die entstandene Lücke im Bild hätte aussehen können. Geht manchmal erstaunlich gut, ist aber Lotterie. Mit „Rekonstruktion“ im Sinne des Wortes hat das absolut nichts zu tun.
    Liege ich falsch?
    Viele Grüße
    Gert König

    1. Eine Rekonstruktion kann durchaus spekulativ erfolgen. Wenn sich Archäologen beispielsweise an der Rekonstruktion von Gebäuden oder Artefakten versuchen, von denen nur Reste erhalten geblieben sind, handelt es sich um genau das. Wenn man fehlende Teile exakt so rekonstruieren müsste, wie sie ursprünglich waren, müssten die meisten Rekonstruktionsversuche gleich aufgegeben werden.

Schreibe einen Kommentar

Das könnte Dich interessieren

Close
Close