Blog

Behalten Sie den Rest

Ein neues Schlagwort macht die Runde unter den Kamera-Nerds: Die Modulo-Kamera soll Aufnahmen mit unbegrenztem Dynamikumfang möglich machen – im Prinzip jedenfalls. Wie aber funktioniert dieses Prinzip und welche Aussichten hat es, die Fotografie tatsächlich zu revolutionieren?

Die sogenannte „Modulo Camera“ ist ein Kind des MIT Media Lab, das kürzlich auf einer Fachkonferenz vorgestellt wurde; das Paper ist online verfügbar. Während eine gewöhnliche Kamera nur einen begrenzten Kontrast bewältigen kann und eine Erweiterung dieses Dynamikumfangs allenfalls durch die Kombination mehrerer unterschiedlicher Belichtungen möglich ist, soll eine Modulo-Kamera beliebige Kontraste wiedergeben können. Dazu genügt (meist) eine einzige Belichtung mit einem nur wenig modifizierten Sensor sowie ein Algorithmus, der aus den Sensordaten das eigentliche Bild berechnet.

Während das mit einer konventionellen Kamera aufgenommene Bild (oben links) den großen Kontrast nicht bewältigen könnte, erkennt die Modulo-Kamera überall im Bild noch Tonwertabstufungen (unten links). Aus diesen „gefalteten“ Bilddaten kann ein geeigneter Algorithmus ein Bild mit großem Dynamikumfang rekonstruieren (rechts).
Während das mit einer konventionellen Kamera aufgenommene Bild (oben links) den großen Kontrast nicht bewältigen könnte, erkennt die Modulo-Kamera überall im Bild noch Tonwertabstufungen (unten links). Aus diesen „gefalteten“ Bilddaten kann ein geeigneter Algorithmus ein Bild mit großem Dynamikumfang rekonstruieren (rechts).

Der Grund dafür, dass die uns bekannten Kameras nur einen begrenzten Dynamikumfang bewältigen, besteht darin, dass ihre Sensorpixel während der Belichtung elektrische Ladungen sammeln – in Ladungsspeichern, deren Kapazität bei einer bestimmten Zahl von Elektronen erschöpft ist. Wenn die Belichtung dann weiter fortschreitet, läuft der Ladungsspeicher des Pixels über, und wenn man keine konstruktiven Maßnahmen dagegen trifft, fließen die überschüssigen Ladungen in die Ladungsspeicher der Nachbarpixel – das sogenannte „Blooming“. Noch hellere Tonwerte kann das Pixel nicht mehr differenzieren – voll ist voll, voller geht’s nicht.

Die Modulo-Kamera geht mit den überfließenden Ladungen konstruktiver um. Wenn der Ladungsspeicher eines Pixels seine Füllgrenze erreicht hat, wird er einfach komplett entleert, damit er weitere Elektronen sammeln kann. Der Ladungsspeicher kann während einer Belichtung beliebig oft gefüllt und wieder entleert werden und wenn der Sensor am Ende ausgelesen wird, enthält er jeweils nur den Rest der Ladungen, der sich nach der letzten Entleerung angesammelt hat. Wenn ein Sensorpixel beispielsweise 10.000 Elektronen speichern kann und während der Belichtung 34.567 Elektronen zu sammeln wären, würden drei mal je 10.000 Elektronen weggekippt, so dass am Ende 4.567 Elektronen im Ladungsspeicher des Pixels verbleiben. Man kann sich diese Ladungen als Rest einer ganzzahligen Division vorstellen: 34.567 / 10.000 = 3 Rest 4.567. Daher der Name „Modulo“, der sich auf den Divisionsrest bezieht.

Die aus dem Sensor ausgelesenen Werte sind „gefaltet“ – sie liegen (in diesem Beispiel) immer zwischen 0 und 9999 Elektronen, auch wenn der tatsächliche Wert viel höher sein kann. Ein Wert von 4.567 kann beispielsweise für 4.567, 14.567, 24.567 oder 34.567 stehen. Die Werte müssen erst „entfaltet“ werden, damit ein naturgetreues Bild entsteht.

Die Modulo-Kamera registriert die Tonwerte in einem prinzipiell unbegrenzten Dynamikumfang, „faltet“ sie aber in den viel kleineren Dynamikumfangs des Sensors (rechts). Zur Rekonstruktion des Originalbildes müssen die gefalteten Tonwerte entfaltet, also zu den Lichtern oder Schatten verschoben werden, bis die Falten glattgebügelt sind (links).
Die Modulo-Kamera registriert die Tonwerte in einem prinzipiell unbegrenzten Dynamikumfang, „faltet“ sie aber in den viel kleineren Dynamikumfangs des Sensors (rechts). Zur Rekonstruktion des Originalbildes müssen die gefalteten Tonwerte entfaltet, also zu den Lichtern oder Schatten verschoben werden, bis die Falten glattgebügelt sind (links).

Man könnte denken, dass eine solche Rekonstruktion der richtigen „entfalteten“ Werte unmöglich wäre. Wenn ich beispielsweise meinen Einkaufswagen durch den Supermarkt schiebe und mir von allen Artikeln, die ich in den Wagen lege, nur die Beträge hinter dem Komma notiere, hätte ich an der Kasse keine Chance, den zu zahlenden Betrag zu überschlagen – dazu müsste ich zusätzlich zu den Cents hinter dem Komma auch die vollen Euro davor kennen. In typischen Bildern ist es nun aber so, dass die Helligkeitswerte von Pixel zu Nachbarpixel meist nicht dramatisch abweichen. Wenn also aus einem Pixel ein sehr hoher, aus dem Nachbarpixel aber ein sehr niedriger Wert ausgelesen wird, dann spricht einiges dafür, dass der Ladungsspeicher des zweiten Pixel einmal öfter entleert worden ist und zu seinem Wert daher (in diesem Beispiel) 10.000 zu addieren ist. Die entscheidende Komponente des Konzepts einer Modulo-Kamera ist daher der Algorithmus, der anhand solcher Kriterien die Pixelwerte zu entfalten versucht. Die Details können Sie im oben verlinkten Aufsatz nachlesen.

Die Entwickler der Modulo-Kamera haben bislang vor allem mit simulierten Daten gearbeitet, inzwischen aber auch mit einer echten Modulo-Kamera, deren monochromer Sensor 256 mal 256 Pixel auflöst – also ein „proof of concept“ und noch keine praktisch nutzbare Kamera. Grundsätzlich spräche aber nichts dagegen, eine Modulo-Kamera mit realistischen Leistungsdaten zu entwickeln. Bei einer solchen Kamera könnte man den ISO-Wert nicht nur über die Grundempfindlichkeit ihres Sensors hinaus heraufsetzen, sondern auch auf beliebig kleine Werte reduzieren. Und während eine konventionelle Kamera dabei einen immer größeren Teil ihres Dynamikumfangs einbüßen würde, je weiter man den ISO-Wert reduziert – weshalb solche „Pull-ISO“-Einstellungen meist auf eine Blendenstufe unter der Nennempfindlichkeit beschränkt sind –, würde eine Modulo-Kamera dabei an Dynamikumfang und Rauschabstand gewinnen.

Und wo liegt der Haken? Natürlich gibt es einen und die Entwickler machen auch kein Geheimnis daraus. Der Entfaltungs-Algorithmus arbeitet dann am besten, wenn die Helligkeitsverläufe relativ sanft sind; hohe Kontraste zwischen benachbarten Pixeln können ihn in die Irre führen, woraus Artefakte resultieren. Mit einem Vergleich zweier unterschiedlich belichteter Aufnahmen lassen sich solche Fehler vermeiden, nur verliert man dabei den Vorteil, einen hohen Dynamikumfang mit nur einer Belichtung bewältigen zu können. Bewegungen von Kamera oder Motiv zwischen den Belichtungen würden das Ergebnis naturgemäß verfälschen.

Bei manchen Motiven (links) geht der Entfaltungs-Algorithmus in die Irre (Mitte). Anhand des Vergleichs zweier unterschiedlich lang belichteter Aufnahmen lässt sich dann die korrekte Entfaltung finden (rechts).
Bei manchen Motiven (links) geht der Entfaltungs-Algorithmus in die Irre (Mitte). Anhand des Vergleichs zweier unterschiedlich lang belichteter Aufnahmen lässt sich dann die korrekte Entfaltung finden (rechts).

Rechnen Sie also besser nicht damit, dass Ihr nächstes Modell eine Modulo-Kamera sein wird, aber das Konstruktionsprinzip sollten Sie im Auge behalten. Nicht zuletzt weil es zeigt, dass sich auch aus höchst begrenzten Sensordaten eine überraschende Fülle an Informationen rekonstruieren lässt – wenn man nur die entscheidende Idee hat.

Michael J. Hußmann
Michael J. Hußmann
Zeig mehr

Michael J. Hußmann

Michael J. Hußmann gilt als führender Experte für die Technik von Kameras und Objektiven im deutschsprachigen Raum. Er hat Informatik und Linguistik studiert und für einige Jahre als Wissenschaftler im Bereich der Künstlichen Intelligenz gearbeitet.

Ähnliche Artikel

Kommentar

  1. Die Idee ist prinzipiell gut, es wäre nur interessant, wie man die mindestens 2 neuen Leitungen (eins zum Überlauf comparator 1 für das Reset) für jedes einzelne Pixel bei modernen 24 MPix Sensoren unterbringen will. Man ist ja jetzt schon froh wenn man mit Backlight Sensoren die nötigen Reihen und Zeilendrähte auf Rückeite bekommt. Man darf auch nicht vergessen das für jedes Pixel die komplette Logik vorhanden sein, muss.

    Das Problem der Unbestimmtheit bei der Anzahl der Überläufe könnten über eine Zähler der die Anzahl der Überläufe pro Pixel mitzählt lösen, dann wäre auch nur wieder eine Aufnahme nötig um den möglichen Bereich abzudecken, das würde das Problem der zusätzlichen Logik und der damit verbrauchten Chipfläche allerdings weiter vergößern.

Schreiben Sie einen Kommentar

Bitte melden Sie sich an, um einen Kommentar zu schreiben.

Back to top button