Wenn Christopher Bishop mit den Urlaubsfotos fertig ist, bleibt nur ein Loch im Wasser. Ursprünglich kniete dort eine Frau mit einem Kleinkind im seichten, türkisfarbenen Wasser eines tropischen Strandes; im Hintergrund schwamm ein Schnorchler vorbei. Viele Hobbyknipser, hat sich Bishop wohl gesagt, verspüren bei diesem Motiv den Wunsch, den Badegast im Hintergrund zu entfernen, doch die Struktur der sanften Wellen lässt solche Manipulationen meist auffliegen.
Und so hat der Microsoft-Forscher aus dem Firmenlabor im englischen Cambridge mit seinem Team Software programmiert, die den Schnorchler nicht nur entfernt, sondern den Ausschnitt auch so auffüllt, dass die Veränderung des Fotos nicht weiter auffällt.
Als Bishop die neue Funktion vergangenen Woche beim Tag der offenen Tür vorführte, den sein Labor einmal im Jahr für Journalisten und Firmenanalysten veranstaltet, da geriet er so in Schwung, dass er auch gleich Frau und Kind im Vordergrund entfernte. Allerdings zeugten an dieser Stelle kreisförmige Wellen davon, dass hier jemand gesessen haben musste.
Diese Manipulation von Fotos beruht auf zwei Tricks, die Bishops Team entwickelt hat. Zum einen schneidet die Software Objekte aus, die der Nutzer mit einem Rechteck umrahmt. Das Programm nutzt dabei nicht nur sichtbare Kanten, sondern auch die Farbinformation des Hintergrundes aus. Und es nimmt an, dass die Farbe der Pixel am Rand des auszuschneidenden Objekts eine Mischung aus Vordergrund und Hintergrund ist, also zum Beispiel zwischen dem Hautton des Oberarms und dem Türkis des Wassers.
Nützliche Funktion
Beim Ausschneiden wird dann das Türkis sozusagen abgezogen. Und wenn der Nutzer das Objekt woanders einsetzen möchte, zum Beispiel in einen Swimming-Pool, dessen Wasser hellblau schimmert, stellt die Software am Rand der Figur eine neue Mischung her: Hautton und Hellblau. So verschwinden die harten Kanten, die solche Fotomontagen am Computer oft verraten.
Der zweite Trick besteht im Auffüllen des Hintergrunds. Carsten Rother, ein deutscher Informatiker aus Bishops Team, führt es am Beispiel von Gänseblümchen auf einer Wiese genauer vor. Nachdem er die Blüten entfernt hat, lässt er den Computer das Loch mit Gras auffüllen. Dieser erschafft tatsächlich eine grüne Fläche mit Gras-ähnlicher Struktur.
"Der Rechner benutzt dazu die Statistik: Er schaut sich an, wie die Farben in der Umgebung verteilt sind und nutzt das als Vorlage", sagt Rother. Bei genauem Blick erscheint die Struktur der Grashalme zwar arg künstlich, doch um einen Hundehaufen aus einem Familienfoto von einer Wiese zu entfernen, dürfte die Funktion sehr nützlich sein.
Gesichtserkennungsprogramm für die Zukunft
Die Unterscheidung von Vordergrund und Hintergrund nutzen die Forscher um Bishop inzwischen auch bei bewegten Bildern, etwa von einer Videokonferenz. Hier gibt es oben auf dem Monitor nicht nur eine Kamera, die ihr Bild über das Internet an den Gesprächspartner überträgt, sondern gleich zwei. Wenn der Computer die Aufnahmen vergleicht, gewinnt er Informationen darüber, welche Teile des Bildes wie weit von der Kamera entfernt sind.
Und dann kann er alles ausblenden, was weiter als einen Meter weg ist. Bei seiner Präsentation ersetzte Bishop so das graue Büro hinter seiner Gesprächspartnerin, die auch noch ständig auf ihrem Drehstuhl herumschwang, mit einer Hafenszene. "Wenn Sie eine Videokonferenz mit Ihrem Chef haben, müssen Sie es natürlich umgekehrt machen", sagte er dann: "den Yachthafen durch das Büro ersetzen."
Für die Zukunft hat sich Bishop einen weiteren Wunsch der Digitalfotografierer vorgenommen: die Bilder auf der Platte automatisch nach Motiven zu kategorisieren. Um die Personen zu erkennen, gibt es schon Ansätze.
"Gesichter findet der Computer relativ leicht", sagt Bishop, "ihr Aufbau ist im Prinzip sehr ähnlich. Man könnte das mit einem Gesichtserkennungsprogramm verbinden." Solche Software wird zum Beispiel für automatische Zugangskontrollen erprobt. So könnte der Heimcomputer eines Tages von selbst erkennen, wen die Fotos zeigen: Kinder, Großeltern, Cousins.
Nur ein entferntes Ziel
Schwieriger sind die anderen Objekte auf den Bildern, sagt Bishop. "Wir können dem Computer, wenn es zum Beispiel um Katzen geht, unmöglich Bilder von jeder Fellzeichnung, jeder Beleuchtung und jeder Positur zeigen." Stattdessen müsse man die Maschine lernen lassen. Man zeigt ihr Bilder mit Katzen und solche ohne und lässt sie dann ausrechnen, was alle Katzenaufnahmen verbindet und was sie von den Nicht-Katzen-Bildern unterscheidet.
Von diesem Ziel sind die Microsoft-Forscher noch weit entfernt; ein Produkt mit der Fähigkeit, Fotos zu sortieren, ist nicht so bald zu erwarten. Das ist kein Versagen der Forscher: Der Software-Konzern hat seine Forschungslabore - neben dem in Cambridge gibt es noch fünf weitere Standorte - genau zu dem Zweck gegründet, Grundlagenforschung zu betreiben.
Die Ergebnisse fließen dann von selbst in Produkte ein, sagt der Labor-Direktor Andrew Herbert. "Die Forscher selber haben ja ein Interesse daran." Die Werkzeuge zur Bildmanipulation zum Beispiel braucht Bishops Team auch, damit der Computer überhaupt die Objekte auf den Bildern erkennt, die er später kategorisieren soll. Vorher aber sollen sie in der nächsten Version des Microsoft-Programms "Digital Image Suite" eingebaut werden.