Google Bildersuche: Biometrische Gesichtserkennung und Texterkennung

Oh man, jetzt wollte ich kurz vermelden, dass die Google Image Suche upgedatet wurde und statt einem Zweizeiler kommt ein Roman heraus, indem es um viel, viel mehr geht.. nun gut…

Google Images ist seinem 3-Monats-Turnus treu geblieben und hat heute wieder mal seine Bildersuche upgedatet. Hinter den Kulissen hat man anscheinend an der Technik geschraubt:

    1.) Die neuen Ergebnisse sind auf allen Datencentern zu sehen. Das heißt der Export der internen Datenbank lief gleichzeitig ab, und nicht wie in der Vergangenheit über Tage hinweg. Eine Entwicklung die für die normalen Suchergebnisse ja schon eine Weile gilt.
    2.) Robert meldet, dass es eine weitere Option in den Google Webmaster Tools (früher: Google Sitemaps) gibt: die „Enhanced Image Search“.

Wenn Sie die erweiterte Bildsuche aktivieren, verwendet Google bestimmte Tools wie beispielsweise Google Image Labeler, um die in Ihrer Website enthaltenen Bilder den Labels zuzuordnen. Mit diesen Tools wird die Indizierung und Suchqualität der Bilder verbessert. [Hervorhebung von mir]

Das ist zunächst ein wenig *gähn*. Der Google Image Labeler war eine kleine Spielerei die vor einer Weile vorgestellt wurde. Es geht im wesentlichen darum, dass zwei Spieler ein Bild vorgesetzt bekommen und dann das Bild taggen. Wenn beide den gleichen tag vergeben, dann gibt es einen Punkt.

Damit erhoffte man sich, dass bessere Suchergebnisse herauskommen. Auch wenn ich nicht viel von dem Image Labeler Tool halte, bzw. es genauso sehe wie Andy Götze von Stockphototalk (Put four professional picture editors in one locked room, let them keyword four different pictures in fourty minutes and you´ll always get 400 different results. With Google of course, things are different.), war das ganze eine nette Idee.

So, wer oben den Hilfetext von Google gelesen hat, der wird bemerkt haben, dass da steht: „verwendet Google bestimmte Tools wie beispielsweise“. Und hier fangen meinen Spekulationen an. Ich muss ein wenig ausholen, aber ich bin mir sicher, dass wir in der nahen Zukunft sehr, sehr spannende Techniken in der Bildsuche finden, die die Bildersuche revolutionieren werden: Biometrische Gesichtserkennung, Texterkennung und Objekterkennung.

Also los: Es gab im Sommer Gerüchte, dass Google entweder Neven Vision oder Riya übernehmen will, bzw. sich für beide interessiert. Am Ende war Neven Vision der Gewinner. Was machte die beiden interessant? Beide halten Patente im Bereich Biometrische Gesichtserkennung und Objekterkennung.

Das hört sich jetzt alles kompliziert an, aber Hartmut Neven, der Gründer von Neven Vision, erklärte das ganze in einfachen Worten Anfang 2005 in einem Artikel auf heise. Er stellte sich damals eine Art „visuelles Google“ vor, das nach folgendem Prinzip funktioniert:

Ein Kunde macht ein Bild von etwas. Das Bild wird an die Server von Nevens Vision geschickt. Wird das Objekt erkannt, so können über das Aufgenommene bestimmte Informationen oder vielleicht auch nur Link bezogen werden, wo sich mehr darüber erfahren lässt. Neven stellt sich vor, dass beispielsweise jemand in einem Museum ein Bild aufnimmt und ein Video mit Erklärungen zu dem Bild erhält. Oder man sieht ein Restaurant, fotografiert es und erhält einen Bericht über es. Im Restaurant könnte man sich so eine Übersetzung der Speisekarte besorgen. Hat man sich in einer Stadt verlaufen, fotografiert man einfach einen Straßenabschnitt – und prompt erhält man von Nevens Universal-Datenbank einen Stadtplan mit der Stelle, an der man sich befindet.

Gut, weiter: Google kauft Neven Vision einschließlich folgender Patente:

* 1072014 Face Recognition from Video Images
* EP1072018 Wavelet-Based Facial Motion Capture for Avatar Animation
* 218457 Face Recognition from Video Images
* EP1072018 Wavelet-Based Facial Motion Capture for Avatar Animation
* 1072014 Face Recognition from Video Images
* 6714661 Method & System for Customizing Facial Feature Tracking Using Precise Landmark
* 6222939 Labeled Bunch Graphs for Image Analysis (EYEM1160/ NE01)
* 6356659 Labeled Bunch Graphs for Image Analysis
* 6563950 Labeled Bunch Graphs for Image Analysis
* 6466695 Procedure for Automatic Analysis of Images & Image Sequences Based on Two Dimensional Shape Primitives
* 6272231 Wavelet-Based Facial Motion Capture for Avatar Animation
* 6580811 Wavelet-Based Facial Motion Capture for Avatar Animation
* 6301370 Face Recognition from Video Images

Was diese Patente genau machen, lässt sich hier und hier in einfachen Worten nachlesen.

Zunächst einmal beschließt man, einige der Patente in Googles Fotomanager Picasa zu packen:

Neven Vision comes to Google with deep technology and expertise around automatically extracting information from a photo. It could be as simple as detecting whether or not a photo contains a person, or, one day, as complex as recognizing people, places, and objects. This technology just may make it a lot easier for you to organize and find the photos you care about. We don’t have any specific features to show off today, but we’re looking forward to having more to share with you soon.

Seit dem hat man nichts mehr Neues von dem ganzen gehört. Ist die Goolge Enhanced Image Search jetzt also die Implementierung der Patente? Ich würde einiges darauf wetten, dass dem so ist.

Einige dieser Such- und Filtertechniken werden übrigens schon eingesetzt. Nicht bei Google, sondern bei Riya (also dem Anbieter, den Google nicht gekauft hat). Zum Beispiel dieses Bild, hier liest Riya den Textbaustein „Fuck“ aus und tagged das Bild damit. Das ganze geht auch komplizierter, wie z.B. bei diesem Text.

Ein weiteres Beispiel, warum der Einsatz dieser Techniken Sinn macht: stell Dir einmal vor, du suchst ein Bild von Spanien. Mache kurz die Augen zu und stell dir vor, was du erwartest. Bei mir kommt in etwa folgendes raus: Strand, Fiesta, Stiere, Stierkampf, Madrid, Plaza Mayor, Franco, hübsche Spanierin, Meer, Sonnenuntergang Strand, spanischer Schinken Real Madrid, Barca….

Was kommt bei der Bildsuche heraus: 23 der ersten 36 Bilder (also die ersten zwei Seiten der Suchergebnisse) sind Karten von Spanien oder die Nationalflagge. Warum diese Ergebnisse schlecht sind, ist klar: Suchende die eine Karte wollen, gehen zu Google Maps oder einem vergleichbaren Anbieter, Suchende die ein Bild von einer Flagge wolle, geben „Flagge Spanien“ ein.

Wären aber Objekt- bzw. Texterkennung implementiert, würden die Karten ausgefiltert, weil sie Textbausteine enthalten und Flaggen würden ausgefiltert, weil sie graphisch und somit einen Objekt oder Person unähnlich sind.

Gründe die für meine These sprechen:

    1.) Google hält die Patente. Warum sollten sie nicht angewendet werden? Insbesondere, wenn sie die Konkurrenz (zu mindest teilweise) bereits einsetzt.

    2.) Der Google Image Labeler ist eine nette Idee. Aber es gibt einfach nicht genug “Spieler” die Bilder taggen. Warum sollte man also dafür extra eine Kategorie in den Google Webmaster Tools einrichten?
    3.) Derjenige, der es schafft, mehr Informationen aus Bildern zu extrahieren hat gewonnen. Bis jetzt sind Bildsuchmaschinen auf Informationen angewiesen, die der Webmaster zu seinen Bildern gibt (Stichwort alt-description, umliegender Text). Die oben genannten Techniken hingegen lassen Google “unabhängig” davon werden.

Es würde mich sehr wundern, wenn wir in der nahen Zukunft keine neuen Features bei der Google Image Suche sehen würden..

5 Kommentare

[...] Lesenswert! bookmarken mit del.icio.usdel.icio.us Digg Furl reddit Shadows Spurl Yahoo MyWeb Yigg Trackback-URL Gelesen: 1 heute:1 [...]

[...] Schlussendlich ist es nun möglich seine Seiten zur erweiterten Bildersuche frei zu geben. Dadurch werden die enthaltenen Grafiken und Bilder z.B. Teilnehmern des Google Image Labeler gezeigt, die diese dort einem aus mehereren vorgegebenen Begriffen zuordnen. Offensichtlich will man bei Google dadurch die Suchergebnisse im Bereich Grafiken und Bilder verbessern. Fotografie und Bildjournalismus befasst sich im Artikel Google Images: Update, Biometrische Gesichtserkennung und Texterkennung in Bildern sehr ausführlich mit diesem Thema. [...]

FURAO 19.10.2006

Ich finde es zunehmens erschreckend, welche Datenmengen Google anhäuft ohne das es jemandem wirklich klar ist. Mit den genannten Techniken wäre es auch gar nicht so kompliziert über Personen Daten zu finden die man vorher nicht mal Gedacht hätte, dass sie im Internet stehen. Ich sehe das mit einem lachenden und mit einem weinenden Auge. Man hat selbst kaum mer Kontrolle über die Daten, in welcher weise sie weitergeben werden. Hatte man heutzutage noch das Wissen, dass man Bilder nicht taggt keine alt-description angibt, so werden nun die Bilder selbsttätig verarbeitet und korrekt Kategorisiert. Sicherlich nicht ganz ungefährlich. Aber mal sehen wie sich das entwickelt. Evtl. findet man so endlich mehr über seine Nachbar raus was sie so treiben, weil sie irgendwo ein Bilde im Internet haben. Oder umgehekrt ich habe ein bild von einer Person kann es aber nicht zuordnen. Einfach hingeschickt und ich erfahre alles über denjenigen. Kritisch zu betrachten, wie ich finde.

Ja, mir geht es ähnlich wie Dir, es ist in der Tat erschreckend, welche Datenmengen und vor allem in welchem Ausmass Google sammelt, auswertet und verwendet. Du sagst es ja selbst: Es gibt einfach ein zu hohes Missbrauchspotential..

S. 23.06.2007

die allseits bekannte Suchmaschine macht auch im Bereich der biometrischen Gesichtersuche wieder einmal nichts neues, sondern wendet bekannte technologies auf Ihr bestehendes, zugegeben grosses, Archiv an !

Die eigentliche Gesichtersuche, also das Finden von Gesichtern auf der Grundlage eines vorgegebenen Fotos, ist mindestens schon seit Mitte 2006 Realität, wenn auch im kleinen Stil (http://www.babondo.com). Ich habe auf meinem englischen Blog darüber geschrieben. (facewatch.blogspot.com)

Besten Gruss an den Besitzer dieses Blogs, für die gelungene Aufarbeitung des patentrechtlichen Hintergrundes!

S.

Dein Kommentar, Meinung, Frage:



Weitere Artikel zum Thema:

  1. Neue Google Bildersuche Leute: wir sehen gerade massive Veränderungen bei der Google Bildersuche. Nicht nur, dass man die...
  2. Google Gesichtssuche (beta) So, es ist soweit: Die Google Bildersuche wurde um eine Option erweitert: die Suche nach...
  3. Bildversion von Google News Seit kurzem bietet das amerikanische Google News eine rein bildliche Version. Alle Bilder haben ein...


  4.