Polarrose Gesichtssuchmaschine

[Update: Polarrose wurde mittlerweile von Apple übernommen, die Webseite von Polarrose existiert nicht mehr]

Jetzt ist es also da: das Plugin von Polarrose für Firefox-Browser mit dem Gesichter in Bildern erkannt, getaggt, kategorisiert und auffindbar gemacht werden.

Die Gesichtssuchmaschine Polar Rose wird mit dieser Erfindung den Suchmaschinenmarkt in bezug auf Bildauswertung komplett revolutionieren, da es ab jetzt nicht nur eine simple und höchst effektive Methode gibt, Personen auf Bildern zu identifizieren, sondern diese Daten zu speichern, zu kombinieren und so Bilder von dieser Person an anderen Stellen im Netz aufzuzeigen. Dies wird massive Auswirkungen darauf haben werden, wie das Netz mit persönlichen Bildern umgeht, Online-Durchsuchungen nach Schäublescher Manier sind Kinderkacke dagegen.

Aber der Reihe nach:

Ein Robot der schwedischen Firma sucht in Bildern im Web nach Merkmalen von Gesichtern. Sobald ein Gesicht ausgemacht wurde, wird aus dem zweidimensionalen Bild ein dreidimensionales Modell rekonstruiert (dies ist notwendig, da durch die Umwandlung störende Elemente wie Schatten oder Objekte einfacher herausgerechnet werden können). Der User hat dann die Möglichkeit, die auf dem Foto abgebildete Person zu identifizieren und die Personendaten in der zentralen Datenbank von Polarrose zu speichern. In Zukunft soll diese Information dazu genutzt werden, Personen in anderen Bildern automatisch zu identifizieren und somit auffindbar zu machen.

Zu theoretisch? So funktioniert es:

1.) User installiert ein Firefox-Plugin in seinem Browser.

2.) Surfen wie normal, Polar Rose läuft im Hintergrund. Sobald ein Gesicht identifiziert ist, wird dieses mit einer Rose gekennzeichnet.

polarrose-1.jpg

3.) Falls man die Person kennt, kann man nun dem Gesicht einen Namen zuordnen. Das taggen ist einfach und bedienerfreundlich, da das Plugin mögliche Namen vorgibt. Wie ist das möglich? Gut, ist ein Taschenspielertrick: anscheinend durchsucht der Robot die Webseite nach Wörtern, die ein Name sein könnten und bietet diese als Dropdown / Autokorrektur an. Auf Newsseiten funktioniert das i.d.R. gut, da sich in der Bildunterschrift und im Artikel häufig der Name der Person findet. Auf einer Webseite ohne Text kann der Robot logischerweise keinen Text scannen, ergo auch kein Vorschlag.

polarrose-2.jpg
Taggen eines Bildes mit Vorschlag und Autokorrektur

polarrose-3.jpg
Rote Rose = Dem Bild ist eine Person zugeordnet

4.) Nach der Beschriftung wird die Information in der Datenbank von Polar Rose gespeichert. Loggt man sich hier ein, wird ein Ausschnitt des Bildes mit allerhand Zusatzinformationen dargestellt.

polarrose-5.jpg

5.) Nun kann man in der Datenbank nach Bildern der gleichen Person suchen und die Zuordnung anderere bestätigen oder auch korrigieren.

polarrose-6.jpg
Suchen nach der gleichen Person auf Polar Rose

polarrose-7.jpg
Bestätigen oder korrigieren der Angaben eines anderen Users

Status und Vorteile gegenüber anderen Suchmaschinen

Derzeit – Polarrose befindet sich immer noch in der Betabeta – testet man noch das Plugin, merzt Bugs aus und füllt schon mal langsam den Bilderbauch. Knapp zwei Millionen Bilder wurden bereits gecrawlt, eine Millionen Gesichter identifiziert und 10 000 verschlagwortet (und das obwohl Polar Rose nur ein paar Leuten einen Zugang gegeben hat).

Die Vorteile einer Gesichtssuchmaschine die von Usern editiert wird, hat gegenüber der Konkurrenz unglaubliche Vorteile, da herkömmliche Bildsuchmaschinen kaum Möglichkeiten besitzen die Fotos richtig „zu lesen“. Bildsuchmaschinen wie Google Images müssen sich immer noch auf die Metadaten (alt-Attribut, umliegender Text, vergebene tags) verlassen, die der Webmaster der jeweiligen Seite gewählt hat. Zum ersten Mal, kann jeder jedes Bild im Netz einordnen und Informationen dazu speichern. Langfristig ist geplant, dass Polar Rose diesen Job selbst macht und die Bilder für die unterschiedlichsten Zwecke genutzt werden können.

Was sind nun die Einsatzmöglichkeiten von Polar Rose?

    - Einsatz auf Nachrichtenseiten: Neben dem Bild können automatisch Informationen über die Person dargestellt oder andere Bilder desjenigen angezeigt werden.

    - „Watch-this-person“: Man lädt ein Foto zu Polarrose hoch und erhält per Mail oder RSS automatisch neue / neu gefundene Bilder der Person

    - Finden der gleichen Person in Foto- und Flirtseiten oder Social Networks.
    - Aber auch für Bildagenturen könnte eine solche Gesichtsuchmaschine interessant sein.

Der Fantasie sind eigentlich keine Grenzen gesetzt, wie die Daten ausgewertet werden und welche Services man damit betreiben kann. Polarrose will diese Services in Zukunft durch Widgets für Blogs und Social Networks pushen, eine API soll mittelfristig auch (kostenlos) zur Verfügung stehen.

Wie gut funktioniert Polar Rose?

Beängstigend gut, hier ein paar Kostproben:

Wir sehen: das Plugin funktioniert jetzt bereits wahnsinnig gut. Nochmal:

1.) Der Einsatz von Polar Rose schafft unzählige neue Möglichkeiten. Positive als auch negative. Zu den negativen: ich glaube ich brauche hier gar nicht lange Szenarien zu entwerfen, jeder der mal ein paar Minuten darüber nachdenkt, werden die unterschiedlichsten Horrorvorstellungen einfallen. Aber diese Diskussionen werden noch aufkommen. Spätestens wenn die knapp 30000 Menschen die einen Betazugang angefordert haben freigeschaltet werden und das mit eigenen Augen sehen, wird das Thema nur so durch Blogs und Medien zischen.

2.) Die Diskussionen über die TOS werden diese Diskussionen weiter anheizen. Beispielsweise 5.3:

Polar Rose does not claim ownership of content you submit or make available for inclusion in the Service. You own any data you post, but by posting Content to any public area of Polar Rose, you automatically grant, and you represent and warrant that you have the right to grant, to Polar Rose an irrevocable, perpetual, non-exclusive, fully paid, worldwide license to use, copy, perform, display, and distribute such information and content and to prepare derivative works of, or incorporate into other works, such information and content, and to grant and authorize sublicenses of the foregoing.

3.) Ja, der Robot von Polar Rose beachtet laut Auskunft der Firma eine robots.txt. Zumindest theoretisch kann also der Webmaster einer Seite dem Robot verbieten die eigene Seite zu crawlen. Allerdings finden sich ja nicht nur auf der eigenen Seite Fotos von einem selbst, sondern vor allem in Social Networks, Flirtseiten, Foren usw. Und solange diese Seiten ihre Robots.txt nicht entsprechend ändern, sind diese Bilder auffindbar. Und das werden auch die Bilder sein, die pikant sind. Ein Beispiel: weil dein bester Kumpel meint, dass es schön wäre, dass das Foto von deiner letzten Komasauf-Session auf der Wiesn mit anschließendem Kotzen ins Bierzelt verschlagwortet ist, findest du dich in irgendeiner einer Bildsuchmaschine wieder. Und dort bleibt das Bild erstmal. Das war doch schon immer so! Nein, war es nicht: bis jetzt war das Foto vielleicht auffindbar, aber eine Suchmaschine hatte keine Möglichkeit die Personen auf dem Bild zu erkennen. Und dadurch, dass eine API und einbindbare Widgets angeboten werden sollen, kann jeder auf seiner eigenen Webeite oder Blog Bilder aus dem Index der Suchmaschine darstellen. Ich kann also ein Widget einbauen das alle Bilder von Dir auf meiner Seite zeigt. Ohne dass ich deine Einwilligung dazu bräuchte.

So, das ist also die Zukunft. So, so weit sind wir also.

Nachtrag: Bekomme gerade per Mail die Frage, ob man sich das Plugin schon runterladen kann. Jein, man kann einen Beta-Zugang beantragen, anscheinend werden diese aber noch nicht freigeschaltet (das soll in den nächsten Tagen oder Wochen geschehen). Ich habe nur einen bekommen, weil ich vor Monaten schon mal mit Polar Rose kontaktet habe und solange genervt habe bis…

18 Kommentare
Andreas Gehret 06.08.2007

Ich sag mal so: All der Ärger, den man sich heute schon mit dem Betreiben einer Website einhandeln kann (Forenhaftung/Kommentare, Abmahnungen, Urheberrechtsverletzungen, Verletzungen des Persönlichkeitsrechtes,….) ist vermutlich Kinderkram gegen das was noch kommt.
Polar Rose ist da nur der Anfang. Wir wollen “das echte Leben” fotografieren? Die Bilder auch noch im Web publizieren? (Ich erinnere an eine der früheren Diskussionen) Hurra: Es wird nicht lange dauern bis die ersten Unterlassungserklärungen von über Polar Rose getaggten Menschen bei Fotografen eintrudeln und es wird sich sehr bald ein Gericht – im Zweifelsfalle in Hamburg – finden, das diesen Menschen Recht gibt.
Die Entwicklung wird dahin gehen, dass es in Zukunft Privatpersonen und kleinen Firmen nahezu unmöglich gemacht werden wird irgendetwas im Web zu veröffentlichen.
Das ist dummerweise genau das was Politik und Wirtschaft eigentlich sehr, sehr begrüßenswert fänden. Und genau deswegen wird es auch passieren.

Fabian Mohr 07.08.2007

Interessant wäre, ob (und wie) sie eine Option realisieren, mit der man sich selbst aus dem Index bei Polar Rose herausnehmen lassen kann. Wenn man das nicht kann – well. Ich kann mir aber fast nicht vorstellen, dass sie ohne sowas auf Dauer arbeiten. Also, genauer gesagt, ich hoffe es.

[...] Einen sehr ausführlichen Artikel zur Technik und Umsetzung gibt es bei Dokufoto. Tags:Software, Ideen, Firefox, Gesichtersuchmaschine, Polar Rose, Web 2.0 [...]

Tim (FOTONEWS-Blog) 12.08.2007

Es wird nicht lange dauern bis die ersten Unterlassungserklärungen von über Polar Rose getaggten Menschen bei Fotografen eintrudeln und es wird sich sehr bald ein Gericht – im Zweifelsfalle in Hamburg – finden, das diesen Menschen Recht gibt.

Ja, die Streetphotography-Debatte. Ich erinnere mich. Generell finde ich es begrüssenswert, wenn Gerichte bei Verstössen gegen das Persönlichkeitsrecht einschreiten. Allerdings, kann es natürlich aufgrund von Polar Rose nun zu “schrägen Konstellationen” kommen. Ein “Arty-Streetbild” in irgendeinem Blog könnte theoretisch nun wirklich Probleme machen.

Interessant wäre, ob (und wie) sie eine Option realisieren, mit der man sich selbst aus dem Index bei Polar Rose herausnehmen lassen kann. Wenn man das nicht kann – well. Ich kann mir aber fast nicht vorstellen, dass sie ohne sowas auf Dauer arbeiten. Also, genauer gesagt, ich hoffe es.

Ja, aber wie? Mit meinem Namen habe ich kein Problem- es gibt nur einen Tim Lilling und den Namen könnte man also sperren. Schwieriger wird es aber bei Hand Müller.

Was mich nervt: du als User musst erstmal reagieren darauf – es müsste andersrum sein: nur wenn ich Polar Rose erlaube „meinen Namen“ zu crawlen, dürfte der Robot in Aktion treten.

Fabian Mohr 12.08.2007

>> Ja, aber wie? Mit meinem Namen habe ich kein Problem- es gibt nur einen Tim Lilling und den Namen könnte man also sperren. Schwieriger wird es aber bei Hand Müller.

So was in der Art von “Ich claime dieses Bild” als mein Bild… man könnte z.B. – privat, nicht öffentlich – ein Bild von sich hochladen und als Selbstbild markieren.. Bereits indexierte und in der Folgezeit als “Ich” markierte/erkannte Bilder könnten dann ausgeblendet bleiben (soweit jetzt mal eine ganz rudimentäre, unvollkommene Idee…).

Tim (FOTONEWS-Blog) 12.08.2007

Das hört sich logisch und simpel an, ja.

Hier übrigens eine erste, funktionierende Einsetzart des Ganzen:

Bot crawlt Bilder auf Flickr die mit einem bestimmtem tag versehen sind, identifiziert Gesichter und gibt einen Index aus.

Alexander 24.10.2007

Hallo!
Also diese PolarRose-Suchfunktion ist eigentlich genau das, was ich suche. Gibt es so ähnliche Services schon im Netz?

Tim / FOTOGRAFIE - Blog 24.10.2007

Polar Rose schon ausprobiert?

Alexander 24.10.2007

Hallo!

Ich habe versucht dort mir das Tool zu holen, allerdings konnte ich dort nur meine Email-Adresse hinterlegen, dass ich kontaktiert werde, wenn es erhältlich ist.

Aber manche können Polarrose schon nutzen!? Wäre es möglich, dass ein PolarRose-Nutzer für mich anhand einiger Fotos eine Suche durchführt.

Gruss

ALEX

Tim / FOTOGRAFIE - Blog 24.10.2007

Ähm, ganz oben rechts auf der Seite findest du eine riesige, hellblaue Suchbox – du kannst also ohne Registrierung suchen…

Alexander 24.10.2007

Ja, aber ich suche keine Bildersuche nach Text oder Namen. Ich möchte, dass Fotos von einer Person, die ich auf einem Foto habe, im Web gefunden werden. Also nach biometrischer Gesichtserkennung

Tim / FOTOGRAFIE - Blog 24.10.2007

Das geht (noch) nicht, wird meiner Einschätzung nach auch noch eine ganze Weile dauern. Andere Anbieter gibt es bis dato auch noch nicht.

Richard Schirmer 25.10.2007

Meiner Meinung nach wäre das was diese Suchmaschine macht in Deutschland wohl nicht erlaubt, wenn es eine deutsche Firma wäre.

Die Bilder werden ja von einer x-beliebigen Person mit meinem Namen versehen, wenn ich darauf abgebildet bin. Nach meinem Verständnis handelt es sich dabei um eine Datenerhebung. Wohlgemerkt, diese Verknüpfung von Name und Bild hat ja vorher nicht existiert, sondern wird explizit von anderen Nutzern eingegeben.

Das wäre gleichbedeutend damit, wenn irgendjemand sich mit Freunden von mir unterhält und bestimmte andere personenbezogenen Daten (Adresse, Geburtsdatum) über mich sammelt-sprich erhebt und verarbeitet . Dies ist m.E. auch nicht erlaubt.

Ich würde sogar soweit gehen zu behaupten, dass dies ein Verstoß gegen Datenschutzrecht insbesondere das Bundesdatenschutzgesetz wäre, denn dieser Datenerhebung von polarrose habe ich ja nicht zugestimmt.

Eine opt-out Funktion von polarrose ist in diesem Kontext geradezu lächerlich.

Nun ist das ja nunmal eine schwedische Firma, aber Schweden müsste ja auch die EU-Datenschutzrichtlinie umgesetzt haben, die ja eng mit dem deutschen Gesetz verwurzelt ist ;-)

Ich werde das Tool jedenfalls auch umgehend ausprobieren, sobald ich als Betatester akzeptiert wurde und denen dann mal einen netten Brief schreiben. Ich kann anderen Leuten denen polarrose auch (zurecht) etwas sauer aufstößt, nur empfehlen, mal in diese Richtung zu überlegen.

Tim / FOTOGRAFIE - Blog 25.10.2007

Es wäre sehr interessant was ein Jurist zu den TOS sagen würde. Wenn ich den oben zitierten Auszug richtig interpretiere, dann wälzt das Unternehmen eine etwaige REchtsverletzung automatisch auf den User ab, der ein Foto verschlagwortet. Keine Ahnung, ob das rechtlich möglich ist. Wenn ja, dann wären sie fein raus…

Richard Schirmer 26.10.2007

Also so wie ich die TOS verstehe, geht es dabei eher um Urheberrechte und Nutzungsrechte an urheberrechtlich geschützen Werken.

Ich seh die Sache sowieso eher andersrum:
1. Polarrose erhebt und verarbeitet personenbezogene Daten, die nicht aus öffentlicher Quelle stammen, nämlich die Verknüpfung eines bestimmten Bildbereiches mit einem Namen. Wohlgemerkt, die Speicherung des Bildes, oder der umgebenden Website an für sich, halte ich für unproblematisch, da öffentlich zugänglich. Google ist also in diesem Sinne IMHO was anderes, da es sich _ausschließlich_ öffentlicher Quellen bedient.

Speziell diese Verknüpfung (bzw. Verschlagwortung) wird aber durch Polarrose bei Dritten erhoben, konkret bei den anderen Nutzern der Plattform.

2. Polarrose bräuchte dafür möglicherweise meine unmittelbare Genehmigung, da personenbezogene Daten nur nach Zustimmung des Betroffenen erhoben und verarbeitet werden dürfen (von diversen anderen Ausnahmen, z.B. bei öffentlichen Stellen oder bei Vertragsverhältnissen etc. abgesehen, die treffen hier aber IMHO nicht zu).

Ich bin der Meinung, dass hier Polarrose Sorge zu tragen hat, das meine Persönlichkeitsrechte nicht verletzt werden, indem die mich ausdrücklich um Erlaubnis fragen. Ob man das auf den Nutzer, der das Bild verschlagwortet, abwälzen kann, halte ich für sehr fraglich.

Ich denke, dass die Rechtsnormen hier eindeutig ein opt-in-Verfahren verlangen und nicht ein opt-out.

Im Bundesdatenschutzgesetz heißt es im Übrigen:
§43 Bußgeldvorschriften Absatz 2
Ordnungswidrig handelt wer vorsätzlich oder fahrlässig … unbefugt personenbezogene Daten, die nicht allgemein zugänglich sind, erhebt oder verarbeitet…

(Im Übrigen kann es je nach Kontext auch eine Straftat sein ;-) und vom Betroffenen zur Anzeige gebracht werden)

Zu dumm das die Schweden sitzen, das macht die Sache etwas schwieriger, aber durch die EU-Datenschutzrichtlinie dürfte bei denen was ähnliches gelten.

Wie schon geschrieben, ich freu mich schon auf die Teilnahme am Betatest ;-)

Tobias Claren 30.07.2010

Das könnte neue Mittel bei der “privaten Strafermittlung” ermöglichen.
Man denke an die Videos und Bilder wo Polizisten zu sehen sind? Mal eben das Gesicht über Polarrose gesucht, und schon habe ich einen Namen und evtl. Adresse.

Die haben bisher kein Problem darin gesehen ein Bild von sich privat online zu stellen.
Ohne eine solche Suchmöglichkeit war es ja praktisch unmöglich sich alle Bilder im Internet anzusehen. Die Suchmaschinen bieten ja nicht mal eine Funktion die einfach alle Bilder auflistet.

“Rainer Wendt” der Chef der Polizeigewerkschaft hat eine “spezielle Rechtsauffassung”.
Er hat gesagt er will keinerlei Kennzeichnung (auch keine Nummern die nur über den Dienstweg zu einer Identifizierung führen!), weil die Polizisten ansonsten der Gefahr von ungerechtfertigten Anzeigen ausgesetzt sind.
Er will also nicht dass die Polizei bzw. Staatsanwaltschaft gegen Polizisten ermitteln kann.

Und da evtl. nicht jeder “Prügelpolizist” Bilder im Netz hat, kann man nachhelfen.
Würden genug freiwillige sich vor Wachen usw. auf die Lauer legen und Polizisten ablichten, hätte man wenn sie hochgeladen sind (maximal ca. 260.000 Polizisten in Deutschland) die Möglichkeit die Personen zumindest auf ihre Wache einzugrenzen. Denn die kennen die Fotografierenden ja.
Und dann ist es nicht mehr schwer einen Polizisten anzuzeigen oder wenn nötig (weil z.B. nichts geschieht) öffentlich anzuprangern.

Daher hoffe ich dass Polarrose endlich mal startet.
Bis dahin könnte man Software wie Picasa oder Magix Digital Foto Maker nutzen um Bilder lokal nach Treffern zu durchsuchen. Wie praktikabel da zigtausend bis eine Viertel Mio Bilder sind weiß ich aber nicht.

P.S.: Was interessiert Polarrose ein Urteil aus Hamburg?
Und was in Deutschland “nicht erlaubt” sein könnte interessiert die hoffentlich einen ***********.

Gibt es eigentlich schon eine Software die man auf einem Webserver installiert (keine Ahnung davon) und die Suche in vom Serverbetreiber verwalteten Bilderbestand ermöglicht?
Der Besucher lädt ein Bild hoch, und die Seite vergleicht es mit allen Bildern.

[...] mit seiner Handycam und erhält anschließend, basierend auf der  Gesichtssuchmaschine Polar Rose, eine Auflistung seiner Social Media Profile. [...]

Dein Kommentar, Meinung, Frage: