Ich wollte einmal eine automatische Bilderkennung ausprobieren, wie sie etwa Google Vision anbietet. Was liegt näher, als die 1.705 Abgeordnetenportraits des österreichischen Nationalrats zu verwenden (wahrscheinlich viel)? Wer sich den folgenden Text sparen will, hier ist die Auswertung.

Bilderkennung heißt: Man zeigt dem Programm (der API) ein Foto und bekommt dann Infos retour, was genau zu sehen ist. Tatsächlich ziemlich viele Infos: Eine Beschlagwortung des Bildes, also was das Programm glaubt, dort zu sehen (nicht absolut als ja/nein, sondern als Wert zwischen 0 und 1). Falls es ein Gesicht erkennt, die Stimmung, die dieses Gesicht ausdrückt (Freude, Sorge, Wut oder Überraschung), wie der Kopf ausgerichtet ist und wo beispielsweise Nase und Augen sitzen. Dazu gibt es noch die Farben des Bildes, Weblinks und eine safe-search-Einschätzung (Jugendschutz usw.).

Abgeordnete im Bild

Verwendet wurden hier nur die Beschlagwortung, die Gesichtsbeschreibung und die Farberkennung, und das funktioniert unterschiedlich gut. Die Gefühlseinschätzung der Abgebildeten klappt weitgehend, ebenso die Extraktion der Farben (in der Auswertung via „Farben im Bild” darstellbar), wobei man natürlich vor der Herausforderung steht, dass Hintergrund und abgebildete Person nicht/nur teilweise unterschieden werden (siehe unten). Die Beschlagwortung zu beurteilen ist schwer: Auf der einen Seite produziert die API teils viele Zuordnungen, die wenig nachvollziehbar sind, auf der anderen Seite erhält sie kontextlose Portraitbilder - was ist da wirklich zu erwarten? Recht gut funktioniert das Finden von Merkmalen wie Bärten, Brillen und ähnlichem (es gibt auch einen Hut), praktisch nicht funktioniert aber beispielsweise das Erkennen von Krawatten bei schwarz/weiß-Bildern oder kleinen Ausschnitten.

Interessant ist, wenn das Schlagwort durch einen Blick aufs Bild plötzlich verständlich wird - so führen Trachtenjanker vereinzelt zur Zuordnung „Militär”, ein heller Blazer macht Personen mitunter zu ÄrztInnen. In einem Portrait ist ein Notenblatt im Hintergrund zu sehen, dieser Person ordnet Google jede Menge Musikbegriffe zu. Die API meint aber auch, in ein paar Fällen einen „Afro” zu erkennen, eine zwar unterhaltsame, aber ebenso gewagte Beschreibung der Frisur von NationalrätInnen.

Im Groben liefert die Auswertung dennoch brauchbare Ergebnisse: Man sieht zeitlich schön, wie sich die Konvention, auf Portraits zu lächeln, immer mehr durchsetzt, ebenso wie ein kurzes farbliches Aufbäumen in den 1990er Jahren wieder durch eine Dominanz dunkler Farben abgelöst wird. Überhaupt tauchen relativ lange schwarz-weiß-Bilder auf, wenngleich gerade bei den ersten Abgeordneten diese teilweise nicht erkannt werden. Die Schnurrbart-Dichte hat stark abgenommen, die generelle Bart-Dichte stagniert. Wütend oder überrascht ist keine der Personen in ihrem Bild (daher werden diese Optionen auch nicht angeboten), besorgt sind nur sehr wenige.

Die Schlagworte sind durchaus relevant, zeigen sie doch, was automatisiert offenbar zu erkennen ist - das sind etwa ab den 1990ern deutlich mehr „Beamte” und „Geschäftsleute”, was mit dem Fotostil zusammenhängen könnte (?).

Anmerkungen und Methodisches

Es gibt nicht zu allen Abgeordneten Portraits, zudem erkennt die API in sehr wenigen Fällen nicht, dass ein Gesicht abgebildet ist (betrifft durchwegs sehr alte Fotos). Eine wichtige Farbe in allen Bildern ist naturgemäß der Hintergrund, der aber gerade bei Portraits oft nur einfärbig und ohne Aussage ist. Daher wurde in der Darstellung jeweils jene Farbe gestrichen, die den meisten Platz einnimmt - sie ist in vielen Fällen eben dieser Hintergrund (aber nicht immer). Ähnliche Schlagworte wurden zusammengefasst (z.B. der Begriff PolitikerIn und der Begriff Rede/RednerIn) und viele überhaupt ignoriert (z.B. jene zu Haarfarben). Nach Parteien werden nur ÖVP, SPÖ, FPÖ und Grüne ausgewiesen, alle weiteren aufgrund der vergleichsweise geringen Zahl an Abgeordneten gesammelt dargestellt. Die Ausrichtung des Kopfes versteht sich aus Sicht des/der BetrachterIn.

Grundsätzlich sind die Abgeordneten nach dem Datum ihres ersten Eintritts in den Nationalrat sortiert, damit wird auch das jeweilige Bild datiert. Da Personen, die lange im Nationalrat waren/sind, unter der Zeit ihr Bild mitunter auch ändern, ist die Einordnung nicht perfekt. Allerdings sollte das die Ausnahme sein.

Die Auswertung ist von „exakt” weit entfernt, dafür gibt es zu viele Falschzuordnungen (in jeder Kategorie) - wobei man fairerweise sagen muss, dass Google nur eine Art Wahrscheinlichkeit wiedergibt und der Schwellenwert mit 0,5 niedrig angesetzt ist.

Wo sind jetzt die Bilder? Auf der Homepage des Parlaments. An dieser Stelle sind bewusst keine Portraits verlinkt oder dargestellt. Abgesehen von den Bildrechten liegt das daran, dass es nicht darum geht, einzelne Fotos lustig zu zerlegen, sondern um die technische Lösung und einen Gesamteindruck.