KI für Citizen Science in der Schweiz: Ein Experiment mit Archiven

Wie kann künstliche Intelligenz Citizen Science unterstützen? Zu Beginn des Jahres haben wir uns bei catta Gedanken darüber gemacht. Hier ein kurzes Update, Cliffhanger: Es gibt News 😉  

Praktischer Einsatz von KI in Citizen Science Projekten 

Nach der Recherche wollten wir gleich einen ersten Test starten. Dabei haben wir uns gefragt, wie könnte eine solche KI Unterstützung in der Praxis aussehen?  

In unseren Citizen Science Einführungsworkshops für Museen und Bibliotheken taucht häufig der Wunsch auf, digitalisierte Bilder oder Gegenstände durch Citizen Scientists zu klassifizieren, zu analysieren, einem Ort zuzuordnen, bestimmte Gegenstände darauf zu finden oder ähnliches.  

Unsere Überlegung daraus: Spannend, aber wer möchte schon (freiwillig!) ein paar tausend Bilder durchschauen?  Wie sähe es nun aber aus, wenn die Bilder automatisch vorbearbeitet werden, wie z.B. nach Themen oder nach bestimmten Objekten sortiert? Das macht die Arbeit für Citizen Scientists deutlich spannender, da die Fleissarbeit wegfällt und sie sich mehr auf die Inhalte konzentrieren können. 

Testphase: Citizen Science goes openAI 

Wir haben zwei Archive angefragt, ob sie uns ein paar ihrer Bilder zur Verfügung stellen, damit wir ausprobieren können, wie gut die Bildbeschreibung und Verschlagwortung von digitalisierten Fotos mit offen zugänglichen KI tools (wir haben openAI genutzt) funktioniert. Vielen herzlichen Dank an Myrta Gegenschatz vom Staatsarchiv Appenzell Ausserrhoden sowie Dorothée Guggenheimer und Oliver Ittensohn vom Stadtarchiv und Vadianische Sammlung der Ortsbürgergemeinde St. Gallen und der Politischen Gemeinde St. Gallen, dass sie sich mit uns auf dieses KI Experiment eingelassen haben. 

Mit Hilfe eines Skriptes sollte uns die KI openAI zu jedem Bild Schlagworte und eine Bildbeschreibung generieren. Die meisten Bilder waren schwarzweiss-Fotos – eine besondere Herausforderung.  

KI Bildanalyse: Die ersten Erkenntnisse 

Wir waren positiv überrascht, wie detailliert die Bildbeschreibungen waren. Die KI hat in den schwarzweiss-Bildern beispielsweise manchmal Menschen gefunden, die wir erst nach mehrmaligem Hinschauen entdeckt haben. Auch die Verschlagwortung nach allgemeinen Schlagworten hat in diesen ersten Tests super funktioniert. Manchmal zieht die KI sogar eigene Schlüsse. Im folgenden Beispiel hat sie aus „mehreren Schweizer Flaggen an Gebäuden“ auf eine Feier (oder Nationalstolz) geschlossen. 

Beispielresultat aus der KI-Bildanalyse: detaillierte Bildbeschreibung

Fehlinterpretationen der KI 

Die Informationen aus diesem ersten Test sind jedoch noch mit Vorsicht zu geniessen. Manchmal gibt es komplette Fehlinterpretationen von Bildern:

Fehlinterpretation: Hochspannungsleitung wird mit Vögeln verwechselt

Sobald Fachwissen verlangt ist, wird’s schwierig. In einigen Beispielen gibt die KI zu, dass sie nicht ganz sicher ist. In anderen Fällen behauptet sie aber einfach, dass z.B. ein Skelett in einer Vitrine ein Dinosaurier sein muss:

KI Behauptung: das Skelett ist ein Dino

Ebenfalls leider (noch) nicht möglich oder fehlerhaft sind in unserem Experiment Einschätzungen zu genauen Orten und Jahren oder Epochen.

Witz oder unabsichtlich lustig

Und manchmal ist die KI auch einfach lustig – ob gewollt oder nicht sei mal dahingestellt.

Wie viele Hunde sind auf dem Bild zu sehen? Die KI ist sich nicht sicher...

Fazit: Zusammenarbeit von KI und Citizen Scientists

Eine Software wie openAI ersetzt momentan noch nicht den Menschen, um eine abschliessende Bildbeschreibung zu erstellen. Sie bietet aber sinnvolle Grundlagen für Citizen Science, so dass Menschen Details und Fachwissen hinzufügen können:

-          Thematisches Vorsortieren von grossen Mengen digitalisierter Bilder

-          Suche nach bestimmten Objekten in einer Bildsammlung, z.B. „Hund“

-          Allgemeine Bildbeschreibung

Wie geht es weiter?

Die KI Reise ist noch nicht zu Ende. Wir stecken nochmals unsere Köpfe zusammen und überlegen, für welches Citizen Science Projekt wir das Tool einsetzen oder welches Projekt wir damit anzetteln könnten. Vielleicht könnten wir für zukünftige „Aufgabeln!“ Projektumsetzungen die Food Waste Fotos durch die KI analysieren lassen? Vielleicht können wir in Kunstarchiven auf Bildern nach historischen Nachweisen bestimmter Tierarten zur Erforschung der Biodiversität suchen?

Es bleibt spannend, stay tuned und melde dich am besten gleich für unseren Newsletter an (der kommt nur, wenn wir auch was zu sagen haben 😉).

Ihr habt Fragen und eigene Ideen? Schreibt uns auf hoi(at)catta.ch

Bilder: Stadtarchiv und Vadianische Sammlung der Ortsbürgergemeinde St. Gallen und der Politischen Gemeinde St. Gallen