KI für Citizen Science in der Schweiz

Comment l'intelligence artificielle peut-elle soutenir la Citizen Science? Au début de l'année, nous nous sommes penchés sur cette question chez catta. Voici une courte mise à jour. Spoiler : Il y a des nouvelles 😉  

Utilisation pratique de l'IA dans les projets de classification des archives 

Après la recherche, nous voulions immédiatement démarrer un premier test. Nous nous sommes demandé comment une telle assistance IA pouvait se traduire en pratique?  

Dans nos ateliers d'introduction à la science citoyenne pour les musées et les bibliothèques, le désir apparaît souvent de classifier, d'analyser, d'attribuer un lieu aux images ou objets numérisés, ou de trouver des objets spécifiques par des scientifiques citoyens.  

Notre réflexion à ce sujet : Excitant, mais qui veut déjà (bénévolement!) parcourir quelques milliers d'images? Mais comment cela se passerait-il si les images étaient automatiquement pré-traitées, par exemple triées par thèmes ou par objets spécifiques? Cela rend le travail des scientifiques citoyens bien plus passionnant, car le travail fastidieux disparaît et ils peuvent se concentrer davantage sur le contenu. 

Phase de test : Description et étiquetage d'images avec openAI 

Nous avons contacté deux archives pour savoir si elles pouvaient nous fournir quelques unes de leurs images afin de tester dans quelle mesure la description et l'étiquetage d'images numérisées fonctionnent avec des outils d'IA accessibles au public (nous avons utilisé openAI). Un grand merci à Myrta Gegenschatz de l' Archives d'État d'Appenzell Rhodes-Intérieures, ainsi qu'à Dorothée Guggenheimer et Oliver Ittensohn des Archives de la ville et Collection Vadian de la commune de St. Gallen et la Commune politique de St-Gallen d'avoir accepté de participer à cette expérience IA. 

Avec l'aide d'un script, l'IA openAI devait générer des mots-clés et une description d'image pour chaque image. La plupart des images étaient des photos en noir et blanc – un défi particulier.  

Analyse d'images par l'IA: Premières pistes 

Nous avons été agréablement surpris par le niveau de détail des descriptions d'images. L'IA a, par exemple, parfois trouvé des personnes dans les images en noir et blanc que nous n'avions repérées qu'après plusieurs observations. L'étiquetage selon des mots-clés généraux a également fonctionné particulièrement bien lors de ces premiers tests. Parfois, l'IA tire même ses propres conclusions. Dans l'exemple suivant, elle a déduit « fête » ou « fierté nationale » de « plusieurs drapeaux suisses sur des bâtiments ». 

Interprétations erronées de l'IA 

Les informations de ce premier test doivent toutefois être prises avec précaution. Parfois, il y a des interprétations complètement erronées des images.

Dès que des connaissances spécialisées sont requises, cela devient difficile. Dans certains exemples, l'IA admet qu'elle n'est pas tout à fait sûre. Dans d'autres cas, elle affirme simplement, par exemple, qu'un squelette dans une vitrine doit être un dinosaure.

Malheureusement, notre expérience ne permet (encore) pas d'évaluations précises concernant les lieux, les années ou les époques.

Humour ou involontairement drôle

Et parfois, l'IA est tout simplement drôle – que ce soit intentionnel ou non, c’est une autre histoire.

Conclusion : collaboration entre l'IA et les citoyens scientifiques

Pour l'instant, un logiciel comme openAI ne remplace pas encore l'humain pour créer une description définitive d'une image. Mais il offre des bases utiles pour la science citoyenne, permettant ainsi aux humains d'ajouter des détails et leur expertise :

• Pré-tri thématique de grandes quantités d'images numérisées
• Recherche d'objets spécifiques dans une collection d'images, par exemple « chien »
• Description générale de l'image

Et maintenant ?

L'aventure de l'IA n'est pas encore terminée. On va encore se concerter pour réfléchir au projet de science citoyenne pour lequel on pourrait utiliser cet outil, ou au projet qu'on pourrait lancer grâce à lui. Peut-être qu'on pourrait, pour les futures mises en œuvre du projet « Aufgabeln ! », faire analyser les photos de gaspillage alimentaire par l'IA ? Peut-être qu'on pourrait chercher dans les archives artistiques des preuves historiques de certaines espèces animales sur des images pour étudier la biodiversité ?

Ça reste passionnant, reste à l'écoute et inscris-toi dès maintenant à notre newsletter (tu ne la recevras que si on a vraiment quelque chose à dire 😉).

Tu as des questions ou tes propres idées ? Écris-nous à hoi@catta.ch

Images : Archives municipales et collection Vadianische de la commune bourgeoise de Saint-Gall et de la commune politique de Saint-Gall

Texte de : Pia Viviani