Contestable AI: het ontwerpen van verantwoorde besluitvormings-systemen

Het project “Contestable AI” onderzoekt algoritmische besluitvormingssystemen die kunnen reageren op tegenspraak.

Kunstmatige intelligentie wordt steeds vaker gebruikt om de besluitvormingsprocessen van overheden te automatiseren en ondersteunen. Een bekend risico van publieke AI-systemen is dat ze de fundamentele rechten op autonomie en menselijke waardigheid kunnen schenden. Om dit probleem aan te pakken onderzoekt Kars Alfrink van TU Delft “aanvechtbare AI” met ondersteuning van Ianus Keller, Neelke Doorn en Gerd Kortuem.

Framework

Aanvechtbare AI kan worden beschreven als algoritmische besluitvormingssystemen die open staan voor en kunnen reageren op en kunnen reageren op tegenspraak van burgers gedurende de gehele levenscyclus. Kars ontwikkelde een voorlopig ontwerpkader voor aanvechtbare AI dat werd gepubliceerd in Minds & Machines. De volgende stap was om een illustratief voorbeeld van aanvechtbare AI te maken en het resultaat te evalueren met ambtenaren die met AI werken.

Concept video

Met behulp van het Responsible Sensing Lab en de animatie studio Trim Trab heeft Kars een speculatieve, provocatieve conceptvideo ontworpen. In deze video wordt het ontwerpkader voor aanvechtbare AI toegepast op het gebruik van scanauto’s voor het monitoren en beheren van de publiek toegankelijke ruimte in steden.

Video Contestable Camera Cars

Conceptontwerp van Kars Alfrink / TU Delft contestable.ai

Animatie door Trim Tab trimtab.studio

Muziek en geluid door Six Feet High sixfeethigh.nl

Gefinancierd door het Responsible Sensing Lab

Het belangrijkste doel van de conceptvideo is om enkele mechanismes voor tegenspraak uit het eerder ontwikkelde ontwerpkader concreet te maken. De video toont manieren waarop burgers het systeem beter kunnen begrijpen, mogelijke kanalen om hun mening te uiten en hoe er ruimte ontstaat voor dialoog en discussie tussen burgers en ambtenaren. Daarnaast laat de video zien welk potentiële gevaren er in het systeem van een scanauto schuilen en hoe feedback van burgers kan zorgen voor verbeteringen in zulk soort systemen.

De video is een bron van inspiratie voor ontwerpers, ingenieurs en beleidsmakers die werken om openbare AI mensgerichter te maken.

Onderzoek

Kars gebruikte de video tijdens interviews met medewerkers van de Gemeente Amsterdam die met AI werken. Dit onderzoek richtte zich met name op het in kaart brengen van de grootste uitdagingen bij de implementatie van mechanismes voor tegenspraak in huidige en toekomstige AI-systemen. Op basis van deze interviews kwam Kars tot de volgende inzichten: (1) de huidige vormen van burgerparticipatie zijn vaak weinig inclusief, (2) openbare AI-systemen moeten beter verankerd worden in de lokale representatieve democratie, en (3) steden hebben meer interne capaciteit nodig om voldoende verantwoording af te kunnen leggen over hun AI-systemen aan burgers.

De hieruit voortgekomen publicatie “Contestable Camera Cars: A Speculative Design Exploration of Public AI That Is Open and Responsive to Dispute” zal gepresenteerd worden tijdens CHI 2023, een preprint is beschikbaar op arXiv.

Voor meer over het promotieonderzoek van Kars, zie www.contestable.ai.

Disclaimer: De scanauto-toepassing die in de video wordt getoond is naar een idee van Kars en het onderzoeksteam; vooralsnog heeft de stad geen plan om deze toepassing daadwerkelijk te realiseren.