The Computer Says...

The Computer says... is een speculatief black box algoritme dat de groeiende waarde die gehecht wordt aan voorspellende algoritmes in twijfel trekt. Dit doet het algoritme door de gebruiker te confronteren met zijn eigen voorspelde vooroordelen.

Het gebruik van voorspellende algoritmes met een directe en eventuele zware impact op mensen, lijkt de laatste jaren steeds verder toegenomen (De Jong, 2019). Met name de “'hoge-risico algoritmes' kunnen met een nadelige voorspelling er bijvoorbeeld voor zorgen dat je geen visum krijgt of dat je opeens wordt gezien als een fraudeur of draaideurcrimineel” (Rengers et al., 2023), (DPG Media Privacy Gate, n.d.).

“Deze algoritmes komen de laatste tijd steeds ook vaker in het nieuws door de structurele problemen met privacy en discriminatie die vrijwel altijd gepaard lijken te gaan met dit soort systemen” (NOS, 2020).

Zo was dit ook met het "Rotterdam fraude risico-model":

Het algoritme voorspelde tussen 2017 en 2021 de kans dat bijstandsgerechtigden fraude zouden plegen zonder dat deze dit zelf wisten. Als de voorspelde kans op risico te hoog was volgens het algoritme, dan rechtvaardigde dat volgens de gemeente een intensief onderzoek waarbij de voorspelde fraudeur in kwestie binnenstebuiten werd gekeerd, op zoek naar bewijs voor de verwachtte misdaad.

Het unieke aan dit voorbeeld is dat het complete algoritme met bijbehorende data door een fout bij de gemeente voor het eerst per ongeluk in handen kwam van een aantal journalisten. Deze hebben het systeem, na het grondig te hebben onderzocht, voor iedereen online gezet. Tijdens het onderzoek ondervonden zij dat ook dit algoritme vele gebreken had en daardoor discriminerende vooroordelen kende (Mehrotra et al., 2023). Dit kwam onder andere door een aantal onveranderlijke en oneerlijke eigenschappen mee te nemen in voorspellingen, zoals geslacht, leeftijd en een mogelijke migratieachtergrond. Daarnaast zou ook een gebrek aan representativiteit van diverse groepen binnen de trainingsdata hebben bijgedragen aan een inaccuraat en oneerlijk systeem.

Kortom, het was de zoveelste catastrofe met een tot nog toe onbekend aantal slachtoffers (Lighthouse Reports, 2023).

Toch lijkt er stug vol te worden gehouden dat deze systemen kunnen werken. Zo beloofde Rotterdam in een reactie een nieuw systeem te bouwen wat niet vatbaar zou zijn voor de discriminerende vooroordelen en andere problemen waar vele voorgaande soortgelijke systemen door geveild waren (Algoritmes Getoetst, 2022). Maar is dit überhaupt mogelijk, wanneer deze systemen fundamenteel gebrekkig lijken te zijn door hun huidige doelen en toepassingen (Barabas et al., 2018).

The Computer Says… creëert een nieuwe toepassing voor dit soort met vooroordelen bezaaide systemen waarin een semi-speculatief algoritme de lijn tussen “wat is” en “ wat kan zijn” zorgvuldig bewandelt.

Dit doet het door een aantal van de bovengenoemde aspecten van het fraude-risico algoritme te combineren met andere algoritmes en technieken.

Wanneer de gebruiker interacteert met het ontwerp, wordt hij beloond met een uniek kijkje binnen deze semi-speculatieve black box. Daarin wordt al snel duidelijk hoe deze systemen in staat zijn de realiteit op basis van een aantal platte gegevens te vervormen. De voorspelling over het vooroordeel van de gebruiker confronteert de gebruiker met zijn eigen rol in het proces van het creëren van deze ontsierde realiteit. Dit in combinatie met de manier waarop deze vooroordelen het wereldbeeld van de gebruiker zouden vormen, zet de gebruiker voor een keuze.

De voorspelling van het algoritme accepteren en zich conformeren aan, en laten vormen door, deze nieuw geschetste realiteit.

Of de voorspelling niet accepteren en daarmee zijn vraagtekens zetten bij de betrouwbaarheid van dit soort systemen. “Even when the computer says otherwise…”