Klein foutje, grote gevolgen: in de problemen door een algoritme

Jan Kornegoor uit Vorden had meteen door dat er iets niets klopte toen hij die parkeerboete uit Amsterdam kreeg. ‘Een boete uit Amsterdam? Ik ben daar helemaal niet geweest.’ Hij vroeg als bewijs de foto op die de scanauto van de parkeerdienst had gemaakt. Op de foto stond een andere auto. Het kenteken was wel bijna hetzelfde als van zijn auto, op 1 teken na. Door een deuk op de kentekenplaat had het beeldherkenningsalgoritme van de scanauto blijkbaar een K gelezen, waar eigenlijk een X stond.

Boetestroom

Dat de automatische kentekenplaatherkenning van een parkeerdienst een keer een foutje maakt begreep hij nog wel. Hij ging in beroep en de boete werd kwijtgescholden. ‘Wat ik niet begrijp is dat dit proces zich nog 14 keer herhaalde, ook al deed ik talloze meldingen bij de parkeerdienst.’ Pas toen zijn verhaal in de publiciteit kwam, nam de parkeerdienst maatregelen om de ‘boetestroom’ te stoppen. 

Computer says no

Een algoritme is in de basis een set regels en instructies voor een computer om een probleem op te lossen of een vraag te beantwoorden. Soms zijn ze heel handig, zoals in een navigatie-app die de snelste route van A naar B uitrekent. Maar soms gaat het echt mis.

Zoals bij Myrthe Reuver. Haar aanvraag voor een Dal Vrij-abonnement bij de NS werd geweigerd omdat ze een ‘negatieve’ kredietscore had. Omdat je bij dit treinabonnement achteraf betaalt, laat de NS een kredietcheck doen door Focum. Myrthe vroeg uitleg aan Focum en kreeg te horen dat op haar adres een iemand met schulden woont of woonde. Dat kan best kloppen, want ze woont in een huurhuis dat verschillende bewoners heeft gehad in de jaren ervoor.

Myrthe legde aan NS uit hoe het zat, maar ze bleven haar weigeren als klant. Ze moest maar bij Focum in beroep gaan. Het kostte haar talloze mailtjes en belletjes (en een bericht in Trouw) voordat Focum zijn negatieve beoordeling aanpaste. In de tussentijd had Myrthe zich grote zorgen gemaakt over haar reputatie, ook bij het zoeken naar een huurwoning.

Honderden euro’s extra

We krijgen meer meldingen van vervelende ervaringen met een berekende kredietscore. Zo probeerde Petra in september om bij Vattenfall een energiecontract af te sluiten. Dit leek goed te gaan, tot ze werd gemaild dat ze een extra waarborgsom van €450 moest betalen. Dit was het resultaat van een ‘toetsing van haar betaalgedrag’ door het bedrijf EDR.

Petra schrok hier erg van: ‘Wij betalen alle rekeningen automatisch en hebben geen schulden.’ Ze vroeg Vattenfall om uitleg. Eerst moest ze een formulier invullen en een ID-kopie opsturen. En daarna nog verschillende keren vragen waar het antwoord bleef. Pas na 4 weken kreeg ze te horen dat ze toch zelf maar EDR moest benaderen.

Lees ook: Een inzageverzoek doen: stap voor stap

Een gevalletje kastje-muur, dus. Uiteindelijk vroeg ze ons om hulp. Toen wij EDR benaderden ging de directeur zelf de zaak onderzoeken. Met een wel heel verrassende uitkomst: de slechte score is waarschijnlijk door een typefout gekomen bij het invoeren van de naam of de geboortedatum van de aanvrager.

Het is natuurlijk absurd dat door zo’n foutje haar ‘betaalgedrag’ niet in orde zou zijn. En het is wéér een voorbeeld van hoe bedrijven naar elkaar wijzen voor uitleg over wat het algoritme heeft 'besloten'. We ontvangen elk jaar tientallen klachten over kredietscorebedrijven. Vattenfall zegt toe extra afspraken te maken met EDR. Daarmee zou ze klanten met vragen over waarborgsommen in de toekomst beter kunnen helpen.

Beschuldigd van fraude

In 2023 gebruikte de Dienst Uitvoering Onderwijs (Duo) nog een gebrekkig algoritme om uitwonende studenten op te sporen die mogelijk stiekem thuis woonden en zo ten onrechte de hogere beurs voor uitwonenden kregen. Trouw en De Groene Amsterdammer onthulden vorig jaar dat Duo’s fraudealgoritme (indirect) discrimineerde.

Jacht op fraudeurs

Een van de slachtoffers van de fraudejacht door Duo was student Mohammed Elazizi. Hij ging in 2019 bij zijn oom wonen. De oom was loodgieter en vaak van huis. Ook Mohammed was veel weg: hij volgde overdag college en werkte in de avonduren als taxichauffeur. Controleurs van Duo troffen dus niemand thuis en belden aan bij de buren. Die wisten niet dat er een student naast hen was komen wonen. Dit was voor Duo genoeg reden om Mohammed per brief te melden dat zijn beurs werd ingetrokken en dat hij een boete moest betalen.

Vooral MBO’ers die dicht bij huis bij familie gingen wonen, werden geselecteerd voor controle. Dat zijn vaak studenten met een migratieachtergrond. Onderwijsminister Robbert Dijkgraaf besloot het Duo-algoritme uit te schakelen en bood excuses aan. Duo controleert studenten nu alleen nog via steekproeven.

Minder matches door je huidskleur

Er gaat meer mis als het algoritme een niet-Nederlandse achtergrond denkt te herkennen. Zo ontdekte de Nederlandse eigenaar van dating-app Breeze tot zijn schrik dat gebruikers met een donkere huidskleur of een niet-Nederlandse afkomst minder matches kregen. Waarschijnlijk werd de voorkeur om voor een partner met dezelfde huidskleur of afkomst versterkt door het ‘zelflerende’ matching-algoritme van de app.

De app-maker stapte zelf naar het College voor de Rechten van de Mens en vroeg of Breeze dit zelf mag corrigeren. Zo krijgen gebruikers van kleur weer een gemiddeld aantal matches. Het antwoord was dat Breeze dit niet alleen mag, maar zelfs verplicht is. Spande iedereen zich maar zo in als Breeze om een ongewenst effect van het algoritme op te lossen.

Wat gaat hier mis?

Als consument heb je volgens de privacywet AVG altijd het recht op een menselijke check bij een beslissing door een algoritme. En een organisatie moet vooraf checken of haar algoritme geen (privacy)risico’s oplevert. Bij problemen door algoritmen zijn die checks niet of te oppervlakkig gedaan. Consumenten weten vaak helemaal niet dat een beslissing over hen geautomatiseerd is genomen. En dus weten ze ook niet dat een menselijke, tweede check mogelijk is.

Over je rechten hoor je goede informatie te krijgen, maar dat gebeurt niet altijd. En er is geen goede uitleg over de werking van de algoritmen. Ook dat staat in de wet als vereiste. De Autoriteit Persoonsgegevens (AP) is toezichthouder op algoritmen en kunstmatige intelligentie. De AP heeft sinds vorig jaar een afdeling die zich hier helemaal op richt. We hopen dat dit bijdraagt aan een betere handhaving dan tot nu toe het geval is.