Gekleurde technologie bij datagedreven overheid | rapport Rotterdamse rekenkamer over algoritmische discriminatie

Het onbenul rondom kunstmatige intelligentie (‘artificial intelligence’, ‘AI’) is een digitale ziekte die zowel overheid als bedrijfsleven teistert. Ook de gemeente Rotterdam is ernstig in de fout gegaan, zo volgt uit het onderzoek dat de Rotterdamse rekenkamer heeft uitgevoerd en waarover de rekenkamer schrijft:

gekleurde technologie

De gemeente Rotterdam maakt ter ondersteuning van haar besluitvorming gebruik van algoritmes. Hoewel er binnen de gemeente aandacht bestaat voor het ethisch gebruik van algoritmes, is het besef van de noodzaak hiervan nog niet heel wijdverbreid. Dit kan leiden tot weinig transparantie van algoritmes en vooringenomen uitkomsten, zoals bij een algoritme gericht op de bestrijding van uitkeringsfraude.

te weinig overzicht algoritmes in organisatie
De gemeente gebruikt ter ondersteuning van haar besluitvorming algoritmes. Algoritmes kunnen worden toegepast om besluitvorming sneller, doelmatiger en effectiever te laten plaatsvinden. Het gebruik van algoritmes brengt ook verschillende ethische risico’s met zich mee, bijvoorbeeld op het vlak van transparantie, verantwoordelijkheid en eerlijkheid. De gemeente heeft in het gemeentelijke programma Datagedreven Werken terechte aandacht voor de noodzakelijke borging van de kwaliteit en ethiek van algoritmes. In dit programma is de gemeente bezig met het ontwikkelen van de juiste instrumenten. Het ontbreekt op dit moment echter nog aan een volledig overzicht van het gebruik en de aard van algoritmes (een algoritmeregister), waardoor ook niet duidelijk is welke maatregelen genomen zouden moeten worden om de ethische risico’s te beheersen.

verantwoordelijkheid ethische principes onvoldoende belegd
Verder ontbreekt een centrale regisseur en integraal eindverantwoordelijke voor algoritmes. Er vindt onvoldoende afstemming plaats tussen bijvoorbeeld ontwikkelaars en gebruikers van algoritmes, met het risico dat de ethische principes van algoritmes worden verwaarloosd. Binnen het gehele concern bestaan nog te weinig instrumenten om de transparantie en eerlijkheid van algoritmes te waarborgen. Ook zijn er geen richtlijnen voor de evaluatie van algoritmes. Of een algoritme daadwerkelijk beter presteert dan ‘oudere en meer traditionele’ werkwijzen, wordt niet geëvalueerd.

gebruik algoritme kan leiden tot vooringenomen uitkomsten
Een voorbeeld van een algoritme dat de gemeente Rotterdam gebruikt, is het project ‘analytics uitkeringsfraude’. Dit algoritme brengt mogelijk onrechtmatige uitkeringen in kaart, op basis waarvan uitkeringsgerechtigden voor een heronderzoek kunnen worden uitgenodigd. De verantwoordelijkheid voor dit algoritme is niet goed georganiseerd, waardoor er onder meer te weinig aandacht is voor de transparantie en de eerlijkheid van het algoritme. Zo is niet navolgbaar welke keuzes rondom ethische vraagstukken zijn gemaakt en is het voor de betrokken burger onmogelijk goed zicht te krijgen hoe het algoritme een rol speelt bij de uitnodiging voor een heronderzoek. Daarnaast is er een kans dat het algoritme, bijvoorbeeld door het gebruik van een zogeheten proxyvariabele laaggeletterdheid, tot vooringenomen uitkomsten leidt. Hiertegen zijn onvoldoende maatregelen genomen.

reactie college
De rekenkamer heeft aan het college van B en W zes aanbevelingen gedaan om de verantwoordelijkheid, transparantie en eerlijkheid van bestaande en toekomstige algoritmes te waarborgen. Het college heeft al deze aanbevelingen overgenomen.

 

Lees over digitaal onbenul ook Axel Arnbak, Afnemer van AI is straks aan de goden overgeleverd, 11 mei jl., FD (betaalmuur), t.z.t. ook op zijn site te vinden.

Over Ellen Timmer, advocaat ondernemingsrecht @Pellicaan

Verbonden aan Pellicaan Advocaten, http://www.pellicaan.nl/, kantoor Rotterdam, telefoon 088-6272287, fax 088-6272280, e-mail ellen.timmer@pellicaan.nl ||| Weblogs: algemeen: https://ellentimmer.com/ || modernisering ondernemingsrecht: http://flexbv.wordpress.com/ ||| Motto: goede bedoelingen rechtvaardigen geen slechte regels
Dit bericht werd geplaatst in Grondrechten, rechtsstaat e.d., ICT, privacy, e-commerce en getagged met , , , . Maak dit favoriet permalink.

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit /  Bijwerken )

Google photo

Je reageert onder je Google account. Log uit /  Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit /  Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit /  Bijwerken )

Verbinden met %s