Het College voor de Rechten van de Mens heeft adviezen uitgebracht aan de overheid op het gebied van risicoprofilering. Dat advies is ook voor het bedrijfsleven van belang.

De overheid heeft misdaadbestrijding door middel van de Wet ter voorkoming van witwassen en financieren van terrorisme (Wwft) geprivatiseerd naar private ondernemingen zoals banken. De kerntaak van de Wwft is dat banken risicoprofielen van al hun klanten (zowel consumenten als organisaties en bedrijven) moeten opstellen en dat zij alle financiële transacties moeten monitoren en op basis van risicoprofilering meldingen aan de overheid moeten doen van vermoedelijk crimineel handelen (‘ongebruikelijke transacties’).
Risicoprofilering is de kern van de Wwft en is in de handen van private ondernemingen nog veel gevaarlijker dan bij de overheid, onder meer omdat er geen toezicht is op de wijze waarop de risicoprofilering en de monitoring plaats vindt.

Het College heeft uitgangspunten voor (semi-)geautomatiseerde besluitvorming door de overheid geformuleerd, die ook voor Wwft-plichtigen relevant zijn:

Risicoprofilering valt onder de Europese databeschermingswet, de Algemene Verordening Gegevensbescherming (AVG). De AVG-toezichthouders zijn kritisch over risicoprofilering, zie onder meer dit bericht over Europese toezichthouder EDPB en het bericht over de zorgen van EDPS. Het gaat hier niet over privacy maar over databescherming, oftewel zorgvuldige omgang met persoonsgegevens, waarbij de grondrechten gerespecteerd horen te worden.

Ik beveel de adviezen van het College in de aandacht van alle Wwft-plichtigen aan, met name  bij de door de banken gecreëerde pseudo-overheid, Transactiemonitoring Nederland (TMNL). Onderstaand het artikel ‘Meer grip op risicoprofielen en voorspellende systemen bij de overheid‘ en daarna nog enige vindplaatsen.

Meer grip op risicoprofielen en voorspellende systemen bij de overheid

De (lokale) overheid en uitvoeringsinstanties investeren steeds meer in de ontwikkeling van digitalisering om problemen op te lossen, vragen te beantwoorden en voorspellingen te doen. Om snel, efficiënt en consistent besluiten te nemen over burgers maken overheden gebruik van geautomatiseerde systemen voor bijvoorbeeld het toekennen van huur-, zorg- en kinderopvangtoeslag en voorspellen van sociale zekerheidsfraude.

Grote incidenten als etnisch profileren door de Belastingdienst en ingrijpende controles op bijstandsfraude door verschillende gemeenten illustreren de risico’s bij (semi-)geautomatiseerde besluitvorming. Door fouten in data en algoritmes kunnen groepen burgers onterecht als fraudeur worden aangemerkt. Bovendien wordt het in de praktijk moeilijker om een besluit aan te vechten, want burgers ontvangen niet altijd de achterliggende – digitale – informatie.

Uitgangspunten voor (semi-)geautomatiseerde besluitvorming

Niemand wil bij voorbaat verdacht zijn. Om de rechten van burgers te beschermen heeft het College voor de Rechten van de Mens voor ambtenaren drie uitgangspunten voor een verantwoorde ontwikkeling en toepassing van (semi-)geautomatiseerde besluitvorming opgesteld:

1) Breng in kaart wat de impact is van (semi-)automatische besluiten op de mensenrechten
Voer een mensenrechtentoets uit bij het ontwerp van algoritmes voor besluitvorming, maar ook bij de aanbesteding en tijdens het gebruik van dergelijke systemen. Deze toets voorkomt dat een besluit leidt tot mensenrechtenschendingen.

2) Informeer burgers op een toegankelijke manier hoe (semi-)automatische besluiten tot stand komen
Wees transparant over het gebruik van data en algoritmes, zodat voor burgers duidelijk is hoe deze processen bijdragen aan een besluit. Deel ook toegankelijke informatie, zodat het besluit getoetst en in een bezwaar- of beroepsprocedure toegelicht kan worden. Zo krijgen zij reële rechtsbescherming. 

3) Vergroot kennis over (semi-)automatische besluiten in de organisatie
Zorg dat er voldoende programmeurs, data-analisten en juristen met kennis van digitale besluitvorming betrokken zijn in de organisatie. Mensen die de werking van data en algoritmes begrijpen, onjuiste data in het systeem kunnen corrigeren én een besluit op inhoud kunnen beoordelen.

Onderzoek naar algoritmes en besluitvorming bij gemeenten

Uit vorige week verschenen onderzoek van NOS en regionale omroepen blijkt dat zeker 25 gemeenten gebruikmaken van voorspellende systemen. Het College voert op dit moment in samenwerking met Hooghiemstra & Partners een kwalitatief onderzoek uit naar (semi-)geautomatiseerde besluitvorming bij gemeenten. In dit onderzoek wordt bekeken of er aandacht is voor de mensenrechtelijke aspecten en of er bijzondere voorzieningen zijn getroffen voor rechtsbescherming. Het doel is om inzicht te bieden in het gebruik van algoritmes bij besluiten over burgers en aanbevelingen te formuleren voor rechtsbescherming. De resultaten worden in mei gepubliceerd.

Bij het gebruik van (semi-)geautomatiseerde besluitvorming is het van belang dat ambtenaren en burgers op de hoogte zijn van de mogelijke gevolgen bij het verzamelen, opslaan en delen van persoonsgegevens, werking van data en algoritmes bij besluitvorming, en procedures en instanties voor het aanwenden van een rechtsmiddel.

Programma Digitalisering & Mensenrechten

Digitalisering verandert onze samenleving in hoog tempo. Dit raakt onze mensenrechten op tal van aspecten en biedt zowel risico’s als kansen. Het programma Digitalisering & Mensenrechten zet zich in voor een samenleving waarin iedereen kan meedoen en eerlijke kansen heeft in een steeds verder digitaliserende wereld.

Meer weten?

• Hoe beschermen we burgers bij algoritmes en risicoprofilering van gemeenten?
• Waarom een integrale en structurele aanpak voor discriminatiebestrijding nodig is
• De toeslagenaffaire en hoe het College scherp gaat toezien op discriminatie
• Waarom het fraudedetectiesysteem SyRI in strijd was met de mensenrechten
• Onderzoek ‘Als een computer je cv beoordeelt, wie beoordeelt dan de computer?’
• Video waarin wordt uitgelegd hoe algoritmes kunnen leiden tot discriminatie
• Podcast metCollegelid Quirine Eijkman over algoritmes bij werving en selectie

Onzorgvuldige risicoprofilering kan mensen direct schaden. Als risicoprofilering van bedrijven en organisaties op onzorgvuldige wijze plaats vindt, kunnen eveneens mensen beschadigd worden, bijvoorbeeld personen die bij de bedrijven/organisaties betrokken zijn of mensen die door die bedrijven of organisaties worden bediend.

Overige vindplaatsen:

Publicaties College voor de Rechten van de Mens:

• Artikel Hoe beschermen we burgers bij risicoprofilering en het gebruik van algoritmes door gemeenten?, 2 / 9 februari 2021.
• Artikel Nooit meer een toeslagenaffaire: pak discriminatie aan, 20 januari 2021.

Alle berichten op dit blog over risicoprofilering, de-risking, fraude + witwasbestrijding/Wwft.