In het financiële recht speelt risicoprofilering een grote rol.
Voorbeelden daarvan zijn risicoprofilering:

• door de Belastingdienst in het kader van de belastingheffing,
• door financiële instellingen bij de kredietwaardigheidsbeoordeling en de witwasbestrijding (overheidstaken op het gebied van de misdaadbestrijding die aan ondernemingen zijn uitbesteed).

Deze grote organisaties maken daarbij gebruik van digitale systemen, zoals kunstmatige intelligentie (artificial intelligence, ‘AI’).

Drie inzichten met betrekking tot gebruik van risicoprofielen

Tina van der Linden schreef voor het tijdschrift Rechtstreeks (pdf) het lezenswaardige artikel Drie inzichten met betrekking tot gebruik van risicoprofielen en poneert de volgende stellingen, de eerste:

Het feit dat een risicoprofiel tot empirisch juiste voorspellingen leidt is juridisch niet relevant. (…) We horen mensen te behandelen en te beoordelen op basis van hun eigen gedrag, waar ze zelf verantwoordelijk voor zijn, en niet op basis van groepsgebonden kenmerken waar ze zelf niet voor gekozen hebben en dus niet verantwoordelijk voor zijn (artikel 1 Grondwet).

en de tweede:

Als mensen op een bepaalde manier behandeld worden gaan ze zich daar ook naar gedragen. (…) Als jongeren met een migratieachtergrond uit een achterstandswijk als (potentiële) criminelen behandeld worden dan wordt daarmee de kans vergroot dat ze zich ook werkelijk crimineel gaan gedragen.

en ten derde:

Als door datagedreven opsporing een bepaalde bevolkingsgroep meer gecontroleerd wordt (bijvoorbeeld op fraude), dan wordt bij die bevolkingsgroep natuurlijk ook meer fraude gevonden.

De auteur wijst er op dat de AI Act geen oplossing biedt voor schadelijke effecten van risicoprofilering en bespreekt relevante artikelen uit de verordening. Naast gewone menselijke vooroordelen kennen we tegenwoordig ook ‘automation bias’:

het verschijnsel dat output van een computersysteem meer vertrouwd wordt dan diezelfde uitkomst als die door een mens gesuggereerd wordt

De rechter is de laatste hoop voor een gedupeerde van risicoprofielen, wat betekent dat die rechter extra kritisch moet zijn en de juiste vragen moeten stellen.

De mensen aan de tekentafel van de witwasbestrijding kunnen van het artikel leren.