De Autoriteit Persoonsgegevens (AP) maakte deze maand de eerste ‘Rapportage Algoritmerisico’s Nederland’ bekend, lees de aankondiging en het rapport. Uit de aankondiging:

Innovaties zoals intelligente chatbots en gebrekkig inzicht in bestaande algoritmes zijn op dit moment de belangrijkste algoritmerisico’s. Dit blijkt uit de eerste Rapportage Algoritmerisico’s Nederland, die de nieuwe directie Coördinatie Algoritmes van de Autoriteit Persoonsgegevens (AP) vandaag heeft gepubliceerd.

Voor meer grip op algoritmes en artificiële intelligentie (AI), moeten overheid en bedrijfsleven nog grote stappen maken. Twee uitdagingen komen op dit moment samen. Ten eerste de snelheid waarmee AI-innovaties de samenleving binnendringen, zoals slimme chatbots. Deze innovaties bieden nieuwe kansen, maar ook nieuwe risico’s.

Ten tweede staat Nederland voor de opgave om inzicht te krijgen in het gebruik van hoogrisico-algoritmes: algoritmes die grote impact hebben op het leven van mensen. In afwachting op Europese wetgeving, zijn nu al concrete acties van de overheid en het bedrijfsleven wenselijk.

Gebruik van algoritmes in de geprivatiseerde criminaliteitsbestrijding (Wwft) en andere misdaadbestrijdingstoepassingen
In het rapport wordt aandacht besteed aan het gebruik van algoritmes in het betalingsverkeer, onder meer in het kader van het opsporen van criminaliteit (‘witwasbestrijding’ en bestrijding terrorismefinanciering).

Betalingsverkeer

Inzet van algoritmes voor monitoring van het betalingsverkeer brengt de verantwoordelijkheid met zich mee om (groeps)discriminatie te voorkomen. Ook voor financiële dienstverlening worden algoritmes ingezet om efficiënter het betalingsverkeer en mogelijk ongewenste transacties te monitoren. In de financiële sector worden de huidige ontwikkelingen verwelkomd vanwege de wettelijke verplichting om het Nederlands betalingsverkeer op een gedegen manier te monitoren op illegale activiteiten. Zo zijn er risico’s op witwassen, financiering van terrorisme en algemenere fraude waarop banken alert moeten zijn en waarnaar zij actief op zoek moeten.

Monitoring van elke individuele transactie is door de omvang van het digitale betalingsverkeer niet mogelijk. Door algoritmes met patroonherkenning toe te passen op basis van data over ongebruikelijke transactiepatronen, modus operandi en risico-indicatoren, kunnen soortgelijke (ongebruikelijke) transacties snel worden herkend. Vermoedelijk illegale transacties kunnen door het systeem worden ‘gepauzeerd’, wat de transactie bevriest. Een medewerker van de bank bekijkt vervolgens –handmatig – of de inschatting van het algoritme terecht is. Bij een false positive, een onterechte aanmerking als mogelijk illegale transactie, merkt de medewerker de melding van het algoritme als foutief aan. De transactie kan dan alsnog doorgaan. Is de melding van het algoritme mogelijk wel terecht, dan kan er verder worden onderzocht of de transactie inderdaad in strijd is met toepasselijke wetgeving.

Inzet van algoritmes voor monitoring is echter niet zonder risico’s. Waar algoritmes ingezet worden om ongebruikelijke patronen te herkennen, bestaat ook snel het risico dat bias kan resulteren in ongewenste discriminerende effecten. Het is essentieel om vooraf mogelijke risico’s voor publieke waarden en grondrechten in kaart te brengen. Maar ook om tijdens de inzet bekende en onvoorziene risico’s te identificeren en te beheersen. Van belang is dat ook hier, net als bij andere toepassingen van technologie in de samenleving, mogelijk een chilling effect kan optreden. Dit dient ook meegenomen te worden bij het identificeren en beheersen van risico’s. Adequate risicobeheersing kan voorkomen dat het inzetten van algoritmes met een hoog risico voor publieke waarden en grondrechten ook daadwerkelijk groepen of individuen treft. De Nederlandsche Bank (DNB) onderzoekt of financiële instellingen beleid en procedures hebben en maatregelen nemen om het risico op discriminatie te beheersen.

Overigens vraag ik me af of DNB wel de geëigende partij is om te zorgen dat financiële instellingen bij de transactiemonitoring en klantenprofilering op grond van de Wwft de grondrechten van burgers respecteren. Tot nu toe is daar weinig van zichtbaar.

Security.nl besteedde in haar bericht aandacht aan de inzet van algoritmes voor monitoring betalingsverkeer en herinnerde aan de kritiek van Privacy First op het bancair sleepnet.

In het rapport van de AP komen ook risico’s op andere terreinen van criminaliteitsbestrijding aan de orde. Onderwerpen zijn onder meer:

# Predictive policing en het Criminaliteits Anticipatie Systeem (CAS) van de Nederlandse politie
# Onvolwassen omgang met algoritmes in sommige gemeentelijke organisaties, onder meer bij fraudedetectie en voorspelling.

Onvoldoende toetsing aanbieders
De AP signaleert diverse andere risico’s, onder meer dat aanbieders en hun producten onvoldoende getoetst worden:

Producenten van hoog-risico-systemen voor bijvoorbeeld werving en selectie, onderwijsbeoordelingen, fraudedetectie maar ook predictive policing, hoeven een systeem niet extern te laten toetsen voordat zij dit op de markt kunnen brengen. Een eigen beoordeling van compliance met essentiële eisen en standaarden volstaat. Hierdoor blijft de kans nadrukkelijk bestaan dat niet-geschikte algoritmische systemen met hoog risico op de markt komen en ingezet worden door private en publieke partijen. Een dergelijk systeem verdwijnt pas van de markt als de toezichthouder constateert dat het AI-systeem niet in orde is. Mogelijk is dan al schade aangericht.

Dat is een levensgevaarlijke praktijk!

Aanbevelingen
Het rapport bevat diverse aanbevelingen, onder meer:

Zo lang er nog onvoldoende risicobeheersing is, doen organisaties er daarom verstandig aan terughoudend te zijn met de inzet van algoritmes.