De Europese wetgever heeft welbewust de algoritmische opsporing van criminaliteit door banken en de vele andere ondernemingen die misdaad moeten opsporen (‘witwasbestrijding’) uitgezonderd van de toepasselijkheid van de nieuwe verordening inzake kunstmatige intelligentie (‘AI’), de ‘AI Act’.
Dat volgt zowel uit de AI Act zelf als uit de nieuwe Europese antiwitwasregels die binnenkort in werking treden: de Europese antiwitwasverordening (AMLR) en diverse andere Europese regels (het AML Package).

Deze wetgevende nalatigheid wordt door Lena Leffer besproken in haar artikel voor Verfassungsblog [1]. Zij schrijft (machinevertaling) [2]:

Algoritmische oplossingen voor het detecteren van mogelijke gevallen van witwassen worden immers al op grote schaal gebruikt in financiële instellingen en banken. De EU-wetgever heeft echter de kans gemist om dergelijke AI-systemen te categoriseren als hoog risico in de zin van de EU-AI-verordening en ze daarom te onderwerpen aan bijzonder strenge regelgeving in overeenstemming met art. 8 en volgende van de EU-AI-verordening. In de strijd tegen het witwassen van geld gaat het gebruik van AI gepaard met ernstige risico’s van geautomatiseerde onjuiste beslissingen, die kunnen leiden tot massale omzeiling van grondrechten door de privatisering van de melding van verdachte activiteiten in het kader van de witwaswetgeving. Inperking door de staat zou daarom wenselijk zijn (geweest).

In haar artikel meldt zij het enthousiasme van de financiële beleidsmakers van EU, FATF en allerlei internationale financiële gremia voor opsporing door middel van kunstmatige intelligentie [3]. Die beleidsmakers veronderstellen dat crimineel geld door financiële instellingen kan worden ontdekt via digitale analyse van alle financiële transacties, zodat zij die aan de overheid (in Nederland aan FIU-Nederland) kunnen melden [4]. Die veronderstelling is riskant, zo schrijft ze (machinevertaling) [5]:

Maar hoe veelbelovend deze technologie ook is, ze brengt ook aanzienlijke risico’s met zich mee. Het gebruik van AI om het witwassen van geld tegen te gaan gaat gepaard met onzekerheden en mogelijk onjuiste geautomatiseerde beslissingen, wat kan leiden tot een enorme inbreuk op de grondrechten.

Ze constateert dat AI-systemen die witwassen moeten detecteren niet als hoog risico zijn aangemerkt, wat betekent dat er onvoldoende eisen aan die systemen worden gesteld. Daar komt bij dat witwasbestrijdingsplichtigen met zeer hoge boetes worden bedreigd als zij hun geprivatiseerde overheidstaken niet goed uitvoeren, wat tot gevolg heeft dat te snel wordt geconcludeerd dat er een misdaadvermoeden is (vals-positieven) en te snel van klanten afscheid wordt genomen (‘de-risking’) [6]. Dit doet zich nu al voor en ook al wordt het door de internationale wetgever (FATF) gesignaleerd (‘unintended consequences’), er gebeurt niets of te weinig.

Het grote aantal vals-positieven en de schade die door witwasbestrijdingsplichtigen aan de klanten wordt toegebracht, wordt door de financiële beleidsmakers voor lief genomen.

Een groot probleem van de geprivatiseerde misdaadbestrijding door banken en andere grote ondernemingen, is het ontbreken van transparantie over de gehanteerde criteria en methoden. Ook Leffer signaleert dat [7] en is van mening dat een ‘schaamteloze omzeiling van grondrechten‘ [7] van burgers dreigt, nu artikel 22 AVG niet van toepassing is [8] en ook de extra eisen van de AI Act niet van toepassing zijn:

De EU-AI-verordening voorziet in strenge controles voor AI-systemen met een hoog risico. AI-systemen voor de bestrijding van witwaspraktijken worden in de AI-verordening van de EU echter niet gecategoriseerd als systemen met een hoog risico, waardoor deze beschermingsmechanismen hier onvoldoende van toepassing zijn. Dit is met name zorgwekkend omdat verkeerde beslissingen op dit gebied niet alleen criminele gevolgen kunnen hebben voor de betrokkenen, maar ook het vertrouwen van de betrokkenen in de integriteit van het financiële systeem als geheel kunnen ondermijnen.

Foute beslissingen door private partijen kunnen grote gevolgen voor burgers hebben, terwijl die private partijen de grondrechten van die burgers kunnen negeren (en dat in de praktijk ook doen). Daar komt nog bij, aldus Leffer, dat in de huidige politiek en sociale instabiele tijd grondrechtelijke waarborgen essentieel zijn om burgers te beschermen.

Om fouten als gevolg van het gebruik van AI te voorkomen bepleit Leffer een specifieke rechtsgrondslag voor het gebruik van AI in de witwasbestrijding, strenge controle, hoge transparantie-eisen en duidelijke regels, zodat de grondrechten van burgers niet in gevaar komen.

Noten

[1] Das Dunkelfeld aufhellen. Über Schutzlücken der EU-KI-Verordnung bei der Regulierung der automatisierten Detektion von Geldwäsche, Lena Leffer.

[2] Vertaling van: “Denn algorithmische Lösungen zur Aufdeckung potenzieller Geldwäschefälle werden in Finanzinstituten und Banken bereits großflächig eingesetzt. Der EU-Gesetzgeber hat jedoch die Chance verpasst, solche KI-Systeme als hochriskant i.S.d. EU-KI-Verordnung einzustufen und damit einer besonders strengen Regulierung nach Art. 8 ff. EU-KI-Verordnung zu unterstellen. In der Geldwäschebekämpfung ist der Einsatz von KI mit gravierenden Risiken automatisierter Fehlentscheidungen verbunden, die durch die Privatisierung des geldwäscherechtlichen Verdachtswesens zu massiven Grundrechtsumgehungen führen können. Eine staatliche Einhegung wäre daher wünschenswert (gewesen).”

[3] Ze verwijst naar een aanprijzend verhaal van accountantskantoor Deloitte.

[4] Helaas bespreekt ze alleen het huidige wetgevende kader in Duitsland en niet de antiwitwasverordening (AMLR) en andere Europese wetgeving die binnenkort in werking treden.

[5] Vertaling van: “Doch so vielversprechend diese Technologie auch ist, birgt sie auch erhebliche Risiken. Der Einsatz von KI zur Geldwäschebekämpfung ist mit Unsicherheiten und potenziell automatisierten Fehlentscheidungen verbunden, die zu massiven Grundrechtseingriffen führen können.” Zie over de schade door algoritmische opsporing de serie ‘Suspicion Machines’ van Lighthouse Reports, over wat er mis gaat bij de overheid op dat gebied. In de private sector gebeurt hetzelfde (al is onbekend welk deel door AI komt), het KPMG rapport over discriminatie is het topje van de ijsberg, maar geeft geen informatie over de oorzaken.

[6] Over de gevolgen van de boetedreiging: “Durch die hohen Bußgelddrohungen im GwG – etwa § 56 GwG – sind Banken in der Regel veranlasst, wenige False Negative Treffer zu erhalten (eigentlich verdächtige Fälle, fälschlicherweise unverdächtig eingestuft) und nehmen daher zur Erhöhung der Anzahl „richtiger“ (tatsächlich verdächtiger Fälle; True Positive) Verdachtsfälle häufig technisch in Kauf, dass sich dadurch die Anzahl „falscher“ (tatsächlich unverdächtiger Fälle, fälschlicherweise als verdächtig eingestuft; False Positive) Treffer erhöht.”

[7] “Ein weiteres zentrales Problem bei vielen KI-Systemen ist deren Intransparenz auf verschiedenen Ebenen, etwa aufgrund von Geschäftsgeheimnissen an den technischen Details oder mangelnder Erklärbarkeit des KI-Systems. Die Systeme basieren häufig auf hochkomplexen Algorithmen des maschinellen Lernens, deren Entscheidungsprozesse für Außenstehende kaum nachvollziehbar sind. Diese sogenannten Black Boxes erschweren es, dass ein Mensch überprüfen kann, warum eine bestimmte Transaktion als verdächtig eingestuft wurde und ob diese Entscheidung gerechtfertigt war.”

[7] “eklatante Umgehung von Grundrechten“, uit “Beim Einsatz von KI durch private Rechtssubjekte (hier insbesondere Banken und Finanzinstitute) zur Verarbeitung von personenbezogenen Daten zur späteren Verwendung im Strafverfahren droht eine eklatante Umgehung von Grundrechten.”

[8] Er wordt hier naar § 43 GwG verwezen, maar voor zover ik weet staat zo’n uitzondering ook in AMLR.

[9] “Die EU-KI-Verordnung sieht für Hochrisiko-KI-Systeme strenge Prüfungen und Kontrollen vor. KI-Systeme zur Geldwäschebekämpfung sind jedoch nicht als hochriskant nach der EU-KI-Verordnung einzustufen, weshalb diese Schutzmechanismen hier nicht in ausreichendem Maße greifen. Dies ist besonders bedenklich, da Fehlentscheidungen in diesem Bereich nicht nur strafrechtliche Konsequenzen für die Betroffenen haben können, sondern auch das Vertrauen von Betroffenen in die Integrität des Finanzsystems insgesamt untergraben können.“