In de Handelszeitung stond enige tijd geleden het bericht [1] dat de Europese Centrale Bank (ECB) kunstmatige intelligentie inzet bij toetsing van functionarissen van financiële instellingen (personentoetsing), hierna volgt de machinevertaling van de betreffende passage [2]:

AI-tool voor “fit and proper” beoordelingen op komst
(…)
In 2022 werd al bekend dat de bankentoezichtafdeling van de ECB van plan is een AI-tool voor natuurlijke taalverwerking te gebruiken bij zijn zogenaamde “fit-and-proper”-beoordelingen, genoemd naar een mythologische Vikinggod “Heimdall”. Fit-and-proper” is de term die door toezichthouders wordt gebruikt om de professionele kwalificaties en persoonlijke betrouwbaarheid van kandidaten voor managementfuncties bij onder toezicht staande instellingen te beoordelen.

Na deze passage staat in het artikel dat het ECB zich bewust is van de risico’s. Maar dat neemt niet weg dat dit er ongezond uit ziet.

Heimdall software
Ik heb gekeken of er meer over de Heimdall software is te vinden, maar meer dan een presentatie [3] met wat kreten trof ik  niet aan. Op pagina 8 van die presentatie wordt de Heimdall software als volgt samengevat:

Op pagina 6 staat de software in de lijst van suptech (supervisory tech) tools en platforms, de vierde van onder:

en op pagina 15 wordt de Heimdall software als een op dit moment in gebruik zijnd suptech tool genoemd, linker kolom, één na onder:

Geautomatiseerde besluitvorming
Ik ben buitengewoon benieuwd hoe deze kunstmatige analyse van functionarissen van financiële instellingen zich verhoudt met het grondrecht dat mensen er recht op hebben niet te worden onderwerpen aan geautomatiseerde besluitvorming, zoals onder meer is te vinden in artikel 22 AVG [4].

Ik verwacht dat dit een voorbode is van een brede analyse van mensen en menselijk gedrag door middel van software, nu de Europese financiële beleidsmakers overtuigd lijken te zijn van de onfeilbaarheid en bruikbaarheid van software voor dat doel.

Noten

[1] EZB prüft Einsatz von Künstlicher Intelligenz, Handelszeitung 28 september 2023.

[2] Vertaling van:

KI-Tool für «Fit and Proper»-Bewertungen auf dem Weg
(…)
2022 war bereits bekannt geworden, dass die EZB-Bankenaufsicht ein KI-Tool zur Verarbeitung natürlicher Sprache bei ihren sogenannten «Fit-and-Proper»-Bewertungen einsetzen will, das nach einem mythologischen Gott der Wikinger «Heimdall» benannt ist. Als «Fit-and-Proper» werden bei der Aufsicht die Beurteilungen der fachlichen Qualifikation und persönlichen Zuverlässigkeit von Kandidaten für Führungspositionen bei beaufsichtigten Instituten bezeichnet.

[3] Presentatie The SSM Digitalisation Blueprint, juni 2023.

[4] Artikel 22 AVG luidt in de Nederlandstalige versie, de ‘betrokkene’ is in dit artikel de functionaris bij een financiële instelling:

Artikel 22 Geautomatiseerde individuele besluitvorming, waaronder profilering

1. De betrokkene heeft het recht niet te worden onderworpen aan een uitsluitend op geautomatiseerde verwerking, waaronder profilering, gebaseerd besluit waaraan voor hem rechtsgevolgen zijn verbonden of dat hem anderszins in aanmerkelijke mate treft.

2. Lid 1 geldt niet indien het besluit:
a) noodzakelijk is voor de totstandkoming of de uitvoering van een overeenkomst tussen de betrokkene en een verwerkingsverantwoordelijke;
b) is toegestaan bij een Unierechtelijke of lidstaatrechtelijke bepaling die op de verwerkingsverantwoordelijke van toepassing is en die ook voorziet in passende maatregelen ter bescherming van de rechten en vrijheden en gerechtvaardigde belangen van de betrokkene; of
c) berust op de uitdrukkelijke toestemming van de betrokkene.

3. In de in lid 2, punten a) en c), bedoelde gevallen treft de verwerkingsverantwoordelijke passende maatregelen ter bescherming van de rechten en vrijheden en gerechtvaardigde belangen van de betrokkene, waaronder ten minste het recht op menselijke tussenkomst van de verwerkingsverantwoordelijke, het recht om zijn standpunt kenbaar te maken en het recht om het besluit aan te vechten.

4. De in lid 2 bedoelde besluiten worden niet gebaseerd op de in artikel 9, lid 1, bedoelde bijzondere categorieën van persoonsgegevens, tenzij artikel 9, lid 2, punt a) of g), van toepassing is en er passende maatregelen ter bescherming van de gerechtvaardigde belangen van de betrokkene zijn getroffen.

Aanvulling 16 juli 2024
Heimdall bestaat nog steeds, zo volgt uit de presentatie van ECB toezichthouder mevrouw Elizabeth McCaul in juni van dit jaar, waar het wordt genoemd als een van de supervisory tech tools (pagina’s 7 en 8): “Tool for machine reading and analysis of thousands of fit and proper applications“.
Overigens is ook interessant aan de presentatie het blijk geeft van een top-down denken binnen ECB: de mensen van ECB hebben geen inbreng, zij moeten de opleidingen en standpunten van de ECB-top ondergaan.

(Rode markering op onderstaand plaatje door mij)