Verantwoorde AI begint voordat het algoritme draait

Een opmerking vooraf: dit stuk bestaat om te zeggen wat we geloven, niet om te scoren op een zoekterm. Kwam je hier voor een nalevingschecklist, dan is de AI Act-checklist de pagina die je zoekt. Deze gaat over wat er gebeurt voordat die checklist relevant wordt.

Het is principe vijf van de tien waar Radical op werkt, en het luidt: verantwoorde AI begint voor het algoritme. Compliance is de bodem. Intentie is het werk.

Compliance is de bodem, en een bodem is geen prestatie

De AI Act vertelt je wat je niet mag en wat je moet vastleggen. Dat is oprecht nuttig en we besteden veel van deze pagina's aan het uitleggen ervan. Maar eraan voldoen is niet hetzelfde als je goed gedragen hebben, net zoals het arbeidsrecht niet overtreden niet hetzelfde is als een goede werkgever zijn.

Een CV-screeningsysteem kan volledig voldoen, volledig gedocumenteerd zijn, met formeel een mens in de lus, en toch stilletjes een categorie mensen afwijzen vanwege een patroon in historische data dat niemand heeft gekozen en niemand heeft bekeken. Niets in de verordening vangt dat op als het papierwerk in orde is. Wat het wel opvangt is iemand die, voordat het systeem gebouwd werd, besloot dat hij het wilde weten.

Mensen die elkaars hand vasthouden. Er is altijd een persoon verantwoordelijk, en die persoon is aanspreekbaar.

De keuzes die voor het model liggen

De besluiten die bepalen of een systeem verantwoord is, worden vroeg genomen, meestal in kamers waar geen technologie staat.

Wie er in de data terechtkomt. Weerspiegelt je historische wervingsdata wie je toevallig hebt aangenomen, dan reproduceert een model dat erop getraind is precies dat, en met meer consistentie dan een mens ooit deed. De vraag is niet of je ervoor moet corrigeren. De vraag is of iemand gekeken heeft.

Wat het systeem alleen mag beslissen. Niet wat het kan beslissen. Wat jij bereid bent het zonder mens te laten beslissen, en dat is een aparte en volledig menselijke vraag.

Wie het moet kunnen uitleggen. Die persoon benoemen voordat je bouwt verandert wat er gebouwd wordt, want een systeem dat niemand kan uitleggen wordt overduidelijk onacceptabel zodra iemands naam aan dat uitleggen hangt.

Wat je als mislukking zou beschouwen. Vooraf bepaald, inclusief de mislukkingen die in geen enkele nauwkeurigheidsmaat zichtbaar worden. Een systeem kan vijfennegentig procent nauwkeurig zijn en elke keer dat het misgaat precies dezelfde kant op falen.

Waar compliance ophoudt en intentie begint

Elke regel waar de middelste kolom nee zegt, is een plek waar een systeem volledig rechtmatig kan zijn en toch niet iets wat je zou willen uitleggen aan degene die het ondergaat. Dat gat is geen maas die met betere regelgeving gedicht moet worden; het is de ruimte waar de echte besluiten liggen.

Waarom wij een mens op de lus houden

Dit is de praktische vorm die het principe aanneemt, en het is geen nalevingsmaatregel die we toevallig hebben overgenomen.

Een model op zichzelf produceert geoptimaliseerde gemiddelde uitkomsten. Dat is wat optimaliseren betekent. Een mens op de lus produceert specifieke uitkomsten, en dat is wat er werkelijk toe doet als datgene waarover besloten wordt een kandidaat betreft, een klant, een team. Dat is de redenering achter human on the loop zoals wij die definieren, en het is waarom we onszelf niet uit de verantwoordelijkheid automatiseren: er is altijd een persoon aanspreekbaar op het besluit, die persoon kan het uitleggen, en die persoon kan worden tegengesproken.

Is geen van die drie waar, dan is het feit dat de uitkomsten er goed uitzien niet geruststellend. Het betekent alleen dat er nog niets zichtbaar is misgegaan.

Wat dit kost, eerlijk gezegd

Deze positie is niet gratis en het is oneerlijk om te doen alsof van wel.

Een mens op de lus houden is trager dan dat niet doen. Vooraf bepalen wat je als mislukking telt betekent af en toe moeten toegeven dat het mislukt is. Weigeren een besluit volledig te automatiseren betekent efficiency opgeven die een concurrent misschien wel neemt. Dat zijn echte kosten en we accepteren ze bewust, in plaats van te doen alsof de verantwoorde keuze altijd ook de goedkoopste is.

Wat we ervoor terugkrijgen is dat een klant zijn eigen systeem kan uitleggen aan een klant, een toezichthouder of een medewerker, zonder eerst te moeten uitzoeken wat het doet. In onze ervaring is dat meer waard dan de efficiency, maar het is een afruil, en zo hoort het beschreven te worden.

Waarom dit uberhaupt opschrijven

Omdat een principe dat alleen intern bestaat geen belofte is maar een voorkeur. Het op een openbare pagina zetten betekent dat een klant ons eraan kan houden, en een kandidaat ook. Dat is de reden om het te publiceren in plaats van het in een intern document te laten staan.

Het betekent ook dat als we iets zeggen als "succes is wanneer je ons niet meer nodig hebt", dat naast de rest staat van waar we ons publiek aan hebben verbonden, in plaats van te fungeren als verkoopzin.

Over deze pagina

Dit is een uiteenzetting van Radicals eigen positie, ontleend aan principe vijf van de tien uit ons interne handvest, en de formulering "compliance is de bodem, intentie is het werk" is van Radical zelf. Het is een positioneringsstuk en geen keywordstuk, en het is bovenaan als zodanig benoemd. Niets hierin is een eis uit de regelgeving; de daadwerkelijke verplichtingen uit de AI Act zijn apart behandeld. Geschreven door Radicals eigen team; er is geen klantdata gebruikt.