Human on the loop

Het verschil in een regel

In the loop: het systeem vraagt toestemming voor elke actie. On the loop: het systeem handelt en een mens kijkt mee, met de bevoegdheid om het te stoppen.

Het eerste is per actie veiliger en schaalt niet, want de mens wordt de flessenhals. Het tweede schaalt en vraagt dat je vooraf hebt nagedacht over hoe ingrijpen eruitziet.

Waarom on the loop meestal de juiste keuze is

Elke actie goedkeuren klinkt verantwoord en verwatert in de praktijk. Als iemand vierhonderd keer per dag op akkoord moet klikken, stopt diegene met lezen. Dat is slechter dan geen toezicht, want in het dossier staat nu dat een mens heeft gecontroleerd.

Toezicht dat echt wordt uitgeoefend is meer waard dan toezicht dat alleen op papier bestaat.

Wat ervoor nodig is

On the loop werkt alleen als drie dingen geregeld zijn:

• Zicht. De toezichthouder ziet wat het systeem doet, in termen die hij begrijpt en niet in logbestanden
• Een stop. Er is een manier om in te grijpen die werkt binnen de tijd waarin de schade ontstaat
• Een persoon met naam. Toezicht zonder eigenaar is geen toezicht

Zonder deze drie is on the loop een omschrijving van een systeem zonder toezicht.

Waar de grens ligt

Sommige besluiten horen helemaal niet op de loop. Alles wat onomkeerbaar is, alles met directe gevolgen voor een persoon, en alles wat je achteraf niet zou kunnen uitleggen hoort in the loop, of nergens.

Waarom dit over controle en risico gaat

De systemen blijven van jou en de controle blijft bij jou. Dat is het praktische punt: er blijft een mens in staat om het systeem te overrulen, wat het operationele risico beheersbaar houdt en de uitkomst verdedigbaar maakt richting een directie en een accountant. Het is ook wat een AI-beleid per soort besluit moet vastleggen.