Waarom AI-pilots stranden voordat ze productie halen

Meer dan 80 procent van de AI-projecten mislukt, twee keer zo vaak als bij gewone IT-projecten. Dat is de conclusie van RAND Corporation, gebaseerd op gestructureerde interviews met vijfenzestig ervaren data scientists en engineers, gepubliceerd in augustus 2024. De belangrijkste bevinding is niet de techniek. Het zijn de mensen aan de top.

Dit stuk gaat over het gat tussen experimenteren en productie, waarom dat gat vrijwel universeel is, en wat er nodig is om erover heen te komen.

Waarom experimenteren makkelijk is en productie niet

Een pilot draaien is relatief goedkoop en risicoloos. Een klein team, een afgebakende dataset, een paar weken tijd, en aan het einde een demo die indruk maakt. Niets van dat proces test wat er gebeurt als het systeem echte klanten, echte uitzonderingen en echte druk moet doorstaan.

Productie is een andere wereld. Het systeem moet werken als de data rommelig is, als een collega het verkeerd gebruikt, als er een piekdag is die niemand had voorzien. Een pilot bewijst dat iets kán werken. Productie bewijst dat het blíjft werken, en dat is een veel hogere lat.

Een lijngrafiek. Een pilot bewijst dat iets kan werken, productie bewijst dat het blijft werken.

De echte oorzaken, volgens het onderzoek

RAND identificeert oorzaken die overwegend organisatorisch zijn, niet technisch. Vier daarvan komen telkens terug.

Geen gedeelde definitie van succes. Als de directie iets anders verstaat onder "het werkt" dan het team dat het bouwt, wordt elke discussie na de pilot een welles-nietes zonder duidelijk antwoord.

Een zwakke datafundering. Een pilot draait vaak op een schone, handmatig samengestelde dataset. Productie draait op de rommelige data die een bedrijf al jaren verzamelt, en die twee zijn zelden hetzelfde.

Gaten in infrastructuur en integratie. Een systeem dat los draait is makkelijk te bouwen. Een systeem dat met vijf bestaande systemen moet praten, is een heel ander project, en dat project wordt zelden vooraf begroot.

Wegvallend eigenaarschap van de directie. Een sponsor die enthousiast begint en na drie maanden andere prioriteiten heeft, laat een team achter zonder mandaat om obstakels op te lossen die buiten hun eigen team liggen.

Waarom dit precies aansluit bij wat wij zien

Deze vier oorzaken zijn dezelfde patronen die we in onze eigen stukken beschrijven, vanuit een andere hoek. Waarom een AI-scan geen IT-project is gaat over precies het eigenaarschap dat RAND als oorzaak nummer vier noemt. De verborgen kosten van AI gaan over de integratie- en datakosten die niemand begroot. En de vijf signalen dat je vastloopt beschrijven wat er gebeurt als niemand deze problemen structureel aanpakt.

Het is geruststellend en ontnuchterend tegelijk: dit is geen probleem dat specifiek is voor kleinere Nederlandse bedrijven. Het is het probleem van de hele markt, gedocumenteerd door een van de grootste onderzoeksinstituten ter wereld.

Een lege kantoorruimte. Wegvallend eigenaarschap van de directie is een van de hoofdoorzaken van mislukking.

Wat een pilot moet bewijzen om het gat te overbruggen

Vier vragen die een pilot voor productie moet beantwoorden, en die de meeste pilots overslaan omdat ze de demo minder indrukwekkend maken.

Werkt het op rommelige data, niet alleen op de schone testset? Test met echte, ongefilterde data uit je eigen systemen, inclusief de uitzonderingen en fouten die er altijd in zitten.

Wat gebeurt er als iemand het verkeerd gebruikt? Een pilot test het gebruik zoals bedoeld. Productie test wat er gebeurt als iemand een verkeerd bestand uploadt of een vraag stelt die het systeem niet begrijpt.

Wie is er verantwoordelijk als het na de pilot misgaat? Een naam, niet een team. Zonder duidelijk eigenaarschap na de lancering, verzandt onderhoud in niemands prioriteit.

Is er budget voor het gedeelte na de pilot? Integratie, onderhoud en bijsturing kosten vaak meer dan de pilot zelf. Een businesscase die alleen de pilot begroot, is een businesscase die de helft van het echte werk mist.

Waarom dit ook een verhaal is over verwachtingen

Er zit een tweede laag onder het RAND-onderzoek die het vermelden waard is: de definitie van mislukken is zelf onderdeel van het probleem. Een pilot die nooit was bedoeld om te schalen, maar wel als zodanig wordt beoordeeld, telt mee in de 80 procent terwijl er niets mis was met het project zelf. De verwachting was het probleem, niet de uitvoering.

Dat is precies waarom de eerste vraag in een traject niet moet gaan over techniek, maar over wat succes betekent en voor wie. Een pilot die een hypothese test en die hypothese verwerpt, is geslaagd als leerproces en mislukt als product. Beide etiketten kunnen tegelijk waar zijn, en het is aan de directie om vooraf te bepalen welk etiket telt.

Wat een tweede project makkelijker maakt dan het eerste

De vier oorzaken die RAND noemt, worden bij een tweede project kleiner, niet groter, mits de eerste pilot goed is nabesproken. Een team dat weet waarom het eerste project vastliep op integratie, begroot dat de tweede keer wél. Dat is dezelfde curve die we beschreven bij capaciteit opbouwen zonder eigen AI-team: niet elk project hoeft dezelfde fouten te maken, mits iemand de vorige fout heeft vastgelegd in plaats van vergeten.

Wat je hiermee doet voordat je een pilot start

Beantwoord de vier vragen hierboven voordat je begint, niet nadat de pilot is geslaagd. Een pilot die op de schone testset werkt en waarvan niemand weet wie na de lancering verantwoordelijk is, gaat vrijwel zeker de weg van de 80 procent die RAND documenteerde.

Over deze pagina

Het cijfer van meer dan 80 procent en de vier hoofdoorzaken komen uit het RAND-rapport "The Root Causes of Failure for Artificial Intelligence Projects and How They Can Succeed", gepubliceerd in augustus 2024, gebaseerd op interviews met vijfenzestig data scientists en engineers. Dit is de stand van 26 augustus 2026.