In-house AI:
waarom grote organisaties zelf gaan draaien

Het kwaliteitsargument om bij de dure frontier-modellen te blijven is verlopen. En uitgerekend de overheid laat zien wat er dan gebeurt.

Iemand die bij een gemeente werkt reageerde onlangs op een post van mij. Niet met een vraag, maar met de melding dat ze daar zelf AI draaien op een NVIDIA DGX Spark van 4.700 dollar. Een doosje op een bureau, geen jarenlang IT-traject.

Dat raakte me op twee manieren. Het kan dus echt. En uitgerekend een gemeente is er eerder mee dan de meeste bedrijven die ik ken.

TL;DR

• De overheid bouwt haar eigen AI, het bedrijfsleven kijkt toe. Op 3 juli koos het kabinet voor een soevereine overheidscloud op open source, terwijl de rijksoverheid al een eigen AI-chat draait waar 82 procent van de eerste gebruikers wekelijks mee werkt.
• Het kwaliteitsargument is verdampt. Het gratis model GLM-5.2 zit op één punt van het topmodel van Anthropic — de kloof tussen open en gesloten modellen is bijna gedicht.
• Toch stapt bijna niemand over. Gemak wint zolang niemand je dwingt na te denken over waar je data heen gaat en wat je per token betaalt.
• Je betaalt topprijzen voor routinewerk. Voor het gros van je AI-verkeer — e-mailtriage, documentverwerking — kan een lokaal model het werk prima aan.
• In-house AI begint met een inventarisatie, niet met een GPU-cluster. Welk deel van je werk is routine? Dat is een bestuursvraag, geen IT-klus.

De overheid beweegt sneller dan het bedrijfsleven

Zaterdag kopte het Financieel Dagblad dat Nederland zijn afhankelijkheid van technologie uit China en de Verenigde Staten afbouwt. Een paar dagen eerder stuurde staatssecretaris Van der Burg de Kamerbrief die daaronder ligt. Het kabinet kiest voor een eigen soevereine overheidscloud, waar mogelijk ondergebracht in de eigen datacenters van het Rijk. Op advies van Gartner koos het daarbij voor het meest vergaande van vier scenario's. Het ontwerp is gebaseerd op open source, waardoor de afhankelijkheid van leveranciers afneemt, en het gebruik van Microsoft Azure wordt daarmee minder vanzelfsprekend. Dat lees je terug in de berichtgeving van Computable (opent in nieuw venster).

Dit is geen abstract beleidsstuk. De overheid draait het al. Er bestaat een eigen AI-chatomgeving die lokaal draait in een overheidsdatacenter en gebruikmaakt van Europese, open-source taalmodellen. Onder de eerste gebruikers, waaronder medewerkers van Rijkswaterstaat, pakt 82 procent de tool inmiddels wekelijks of vaker, en 77 procent ervaart een merkbare tijdsbesparing bij schrijftaken, meldt ICTMagazine (opent in nieuw venster). Dat is geen pilot van drie ambtenaren. Dat is een werkende voorziening waar burgerdata binnen de eigen muren blijft.

En dan is er die gemeente met een Spark op een bureau. Als je die drie dingen naast elkaar legt, zie je een beweging die alle niveaus van de overheid raakt, van het Rijk tot de kleinste gemeente. Terwijl het cliché toch echt is dat de overheid traag is en het bedrijfsleven innoveert.

De verklaring is minder verrassend dan de constatering. Een gemeente mag de gegevens van haar inwoners niet zomaar door een Amerikaans model laten verwerken, dus die komt vanzelf bij de vraag uit waar de AI draait. Die dwang hebben de meeste bedrijven nog niet, en dus kiezen ze het gemak van een frontier-API. De soevereiniteitsvraag die een onderneming voorlopig kan wegdrukken, is voor een overheid een randvoorwaarde. Precies dat verschil verklaart de voorsprong. Ik schreef eerder al dat soevereiniteit geen modelkeuze is maar een architectuurkeuze en een bestuurlijke verantwoordelijkheid. De overheid handelt daar nu naar. Veel bedrijven nog niet.

Het kwaliteitsexcuus is opgebruikt

Jarenlang was er één sterk argument om bij de dure modellen van OpenAI en Anthropic te blijven: kwaliteit. Open modellen waren leuk voor de liefhebber, maar voor serieus werk liep je achter. Dat argument klopte. En het is nu verdampt.

Op 16 juni publiceerde het Chinese Z.ai de cijfers van GLM-5.2, een open model onder een vrije MIT-licentie dat je gewoon kunt downloaden. Op een zware test voor langlopende programmeertaken scoort het 74,4, tegen 75,1 voor Claude Opus 4.8, het topmodel van Anthropic. Op een andere veelgebruikte benchmark verslaat het GPT-5.5. En dat alles voor ongeveer een zesde van de prijs, schrijft VentureBeat (opent in nieuw venster). De kloof tussen het beste open model en het beste gesloten model wordt niet langer in generaties gemeten, maar in enkele punten.

Ik plaats er meteen een kanttekening bij, want een deel van die cijfers is door Z.ai zelf gepubliceerd en nog niet volledig onafhankelijk geverifieerd. De richting is echter niet weg te poetsen. Drie jaar geleden liep open source twee jaar achter, vorig jaar een halfjaar, en nu een handvol benchmarkpunten.

Hier wordt het interessant. Je zou verwachten dat bedrijven massaal overstappen zodra de kwaliteit er is. Het tegenovergestelde gebeurt. Volgens een analyse van Marka Development (opent in nieuw venster) daalde het aandeel van open modellen in zakelijk gebruik zelfs, van 19 naar 11 procent, terwijl de kwaliteit juist steeg. Dat cijfer komt uit één bron, dus ik houd een slag om de arm, maar de beweging is herkenbaar. Het is geen paradox. Het is een patroon. Zolang niemand je dwingt na te denken over waar je data heen gaat en wat je per token betaalt, kies je de weg van de minste weerstand. Het kwaliteitsexcuus is verlopen, maar de gewoonte niet.

Je betaalt topprijzen voor werk dat een broodrooster aankan

En die gewoonte kost geld. Want het overgrote deel van wat er in een organisatie door een AI-model gaat, is routine: e-mails die naar de juiste afdeling gesorteerd worden, documenten waar een paar gegevens uit gehaald moeten worden, een stuk tekst dat samengevat of vertaald wordt. Voor dat werk heb je geen Opus of GPT-5.5 nodig, net zomin als je een vrachtwagen inzet om een brood te halen.

De hardware om dat zelf te doen is bovendien belachelijk klein geworden. Zo'n NVIDIA Spark, het doosje van die gemeente, draait modellen tot 200 miljard parameters lokaal, in een behuizing zo groot als een broodrooster, voor een MSRP van 4.699 dollar sinds de prijsverhoging van februari, aldus Tom's Hardware (opent in nieuw venster). En de modellen zelf worden efficiënter: een goed verkleind model van 32 miljard parameters doet vandaag het werk waar twee jaar geleden een model van 70 miljard voor nodig was, constateert Alpacked (opent in nieuw venster).

Daarmee kantelt de vraag. In-house AI begint niet met de aanschaf van een GPU-cluster. Het begint met een inventarisatie van je eigen werk: welk deel van ons AI-verkeer is routine, en welk deel heeft echt de zwaarste modellen nodig? Zodra je dat scherp hebt, zie je meestal dat de grote massa naar links kan, naar een goedkoop of eigen model, en dat alleen een kleine kern rechts hoort te blijven, bij de frontier. Dat is precies wat die gemeente aan het doen is: uitproberen wat een eigen model op zo'n doosje aankan, voordat er groot wordt ingekocht. Dat is geen technische afweging. Dat is een bestuurlijke. Het is dezelfde vraag die ik eerder stelde over grip op je AI-kosten: niet minder AI, maar weten waar de meter doorslaat. En het sluit aan op het onderscheid tussen de verschillende soorten AI-gebruikers in je organisatie, want de zware bouwer heeft iets anders nodig dan de collega die een mailtje laat nakijken.

Waar in-house níet loont

Nu de andere kant, want ik wil dit geen persbericht laten worden. In-house AI is geen wondermiddel, en voor veel organisaties is het gewoon duurder. De kale prijs van een GPU is namelijk de vloer, niet het plafond. Zodra je de mensen meerekent die het draaiend houden, de overcapaciteit voor piekmomenten, de uren die stilstaan in de nacht en de modellen die je elke paar weken opnieuw moet testen, loopt de werkelijke rekening op tot drie à vijf keer die kale prijs. Meerdere kostenanalyses komen op dat beeld uit, en de mens is daarin telkens de grootste verborgen post, niet het ijzer.

Daar komt tijd bij. Van het besluit tot een draaiende productieomgeving zit al snel negen tot achttien maanden, en in die periode heeft je organisatie de AI die het project moest opleveren nog niet, of gebruikt ze precies de externe modellen die het project wilde vervangen. Voor een team dat een paar miljoen tokens per dag verstookt, is een API in de praktijk vaak simpelweg goedkoper. Zelf draaien loont pas boven een duidelijke volumedrempel, of wanneer harde eisen rond privacy en toezicht je geen keuze laten.

Het antwoord is daarom zelden alles-of-niets. Het is hybride. Je stuurt het volumewerk naar je eigen of een goedkoop model en houdt de frontier-API voor de kleine kern die echt het beste nodig heeft. Organisaties die het zo inrichten, rapporteren volgens Alpacked besparingen van 40 tot 70 procent ten opzichte van een stack die alles naar de dure modellen stuurt. Niet door minder AI te gebruiken, maar door het juiste werk naar de juiste plek te routeren.

Klein binnen, groot buiten

Als je die lijnen doortrekt, tekent zich een architectuur af die ik samenvat als klein binnen, groot buiten. Een routeringslaag die het dagelijkse volume afhandelt met eigen, open modellen, en die alleen de moeilijkste paar procent doorstuurt naar een extern topmodel. Het klinkt nieuw, maar het is een beweging die ik in twintig jaar vaker heb gezien. Eerst stond alles op eigen servers, toen ging alles naar de cloud, en inmiddels halen bedrijven zware of gevoelige werklast weer terug naar eigen beheer omdat de rekening en de afhankelijkheid tegenvielen. Voor AI voltrekt diezelfde slinger zich niet in tien jaar, maar in twee.

Wat deze keer anders is, is de inzet. Bij gewone software ging het om waar je rekenkracht stond. Bij AI gaat het om je data, en je data ís steeds vaker het product. Wie de volledige regie over zijn AI uit handen geeft aan één Amerikaanse aanbieder, geeft meer weg dan alleen een technische keuze. Dat de tokenprijs die je nu betaalt gesubsidieerd is en de komende jaren waarschijnlijk stijgt, maakt de afhankelijkheid alleen maar duurder. Ook dat is een reden om nu na te denken over wat je zelf in handen wilt houden.

Mijn stelling is dan ook simpel. Binnen een paar jaar heeft elke grote organisatie een eigen AI-laag, zoals elk bedrijf ooit een eigen mailserver draaide. Niet omdat het een politiek statement is, maar omdat het goedkoper en veiliger is voor het werk dat de grootste massa vormt. De gemeente met die Spark is geen uitzondering. Ze zit vooraan op de curve.

Ik begon dit stuk met een berichtje van iemand die bij een gemeente werkt. Wat me het meest bijbleef, is dat daar niemand op toestemming heeft gewacht. Geen jarenlang programma, geen commissie, geen groot budget. Iemand zette een doosje op een bureau en begon te testen. De vraag voor de bestuurskamer is dus niet langer óf het kan. Dat is beantwoord. De vraag is of je die ene inventarisatie hebt gemaakt die je vertelt welk werk waar hoort. En dat gesprek begint niet bij IT. Dat begint bij jou.

Bronnen

• Het kabinet kiest voor een soevereine overheidscloud op open source, in eigen datacenters — Computable (opent in nieuw venster)
• De rijksoverheid draait al een eigen AI-chat op Europese open-source modellen, met 82 procent wekelijkse gebruikers — ICTMagazine (opent in nieuw venster)
• GLM-5.2 evenaart Claude Opus 4.8 op zware programmeertaken voor een fractie van de prijs — VentureBeat (opent in nieuw venster)
• Het dalende aandeel van open modellen in zakelijk gebruik en de werkelijke kosten van zelf hosten — Marka Development (opent in nieuw venster)
• De NVIDIA DGX Spark, prijs en specificaties na de verhoging naar 4.699 dollar — Tom's Hardware (opent in nieuw venster)
• Break-even, hybride architectuur en de verschuiving van modelgrootte — Alpacked (opent in nieuw venster)