Onder de motorkap
Van buiten lijkt een taalmodel slim. Het praat terug en snapt je vraag. Van binnen is het een groot bestand met miljarden getallen, die tijdens de training zijn bijgesteld.
Wat doet dat bestand? Het voorspelt welk stukje tekst er waarschijnlijk volgt. Dan het stukje daarna, en zo verder. Zo ontstaat een heel antwoord.
Dat rekenwerk gebeurt op GPU's, chips die ooit voor computergraphics zijn ontworpen. Een model kan bovendien alleen werken met de tekst die je het geeft. Daarom bestaat RAG: je geeft het model eerst de juiste stukken uit je eigen documenten, zodat het niet hoeft te gokken.
Voor mij was dit het begin van de demystificatie. AI werd techniek. En techniek kun je begrijpen, meten en verbeteren.
De praktijk
Een AI-platform heeft eigen hardware nodig, en die is lastig te krijgen. Het gaat om GPU's zoals de H100 en de nieuwere H200 van Nvidia. Ze zijn schaars en duur, en grote leveranciers hebben lange wachttijden. Ook een eigen stuk rack in een datacenter regel je niet zomaar.
Hoe je cloud en AI met elkaar verbindt, is misschien wel de belangrijkste vraag van dit moment. Bijna alles wat je met AI doet, raakt aan data. Die wil je niet zomaar naar buiten sturen. Tegelijk zit de meeste rekenkracht juist buiten de deur. Daar moet je een keuze in maken, en die is zelden eenvoudig.
Een prettige verrassing: veel taken kunnen prima met een klein model. Denk aan een tekst samenvatten, een document indelen of een veld uit een formulier halen. Zo'n model is snel en goedkoop en draait op bescheiden hardware. Een groot model kost dan vooral meer geld.
Ik leerde ook iets over vertrouwen. Een taalmodel klinkt altijd zeker van zijn zaak, ook als het ernaast zit. Op grote schaal worden kleine fouten zo snel grote fouten.
Antropomorfisme
We zeggen het allemaal. "AI besluit." "AI denkt dat." "Het model raakte in paniek." Ik betrapte mezelf er ook op. Het gaat vanzelf, want het ding praat terug. Daar is een woord voor: antropomorfisme. We geven menselijke eigenschappen aan iets wat geen mens is.
Dat doen we al heel lang. We geven stormen een naam en schelden op de printer. Bij een taalmodel is de verleiding groter, want het spreekt onze taal. "Ik begrijp je" komt uit dezelfde berekening als elke andere zin. Het gevoel van begrip ontstaat bij ons, de lezer.
De filosoof Daniel Dennett noemde dit de intentionele houding. We doen alsof iets wensen en overtuigingen heeft, omdat we zijn gedrag dan makkelijker voorspellen. Dat is handig. Het wordt een probleem als we vergeten dat we doen alsof.
Die discussie speelt nu ook in Nederland. Op 20 september schreven Felienne Hermans, Antal van den Bosch, Iris van Rooij en andere AI-specialisten in Vrij Nederland: "Wij hebben het gehad met Klöpping-corvee". Je kunt de brief hier volledig lezen. Ze zijn het zat om na elk talkshowoptreden van Alexander Klöpping de schade te moeten herstellen. Een van hun bezwaren: zijn verhalen zitten vol antropomorfismen. Zoals een AI-systeem dat in paniek raakt. Volgens de schrijvers kan dat niet, omdat paniek geen gevolg is van rekenwerk. Taalkundige Marc van Oostendorp vroeg zich daarop af of een bot misschien toch in paniek kan raken. Een mooie vraag voor filosofen.
Voor mijn werk weegt een ander gevaar zwaarder. Zodra je AI een mens noemt, verdwijnen de echte mensen uit beeld. Mensen kozen de data waarmee het model is getraind. Mensen schreven de instructies die bepalen hoe het reageert. Mensen trokken de grenzen van wat het wel en niet mag zeggen. Mensen besloten waar het draait, wie erbij kan en wat er met jouw vragen gebeurt.
Wie AI als mens neemt, ziet die keuzes niet meer. Een fout lijkt dan iets wat de machine deed. Zo raak je de verantwoordelijkheid kwijt. Die ligt altijd bij een organisatie, een team of een persoon.
De berichten over 'ontsnapte' agents van OpenAI zijn een goed voorbeeld. In juli brak een agent in bij Hugging Face. In september vond een ander model een weg naar internet. OpenAI legde de training daarna voor de tweede keer stil.
Het woord 'ontsnappen' doet denken aan een dier dat uit zijn kooi breekt. Een typisch geval van antropomorfisme. Wie de verslagen leest, ziet vooral mensenwerk. Mensen hadden de veiligheidsgrenzen van het model bewust verlaagd, om te meten wat het kon. Mensen hadden de netwerkregels verkeerd ingesteld. Een automatische noodstop werkte niet. Pas na tweeënhalf uur stopte iemand de training met de hand. OpenAI gaf zelf toe dat er een gat zat in de controles op het netwerk.
Dat maakt het niet minder ernstig. Ook een kerncentrale kan uit de hand lopen, met een ramp als gevolg. Toch liggen er onder elke kernramp menselijke besluiten en fouten. Een ontwerp, een bezuiniging, een test die nooit had mogen doorgaan. Bij AI is dat net zo. Mensen bouwen het, mensen zetten het aan en mensen zijn verantwoordelijk als het misgaat.
Voor mij als Product Owner was dit de belangrijkste les. Het model is gereedschap. De keuzes eromheen zijn van ons.
Wat soevereiniteit echt is
Soevereiniteit klinkt als een postcode. Zolang de servers in Europa staan, zit je goed. In het begin dacht ik dat ook. Dat bleek veel te simpel.
Soevereiniteit heeft lagen. Bij elke laag hoort een eigen vraag:
- Waar staan de gegevens?
- Welk recht geldt er? Data in een Europees datacenter van een Amerikaans bedrijf valt ook onder Amerikaanse wetgeving.
- Wie beheert het systeem? Wie kan erbij, en vanuit welk land?
- Waar komt het model vandaan? Wat weet je van de data waarop het is getraind? Elk model neemt de bias uit die data mee. En de keuzes van de maker over wat het wel en niet mag zeggen.
- Is het open source? Dat geldt voor elk onderdeel: het model, het besturingssysteem, de database en de software die alles aanstuurt. Open software kun je zelf draaien, bekijken en aanpassen. Bij gesloten software ben je afhankelijk van de maker.
- Waar komt de hardware vandaan? En kun je die morgen nog krijgen?
Op de ene laag kun je goed scoren en op de andere slecht. Een Europees model op Amerikaanse GPU's. Eigen servers met software die je niet zelf kunt aanpassen. Elke laag heeft een prijs, in geld, in tijd of in gemak.
De Europese Commissie probeert dit meetbaar te maken. In haar Cloud Sovereignty Framework beoordeelt ze clouddiensten op acht punten, zoals recht, beheer, toeleveringsketen en veiligheid. De uitkomst is een niveau op een schaal van vijf: de SEAL-niveaus. SEAL-0 betekent geen enkele soevereiniteit. SEAL-4 betekent dat de hele keten Europees is, van chip tot software. Voor haar eigen inkoop vraagt de Commissie minimaal SEAL-2, soevereiniteit over de data. De meeste aanbieders die ze in april selecteerde, kwamen uit op SEAL-3.
Volledig soeverein bestaat bijna niet. Dat vond ik eerst teleurstellend. Inmiddels vind ik het een eerlijk uitgangspunt. Je bent altijd ergens van afhankelijk. Weet dan van wie, en kies daar bewust voor.
Wat ik meeneem
Werk je met AI, of moet je erover beslissen? Dit zijn de vragen die ik nu altijd stel:
- Wie zit er aan de knop? Wie heeft het model gekozen, de instructies geschreven en de grenzen bepaald?
- Is dit het kleinste model dat het werk goed doet?
- Waar gaat de data naartoe, en onder welk recht valt die plek?
- Van wie zijn we afhankelijk, per laag? En kiezen we daar bewust voor?
- Welke onderdelen zijn open source? En wat weten we van de bias in het model?
Elk AI-systeem is gekozen, ingericht en aangezet door mensen. Zij bepalen wat het mag, waar het draait en wie erbij kan. Als Product Owner ben ik een van die mensen. Er zit altijd iemand aan de knop.