Waarom synthetisch onderzoek via een LLM?

Het is verleidelijk om te denken dat een taalmodel een mens nabootst. Dat doet het niet. Het voorspelt welke tekst waarschijnlijk volgt op de tekst die het krijgt. Geef je het de beschrijving van een 52-jarige uitvoerder in de bouw en daarna een stelling over planningssoftware, dan produceert het het antwoord dat in zijn trainingsdata het meest waarschijnlijk volgt op die combinatie.

Dat klinkt als een zwaktebod, maar het is precies waarom het werkt. Mensen met een vergelijkbare achtergrond schrijven op internet, in fora, in interviews en in artikelen over dezelfde onderwerpen op herkenbaar vergelijkbare manieren. Die correlatie tussen achtergrond en taalgebruik is fijn genoeg om er iets mee te doen: Argyle 2023 noemde dat algorithmic fidelity en liet zien dat een op demografie geconditioneerd model antwoordverdelingen van menselijke subgroepen benadert.

Wat je krijgt is dus een gemiddelde van hoe er over een groep geschreven wordt, niet een trekking uit die groep. Dat onderscheid verklaart bijna alles wat hierna komt: waar het gemiddelde volstaat werkt de methode, en waar je de spreiding of het absolute niveau nodig hebt niet.

Richting en rangorde. Horton 2023 behandelde taalmodellen als economische agenten en reproduceerde klassieke gedragsexperimenten kwalitatief: de richting van het effect klopt, ook al klopt de omvang niet. Voor een concepttest is dat vaak genoeg. Je wilt weten wélk concept wint, niet met hoeveel procentpunt.

Herhaalbaarheid, mits je goed meet. Over 57 echte consumentenonderzoeken met 9.300 deelnemers halen synthetische respondenten ongeveer 90% van de test-hertestbetrouwbaarheid van mensen Maier 2025. Dat is een hoge lat: mensen die je twee keer dezelfde vraag stelt, antwoorden zelf ook niet identiek. De adder zit in de methode, zie hieronder.

Individuele nabootsing, mits je genoeg weet. De sterkste resultaten komen uit werk waarin het model niet op demografie draait maar op een echt interview. Park 2024 nam bij 1.052 mensen een gesprek van twee uur af, gebruikte dat transcript als geheugen van een agent, en zag twee weken later ongeveer 85% overeenkomst met de antwoorden van het origineel. Dat is een belangrijke nuance: hoe rijker de input over een persoon, hoe beter de simulatie. Een profielbeschrijving is armer dan een interview van twee uur, en de kwaliteit zakt navenant.

Er is inmiddels iets om tegen te meten. Toubia 2025 publiceerde een dataset van 2.058 mensen die elk 500 vragen beantwoordden, met een ingebouwde test-hertestbasis. Daarmee verschuift het debat van meningen naar metingen.

Te weinig spreiding. Dit is de belangrijkste bevinding en tegelijk de makkelijkste om over het hoofd te zien. Boelaert 2025 toetste modellen tegen de World Values Survey in vijf landen en vond een sterke bias én een lage variantie per onderwerp, en die afwijking verspringt willekeurig van onderwerp naar onderwerp. Het model geeft dus een te smal, te zelfverzekerd antwoord, en je kunt niet voorspellen welke kant het op leunt.

Het gemiddelde klopt terwijl de verdeling niet klopt. Bisbee 2024 vond dat de gemiddelden die een model produceert dicht bij de ANES-survey liggen, maar de spreiding eromheen niet, en dat de uitkomsten slecht reproduceerbaar zijn tussen runs. Dat is verraderlijker dan een grove fout: een tabel die er plausibel uitziet nodigt uit om erop te bouwen.

Groepen worden afgevlakt. Santurkar 2023 vergeleek modelantwoorden met peilingen onder 60 Amerikaanse demografische groepen en vond een afwijking die niet verdwijnt als je het model expliciet naar een groep stuurt. Sommige groepen worden structureel slecht weergegeven. Wang 2025 liet met 3.200 deelnemers over 16 identiteitsgroepen zien dat modellen groepen terugbrengen tot een stereotiep gemiddelde en de variatie bínnen die groep missen.

En een beperking die op ons eigen ontwerp slaat. Datzelfde onderzoek laat zien dat de manier van vragen uitmaakt. Vraag je een model rechtstreeks om een cijfer op een schaal (precies wat wij doen, met een verplichte waarde van 1 tot 5), dan komt er een onrealistische verdeling uit. Meet je in plaats daarvan hoe sterk een vrij geformuleerd antwoord lijkt op elk schaalpunt, dan blijft de verdeling wél realistisch Maier 2025. Wij hebben die methode nog niet geïmplementeerd. Dat is de directe reden dat er een variantiecheck op je eigen antwoorden draait: die markeert wanneer een vraag te smal is uitgevallen, in plaats van de uitkomst te presenteren alsof er niets aan de hand is. Het staat op onze lijst.

Prijs is het zwakste punt. Specifiek voor marktonderzoek: Brand 2023 vond dat schattingen van betalingsbereidheid soms in de buurt komen van menselijke studies, maar vaak onnauwkeurig zijn en in sommige gevallen zelfs de verkeerde kant op: het model zegt duurder waar mensen goedkoper zeggen. Bij prijs stapelen twee problemen: de synthetische bias, en het feit dat ook echte respondenten hun eigen koopgedrag slecht voorspellen.

De benchmark-tabel in dit platform is een directe vertaling van het bovenstaande. Per vraagtype ligt vast wat je ervan mag verwachten, met de bron erbij. De tabel is bewust configuratie en geen logica, zodat hij per branche bijgesteld kan worden zonder de advies-engine aan te raken.

• Dat dit echt marktonderzoek vervangt. Het is geen statistisch representatieve steekproef en het pretendeert dat nergens te zijn.
• Dat ons betrouwbaarheidsoordeel een meting is van jouw onderzoek. Het is een verwachting, gebaseerd op hoe deze methode het gemiddeld doet naast echt onderzoek, plus een paar controles op je eigen resultaten. Een vergelijking met jouw echte cijfers bestaat niet, want die heb je nog niet.
• Dat de literatuur af is. Het veld is een paar jaar oud, een deel van het werk hierboven is nog preprint, en de uitkomsten verschillen per model en per methode. We werken aan een calibratielus waarin klanten echte onderzoeksresultaten naast hun synthetische leggen, zodat de benchmarks op eigen metingen komen te rusten in plaats van op literatuur alleen.
• Dat een duurder model automatisch betrouwbaarder onderzoek geeft. Een groter model geeft rijkere antwoorden, maar de systematische bias van de methode verdwijnt er niet mee.