"Het is wel grappig", zei politiek commentator Ron Fresen maandagavond bij Eva Jinek. De politiek commentator had AI-chatbot ChatGPT "even laten vertellen" wat de verschillen zijn tussen het PvdA-verkiezingsprogramma van 2012 en het programma van PvdA-GroenLinks nu. "Het klopt gewoon niet dat de partij veel linkser is geworden. Ze zijn opgeschoven richting het midden." Onlogisch is het niet, om een AI-chatbot politieke vragen te stellen. Zo'n tool kan razendsnel grote hoeveelheden informatie verwerken. Zelf zouden we daar uren of nog veel langer over doen. Maar of het ook verstandig is, is de vraag. Zo bleek deze week dat ook Google's NotebookLM partijprogramma's door elkaar haalt. De AI-chatbots kunnen een verleidelijke stemadviseur zijn voor kiezers in de aanloop naar de Tweede Kamerverkiezingen eind oktober. Maar dat is wel oppassen geblazen. "In de grote taalmodellen zoals ChatGPT zit allerlei ruis", zegt Claes de Vreese, hoogleraar Artificiële Intelligentie en Maatschappij aan de Universiteit van Amsterdam. "Je krijgt antwoorden waar meningen in zijn meegenomen. De antwoorden zijn vervuild." Zo weet je nooit precies hoe een chatbot tot z'n antwoord komt. Waarschijnlijk vergeleek ChatGPT na de prompt van Ron Fresen niet alleen de twee partijprogramma's met elkaar. Vermoedelijk baseerde de tool z'n antwoord juist op menselijke analyses uit andere bronnen, zoals de Volkskrant of de Telegraaf. PVV of VVD? Er zijn ook chatbots die claimen volledig afgeschermd te zijn van externe informatie. Maar dan nog kan het misgaan, blijkt als Nieuwsuur een tool test van Google's AI-programma NotebookLM. Deze tool claimt alleen de verkiezingsprogramma's met elkaar te vergelijken en geen informatie van buitenaf te gebruiken. Dat zou de kans op fouten miniem maken. Toch haalde de tool de VVD en PVV door elkaar toen Nieuwsuur vroeg wat de verschillende partijen zeggen over de opvang van Oekraïners in Nederland. "De VVD stelt voor om Oekraïense mannen terug te sturen naar Oekraïne", gaf NotebookLM als reactie. De zin blijkt echter uit het PVV-programma afkomstig. "Als dat al misgaat, is dat zorgwekkend", zegt De Vreese. Google-woordvoerder Rachid Finge erkent de fout en zegt "bij het team achter NotebookLM" na te gaan "of dit een hallucinatie is of dat er wat anders aan de hand is". Taalpatronen, geen feiten 'Hallucinatie' is een begrip dat veel gebruikt wordt voor fouten in de antwoorden van AI-chatbots. Maar eigenlijk hallucineren de chatbots constant. Het zijn namelijk taalmodellen die de wereld niet 'begrijpen', maar getraind zijn met enorme hoeveelheden tekst waaruit ze taalpatronen leren. De modellen voorspellen steeds het volgende woord dat het meest waarschijnlijk is, niet per se het meest waarheidsgetrouw. Zo kan het goed voorkomen dat reacties niets met de werkelijkheid te maken hebben. Hoe beter de taalmodellen worden, hoe overtuigender de reacties worden en hoe lastiger fouten te spotten zijn. De Vreese: "De kern is dat we niet weten wat de werkwijze van AI is. Dus je zou op z'n minst inzicht willen in hoe model een beetje werkt." 'Gebruik ze alleen als extra bron' Vraag AI-chatbots dus niet om politiek stemadvies, adviseert voorlichtingsorganisatie Prodemos, de maker van de StemWijzer, dan ook. "Het is heel ingewikkeld om te beoordelen hoe betrouwbaar en neutraal de antwoorden zijn en met welke data ze getraind worden", zei woordvoerder Gijs Boerwinkel recent in De Nieuws BV. "Informatie is vaak achterhaald, terwijl je stemadvies op basis van de laatste informatie wil." De Vreese ziet de chatbots wél als goed, aanvullend hulpmiddel voor mensen die niet alle verkiezingsprogramma's willen lezen. "Maar gebruik ze alleen als extra bron van informatie en vermaak, en niet als beste adviseur die je hebt op politiek gebied. Probeer de reacties altijd te plaatsen in wat je verder al weet." Hij pleit bovendien voor strengere regels voor AI-programma's. "Je kunt inbouwen dat-ie op een politieke vraag geen definitief advies geeft." "Aanvankelijk zeiden AI-bedrijven: we zorgen dat je ons niet voor stemadvies kan gebruiken. Dat is een gepasseerd station, maar ik vind dat we dat stadium te snel hebben verlaten. Ze zeggen nu: Succes, individuele burger, met hiermee omgaan. Met een beetje pech komt er oncontroleerbare extra invloed op onze stemkeuze."